Stella981 Stella981
3年前
HIVE string与varchar调研文档
一、简要介绍:Hive有2种类型用于存储变长文本。1.Hive0.12.0版本引入了VARCHAR类型,VARCHAR类型使用长度指示器(1到65355)创建,长度指示器定义了在字符串中允许的最大字符数量。如果一个字符串值转换为或者被赋予一个varchar值,其长度超过了长度指示器则该字符串值会自动被截断。2.STRING存储变长的文本,对长度
Stella981 Stella981
3年前
Kubernetes Pod的数据卷Volume
概述由于容器本身是非持久化的,因此需要解决在容器中运行应用程序遇到的一些问题。首先,当容器崩溃时,kubelet将重新启动容器,但是写入容器的文件将会丢失,容器将会以镜像的初始状态重新开始;第二,在通过一个Pod中一起运行的容器,通常需要共享容器之间一些文件。Kubernetes通过存储卷解决上述的两个问题。在Docker有存储卷的概念卷,但D
Stella981 Stella981
3年前
Redis的列表(List)类型
列表类型(List)可以存储一个有序的字符串列表,常用的操作就是向列表两端添加元素,或者获取列表中某一个片段。列表类型内部使用双向链表(doublelinkedlist)实现的,所以向列表两端添加或删除元素的速度非常快,越是接近两端的元素就越快,但是,也有弊端,就是通过索引访问元素的速度比较慢。因为使用了双向链表实现存储的,所以在命令上也有
Stella981 Stella981
3年前
Disconf实现分布式配置管理的原理与设计
技术背景在一个分布式环境中,同类型的服务往往会部署很多实例。这些实例使用了一些配置,为了更好地维护这些配置就产生了配置管理服务。通过这个服务可以轻松地管理成千上百个服务实例的配置问题。王阿晶提出了基于zooKeeper的配置信息存储方案的设计与实现\1\,它将所有配置存储在zookeeper上,这会导致配置的管理不那么方便,而且他们没
Stella981 Stella981
3年前
C++ STL中哈希表 hash_map介绍
0为什么需要hash\_map用过map吧?map提供一个很常用的功能,那就是提供keyvalue的存储和查找功能。例如,我要记录一个人名和相应的存储,而且随时增加,要快速查找和修改:岳不群-华山派掌门人,人称君子剑张三丰-武当掌门人,太极拳创始人东方不败-第一高手,葵花宝典...这些信息如果保存下来并不复杂,但是找起来比较麻烦
Stella981 Stella981
3年前
Linux sed命令
简介sed是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(patternspace),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。Sed主要用来自动编辑一个或多
Stella981 Stella981
3年前
IM开发基础知识补课(二):如何设计大量图片文件的服务端存储架构?
友情提示:正文内容整理自架构师丁浪的技术分享,部分观点可作抛砖引玉之用,可能并非最佳实践,欢迎留言指正。1、前言一个完善的IM系统中通常充斥着大量的图片内容,包括:用户头像、图片消息、相册、图片表情等等,那么在做服务端架构设计时该如何存储这些图片呢?本文分享的是典型Web应用中大量图片的服务端存储加构的演进过程,但基本的技术原理和架
Wesley13 Wesley13
3年前
Go语言探险思考笔记(1)
最近接触对象存储,国际上鼎鼎有名的AmazonS3还有GoogleCloudService在国内由于防火墙还有机房过远的问题,并不能投入生产使用。国内有名的对象存储,大家众所周知的七牛云,后台就是Go语言实现的。对于第一个敢吃螃蟹的人,我一直很佩服。于是抱着憧憬的心态走进Go语言的大门。首先,接触一门语言,就从最啰嗦但是最不能缺少的基础语法和顺序
Wesley13 Wesley13
3年前
JAVA内存模型与线程以及volatile理解
Java内存模型是围绕在并发过程中如何处理原子性、可见性、有序性来建立的。一、主内存与工作内存  Java内存模型主要目标是在虚拟机中将变量存储到内存和从内存中取出变量。这里的变量包括:实例字段、静态字段、构成数组对象的元素;不包括局部变量和方法参数,因为它们是线程私有的。Java内存模型规定了所有变量都存储在主内存,线程的工作内
Wesley13 Wesley13
3年前
2011架构师大会心得
1、架构应该是对开发者是透明的2、在架构中,存储是难度最大的3、百度贴吧是如何测试的,采用轻量型解决方案,支持开发者快速4、视频存储非常适合keyvalue形式5、运维自动化,不需要改每台服务器的设置6、增加流量能力的,可以利用多网卡7、有些领域的流量会突发增加10倍,甚至更多,这时候需要考虑加锁来缓冲一下,防止cach