背景thrift最早由facebook开发，后来贡献给了apache。thrift主要解决跨语言调用的问题。thrift和protobuf有啥区别？thrift和protobuf，都解决了一个问题就是夸语言数据结构的定义，json也解决了跨语言的数据结构定义，只不过json都是字符串的，传输的开销和解析的开销可能有些大。那么想传输二

    当对数据修改时，如果两个线程同时去修改同一条数据，这样产生的结果就不是我们预期的结果。这时候就需要对修改操作进行加锁，让jvm里同一时刻只能有一个线程能够执行修改方法。    下面是一个未加锁的修改方法：   public void update（Entry entry）｛    dao.update（entry）;

Memcached作为一款很强大的分布式缓存，经常被用到大型的互联网应用中，比如新浪微博等都采用memcached做缓存。Memcached也经常和MySQL组合做数据缓存。具体的介绍请参考官方网站：www.memcached.org这里通过安装配置Memcached，并通过Java客户端来使用memcached进行存储和读取缓存数据。

!(https://oscimg.oschina.net/oscnet/upb1199a4cc6dafbb796e5cb4ccf76dbde1ab.png)ElasticSearch是目前非常流行的搜索引擎，对海量数据搜索是非常友好，并且在高并发场景下，也能发挥出稳定，快速特点。也是大数据和索搜服务的开发人员所极力追捧的中间件。虽然Elas

一、SparkStreaming连Kafka（重点）方式一：Receiver方式连：走磁盘使用HighLevelAPI（高阶API）实现Offset自动管理，灵活性差，处理数据时，如果某一时刻数据量过大就会磁盘溢写，通过WALS（WriteAheadLogs）进行磁盘写入,0.10版本之后被舍弃,相当于一个人拿着一个水杯去接水，水龙头的

1、索引创建1）查看表中的索引，showindexfromtable;showindexesfromtable;2）我们一般都不在数据库层面限制外键，因为约束太多数据库压力太大，死锁产生的概率也会变大，但是关联字段肯定是会有的，这些关联字段都必须建立索引，因为外键都是为了关联查询的，连接条件最好有索引可用。3）经常出

3.8<fontcolorredjson模块重点</fontjson模块是将满足条件的数据结构转化成特殊的字符串，并且也可以反序列化还原回去。不同语言都遵循的一种数据转化格式，即不同语言都使用的特殊字符串。（比如Python的一个列表\1,2,3\利用json转化成特殊的字符串，然后在编码成bytes

!(https://oscimg.oschina.net/oscnet/04530673d87683895d141f87bf05a4467d9.jpg"每篇一句")每篇一句前言对于Scala语言其实很早有所耳闻，但没有真正进一步了解，只知道这门语言在大数据领域很火。正如前几年大数据开发的兴起，也着实让这门基于JVM的语言火了一

在mongodb里面存在另一种集群，就是分片技术，跟sqlserver的表分区类似，我们知道当数据量达到T级别的时候，我们的磁盘，内存就吃不消了，针对这样的场景我们该如何应对。一：分片   mongodb采用将集合进行拆分，然后将拆分的数据均摊到几个片上的一种解决方案。!(http://static.oschina.net/uplo

一、命令的方式做分页1、常见的分页方式：fromsizeelasticsearch默认采用的分页方式是fromsize的形式，但是在深度分页的情况下，这种使用方式的效率是非常低的，比如from5000,size10，es需要在各个分片上匹配排序并得到5000\10条有效数据，然后在结果集中取最后10条数据返回。除了会遇到效率上的问题