HADOOP性能优化和运维
集群中任意一个节点都可以被用来提交认任务，虽然通常我们使用master节点提交任务。HADOOP客户端不参与计算和存储，专门用来上传下载文件和提交任务。性能优化4大块：!(https://static.oschina.net/uploads/space/2017/0406/111251_QSBe_192561.png)具体优化如下：1.选
5步教你将MRS数据导入DWS
摘要：GaussDB(DWS)支持在相同网络中，配置一个GaussDB(DWS)集群连接到一个MRS集群，然后将数据从HDFS中的文件读取到GaussDB(DWS)。MapReduce服务（MapReduceService，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据
Kubernetes基于Helm安装部署高可用的Redis
!(https://oscimg.oschina.net/oscnet/da607f540a1b4bd4b40257bab05fb671.gif)1、Redis简介Redis是一个开放源代码（BSD许可证）的代理，其在内存中存储数据，可以代理数据库、缓存和消息。它支持字符串、散列、列表、集合和位图等数据
Mysql MyISAM与InnoDB 表锁行锁以及分库分表优化
<divclass'title\_1'一、两种存储引擎：MyISAM与InnoDB区别与作用</div1.count运算上的区别：因为MyISAM缓存有表metadata（行数等），因此在做COUNT(\)时对于一个结构很好的查询是不需要消耗多少资源的。而对于InnoDB来说，则没有这种缓存。2.是否支持事务和崩溃后
Redis从入门到放弃系列(四) Set
Redis从入门到放弃系列(四)Set本文例子基于：5.0.4Set是Redis中一种比较常见的数据结构,当存储的member为十进制64位有符号整数范围内的整数的字符串的时候其实现为intset,其他为hashtableRedis从入门到放弃系列(三)List(https://www.osch
Android Serializable与Parcelable原理与区别
一、序列化、反序列化是什么？(1)名词解释对象的序列化:把Java(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.2cto.com%2Fkf%2Fware%2FJava%2F)对象转换为字节序列并存储至一个储存媒介的过
Spark Streaming连接Kafka的两种方式 direct 跟receiver 方式接收数据的区别
Receiver是使用Kafka的高层次ConsumerAPI来实现的。Receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制，让数据零丢失，就必须启用Spark
Python操作 RabbitMQ、Redis、Memcache、SQLAlchemy
MemcachedMemcached是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap(https://www.oschina.net/action/GoToLin
Redis从入门到放弃系列(五) ZSet
Redis从入门到放弃系列(五)ZSet本文例子基于：5.0.4ZSet是Redis中一种比较复杂的数据结构,当存储大小在128之内且member得长度在64以下,其实现为zipList,超过为SkipList忽然发现,到现在第五篇文章,还没有讲到zipList,然而前面例如Hash,List的篇章
MySQL优化总结+自定义函数之递归
我最近看MySQL优化总结几个可能容易理解错误的技巧：通常来说把可为NULL的列改为NOTNULL不会对性能提升有多少帮助，只是如果计划在列上创建索引，就应该将该列设置为NOTNULL。对整数类型指定宽度，比如INT(11)，没有任何卵用。INT使用32位（4个字节）存储空间，那