_0\.手把手教你做中间件、高性能服务器、分布式存储技术交流群_手把手教你做中间件、高性能服务器、分布式存储等(redis、memcache、nginx、大容量redispika、rocksdb、mongodb、wiredtiger存储引擎、高性能代理中间件)，git地址如下:git地址:https://github.com/y1234

一、Hadoop压缩简介1、hadoop的3个阶段（1）分布式文件系统HDFS（2）分布式编程框架MapReduce（3）yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储（HDFS）读写字

更多内容请关注微信公众号【Java技术江湖】这是一位阿里Java工程师的技术小站，作者黄小斜，专注Java相关技术：SSM、SpringBoot、MySQL、分布式、中间件、集群、Linux、网络、多线程，偶尔讲点Docker、ELK，同时也分享技术干货和学习经验，致力于Java全栈开发！（关注公众号后回复”资料“即可领取3T免费

更多内容请关注微信公众号【Java技术江湖】这是一位阿里Java工程师的技术小站，作者黄小斜，专注Java相关技术：SSM、SpringBoot、MySQL、分布式、中间件、集群、Linux、网络、多线程，偶尔讲点Docker、ELK，同时也分享技术干货和学习经验，致力于Java全栈开发！（关注公众号后回复”资料“即可领取3T免费

Hadoop技术原理总结1、Hadoop运行原理Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，其最核心的设计包括：MapReduce和HDFS。基于Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。基于MapReduce计算模型编写分布式并行程序相对简单，

Python多线程分布式和并行是完全不同的概念，分布式只负责将一个测试脚本可调用不同的远程环境来执行；并行强调“同时”的概念，它可以借助多线程或多进程技术并行来执行脚本技术。10.1单进程的时代        在单线程的时代，当处理器要处理多个任务时，必须要对这些任务排一下执行顺序并按照这个顺序

RDMA（RemoteDirectMemoryAccess）是远程直接内存访问技术，由于其低时延，低CPU占用等优势，被广泛的应用在分布式存储或计算系统中。DMA技术是一种单机内的高速数据传输技术，通常由DMA控制器来控制数据的传输流程，释放了CPU资源，而RDMA技术是一种借助IB网卡实现远程高数数据传输的技术。

SASE（secureaccessserviceedge安全访问服务边缘）：是一种安全框架，结合了软件定义广域网(SDWAN)，零信任等网络安全技术的的分布式安全解决方案。

背景最近在阅读查询优化器的论文，发现SystemR中对于Join操作的定义一般分为了两种，即嵌套循环、排序合并联接。在原文中，更倾向使用排序合并联接逻辑。考虑到我的领域是在处理分库分表或者其他的分区模式，这让我开始不由得联想我们怎么在分布式场景应用这个Jo