爬虫代理IP池在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。1、问题代理IP从何而来？

1　　概述　　Redisson实现了分布式和可扩展的Java数据结构，功能较为简单，不支持字符串操作，不支持排序、事务、管道、分区等Redis特性。Redisson的宗旨是促进使用者对Redis的关注分离，从而让使用者能够将精力更集中地放在处理业务逻辑上。2    特点1.Redisson中的方法则是进行比较高的抽象，每个方法调用可能进行了

一、Kafka概述1.Kafka是一个分布式流媒体平台，它有三个关键功能：(1)发布和订阅记录流，类似于消息队列或企业消息传递系统；(2)以容错的持久方式存储记录流；(3)记录发送时处理流。2.Kafka通常应用的两大类应用(1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道；(2)构建转换或响应数据流的实施

      最近学习了一下dubbo的集成使用，之所以对这个产生兴趣，是因为公司的系统有秒杀的高并发业务，采用了多服务器分布式部署的方式，但是各个服务器之间的调用是在代码里采用http请求的方式。虽然这种方式能达到效果，但是代码冗长，处理起来很不方便，总之就是觉得low，所以决定学习一下dubbo。       学习dubbo之前，我们先要了解一下z

这周在看项目的相关代码时，接触到了Hystrix，因此查询了相关资料学习了下。一、什么是Hystrix　　Hystrix是Netflix针对微服务分布式系统的熔断保护中间件，当我们的客户端连接远程的微服务时，有两种情况需要考虑：首先，如果远程系统当机了我们怎么办？其次，我们如何管理对远程微服务的调用性能，以保证每个微服务以最小延迟最快性能

RPC(RemoteProcedureCall)—远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/

从编程开发的角度来说，ApacheDubbo（以下简称Dubbo）首先是一款RPC服务框架，它最大的优势在于提供了面向接口代理的服务编程模型，对开发者屏蔽了底层的远程通信细节。同时Dubbo也是一款服务治理框架，它为分布式部署的微服务提供了服务发现、流量调度等服务治理解决方案。在这篇文章中，我们将以以上基础能力为背景，尝试突破Dubbo

QQ用得起来越少了，现在就加入300技术微信群，公众号回复"微信群"即可加入。又到了公布GitHub上热门项目的时候啦~在11月的排行中，猿妹加入非软件类的项目，这样可以帮助大家更直观的了解哪些项目才是GitHub上最热门的。现在，一起来看看这些项目你使用过哪些呢？1分布式RPC服务框架dubbohttp

一、分区的概念　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区　　数据分区，在分布式

本文着重介绍mongonDB的原理及安装，最后送大家一个简单的列子，有可以运行的列子和原理，相信大家很容易学会mongonDB^\_^MongoDB是一个基于分布式文件存储的数据库。由C语言编写。意在为WEB应用提供可扩展的高性能数据存储解决方案。它有一下几个特点：　　1.模式自由。 (像json数据一样可以自由的宽展) 　　2.支持