爬虫代理IP池在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。1、问题代理IP从何而来？

这周在看项目的相关代码时，接触到了Hystrix，因此查询了相关资料学习了下。一、什么是Hystrix　　Hystrix是Netflix针对微服务分布式系统的熔断保护中间件，当我们的客户端连接远程的微服务时，有两种情况需要考虑：首先，如果远程系统当机了我们怎么办？其次，我们如何管理对远程微服务的调用性能，以保证每个微服务以最小延迟最快性能

某次往Redis里面缓存对象，发现取出的对象里面，BigDecimal属性全都变成了0。后发现问题出在使用的序列化、反序列化的工具Hessian上面。Hessian的这个问题，从网上搜索，可以说是一大堆。看到早期的解决方案是在jar包的METAINF目录里面新建hessian目录，并填入两个配置文件，告诉Hessian，类的转换关系。但是现在大家都

RPC(RemoteProcedureCall)—远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/

QQ用得起来越少了，现在就加入300技术微信群，公众号回复"微信群"即可加入。又到了公布GitHub上热门项目的时候啦~在11月的排行中，猿妹加入非软件类的项目，这样可以帮助大家更直观的了解哪些项目才是GitHub上最热门的。现在，一起来看看这些项目你使用过哪些呢？1分布式RPC服务框架dubbohttp

01\.列举常见的关系型数据库和非关系型都有那些？1.关系型数据库通过外键关联来建立表与表之间的关系，常见的有：SQLite、Oracle、mysql2.非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定常见的有：MongoDb、redis02\.MySQL常见数据库引擎

一、分区的概念　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区　　数据分区，在分布式

Swoole2.0官方默认的实例是短连接的，在请求处理完毕后就会切断redis或mysql的连接。实际项目可以使用连接池实现复用。实现原理也很简单，使用SplQueue，在请求到来时判断资源队列中是否有可用的连接，如果有直接拿来复用。如果没有就创建一个新的连接。在连接使用完毕后再讲它重新放回到队列，此连接就可以被其他协程复用。$count

占坑，2.0版本应该具备一下特性：1.引入高性能异步io2.Lua高并发支持3.引入http解析库，更完整的支持http协议4.更智能的文件缓存策略5.引入redis的支持6.更强大的高性能异步策略7.支持重定向到其他http服务器，形如nginx的代理功能.有空再开发，并且开源1.0版本URL：http

大家好呀，我是summo，第一篇已经教会大家怎么去阿里云买服务器，以及怎么搭建JDK、Redis、MySQL这些环境。第二篇我们把后端的应用搭建好了，并且完成了第一个爬虫(抖音)。那么这一篇我会教大家如何将爬取到的数据保存到数据库，并且可以通过接口获取到，为后面的前端界面提供数据源。