爬虫代理IP池在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。1、问题代理IP从何而来？

一、Kafka概述1.Kafka是一个分布式流媒体平台，它有三个关键功能：(1)发布和订阅记录流，类似于消息队列或企业消息传递系统；(2)以容错的持久方式存储记录流；(3)记录发送时处理流。2.Kafka通常应用的两大类应用(1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道；(2)构建转换或响应数据流的实施

这周在看项目的相关代码时，接触到了Hystrix，因此查询了相关资料学习了下。一、什么是Hystrix　　Hystrix是Netflix针对微服务分布式系统的熔断保护中间件，当我们的客户端连接远程的微服务时，有两种情况需要考虑：首先，如果远程系统当机了我们怎么办？其次，我们如何管理对远程微服务的调用性能，以保证每个微服务以最小延迟最快性能

某次往Redis里面缓存对象，发现取出的对象里面，BigDecimal属性全都变成了0。后发现问题出在使用的序列化、反序列化的工具Hessian上面。Hessian的这个问题，从网上搜索，可以说是一大堆。看到早期的解决方案是在jar包的METAINF目录里面新建hessian目录，并填入两个配置文件，告诉Hessian，类的转换关系。但是现在大家都

RPC(RemoteProcedureCall)—远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/

QQ用得起来越少了，现在就加入300技术微信群，公众号回复"微信群"即可加入。又到了公布GitHub上热门项目的时候啦~在11月的排行中，猿妹加入非软件类的项目，这样可以帮助大家更直观的了解哪些项目才是GitHub上最热门的。现在，一起来看看这些项目你使用过哪些呢？1分布式RPC服务框架dubbohttp

01\.列举常见的关系型数据库和非关系型都有那些？1.关系型数据库通过外键关联来建立表与表之间的关系，常见的有：SQLite、Oracle、mysql2.非关系型数据库通常指数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的属性来决定常见的有：MongoDb、redis02\.MySQL常见数据库引擎

一、分区的概念　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区　　数据分区，在分布式

本文着重介绍mongonDB的原理及安装，最后送大家一个简单的列子，有可以运行的列子和原理，相信大家很容易学会mongonDB^\_^MongoDB是一个基于分布式文件存储的数据库。由C语言编写。意在为WEB应用提供可扩展的高性能数据存储解决方案。它有一下几个特点：　　1.模式自由。 (像json数据一样可以自由的宽展) 　　2.支持

大家好呀，我是summo，第一篇已经教会大家怎么去阿里云买服务器，以及怎么搭建JDK、Redis、MySQL这些环境。第二篇我们把后端的应用搭建好了，并且完成了第一个爬虫(抖音)。那么这一篇我会教大家如何将爬取到的数据保存到数据库，并且可以通过接口获取到，为后面的前端界面提供数据源。