爬虫代理IP池在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务。1、问题代理IP从何而来？

这周在看项目的相关代码时，接触到了Hystrix，因此查询了相关资料学习了下。一、什么是Hystrix　　Hystrix是Netflix针对微服务分布式系统的熔断保护中间件，当我们的客户端连接远程的微服务时，有两种情况需要考虑：首先，如果远程系统当机了我们怎么办？其次，我们如何管理对远程微服务的调用性能，以保证每个微服务以最小延迟最快性能

项目概述需求目前大多数的分布式架构底层通信都是通过RPC实现的，RPC框架非常多，比如前我们学过的Hadoop项目的RPC通信框架，但是Hadoop在设计之初就是为了运行长达数小时的批量而设计的，在某些极端的情况下，任务提交的延迟很高，所以Hadoop的RPC显得有些笨重。Spark的RPC是通过Akka类库实现的，Akka用

我们在产品中用到NoSQL数据库MongoDB。下面就来简单介绍一下MongoDB，并且通过一个例子来介绍SpringBoot中对MongoDB访问的配置和使用。MongoDB简介MongoDB是一个基于分布式文件存储的数据库，它是一个介于关系数据库和非关系数据库之间的产品，其主要目标是在键/值存储方式（

一、分区的概念　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区　　数据分区，在分布式

ES系列基于ElasticSearch6.4.x版本。1、简介ElasticSearch的存储设计天生就是分布式的。每个索引被分成多个分片（默认每个索引含5个主分片（primaryshard）），每个主分片又可以有多个副本。当一个文档被添加或删除时（主分片中新增或删除），其对应的复制分片之间必须保持同步。如果我们不这样做，那么对于同一个文档的检索请

为了标识一段数据，通常我们会为其指定一个唯一id，比如利用MySQL数据库中的自增主键。但是当数据量非常大时，仅靠数据库的自增主键是远远不够的，并且对于分布式数据库只依赖MySQL的自增id无法满足全局唯一的需求。因此，产生了多种解决方案，如UUID，Sn

本文分享自天翼云开发者社区《》，作者：罗文DDoS（分布式拒绝服务）应用层攻击是一种针对网络应用层的攻击方式。应用层是网络协议栈中最高级别的层次，负责处理用户与网络应用之间的交互。在应用层攻击中，攻击者通过发送大量的恶意请求或者利用应用层协议的漏洞，使目标

文中是对Java程序员面试必不可少知识要点的汇总，详尽解读了JVM基本原理，线程同步，算法设计和优化算法，分布式缓存，策略模式等。期待阅读者根据阅读文章这本书可以对Java的基本概念有更多更全方位的掌握。招聘者一般在短短的两个小时内就对招聘者的知识体系拥有