Stella981 Stella981
3年前
Python爬虫代理池
爬虫代理IP池在公司做分布式深网爬虫,搭建了一套稳定的代理池服务,为上千个爬虫提供有效的代理,保证各个爬虫拿到的都是对应网站有效的代理IP,从而保证爬虫快速稳定的运行,当然在公司做的东西不能开源出来。不过呢,闲暇时间手痒,所以就想利用一些免费的资源搞一个简单的代理池服务。1、问题代理IP从何而来?
Stella981 Stella981
3年前
Spring boot 整合 Redisson
1  概述  Redisson实现了分布式和可扩展的Java数据结构,功能较为简单,不支持字符串操作,不支持排序、事务、管道、分区等Redis特性。Redisson的宗旨是促进使用者对Redis的关注分离,从而让使用者能够将精力更集中地放在处理业务逻辑上。2    特点1.Redisson中的方法则是进行比较高的抽象,每个方法调用可能进行了
Stella981 Stella981
3年前
Spring Cloud Spring Boot mybatis分布式微服务云架构(四十六)使用RabbitMQ(1)
MessageBroker与AMQP简介MessageBroker是一种消息验证、传输、路由的架构模式,其设计目标主要应用于下面这些场景:消息路由到一个或多个目的地消息转化为其他的表现方式执行消息的聚集、消息的分解,并将结果发送到他们的目的地,然后重新组合相应返回给消息用户
Stella981 Stella981
3年前
Hystrix的介绍和简单使用
这周在看项目的相关代码时,接触到了Hystrix,因此查询了相关资料学习了下。一、什么是Hystrix  Hystrix是Netflix针对微服务分布式系统的熔断保护中间件,当我们的客户端连接远程的微服务时,有两种情况需要考虑:首先,如果远程系统当机了我们怎么办?其次,我们如何管理对远程微服务的调用性能,以保证每个微服务以最小延迟最快性能
Wesley13 Wesley13
3年前
8个月打磨,一份送给程序员的「分布式系统」合集
_如果第二次看到我的文章,欢迎「文末」扫码订阅我个人的公众号(跨界架构师)哟~__每周五早8点按时送达到公众号。当然了,也会时不时加个餐~_是的,这份礼物最佳受众是程序员。但是,如果你不是程序员,相信这些能使你更懂程序员,能更好的与他们交流。有些小伙伴们应该知道了,之前的《分布式系统关注点——360°的全方位监控
Stella981 Stella981
3年前
GitHub上11月份最热门的Java项目
QQ用得起来越少了,现在就加入300技术微信群,公众号回复"微信群"即可加入。又到了公布GitHub上热门项目的时候啦~在11月的排行中,猿妹加入非软件类的项目,这样可以帮助大家更直观的了解哪些项目才是GitHub上最热门的。现在,一起来看看这些项目你使用过哪些呢?1分布式RPC服务框架dubbohttp
Wesley13 Wesley13
3年前
Java面试解析总结:Java+Redis+数据库+算法与数据结构+分布式
!(https://oscimg.oschina.net/oscnet/up760e80c47ac2161a4a2fb57889bd590e1ff.png)金九银十即将到来,给大家整理了今年来最经典的面试真题1000道,每个题目都有详细的解答,收集了java基础、RabbitMQ,微服务、MySQL数据库、Java并发、JVM,Redis、设计模
Stella981 Stella981
3年前
Spark学习之路 (十七)Spark分区
一、分区的概念  分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区,分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务中进行的,因此任务的个数,也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区  数据分区,在分布式
Stella981 Stella981
3年前
Gdevops峰会:一起探讨国产分布式数据库的选型与应用
从过去40年至今,数据库的形态基本经历了传统商业数据库、开源数据库到云原生数据库的演进过程。云时代下数据库将如何革新与创变?金融行业核心数据库迁移与建设如何安全平稳展开?Gdevops全球敏捷运维峰会由阿里巴巴、腾讯、工商银行、民生银行、爱可生、蚂蚁金服等几大巨头,对云原生数据库进行探索,带领我们眺望数据库发展变革更长远的未来。!
Wesley13 Wesley13
3年前
3分钟搞定SpringBoot+Mybatis+druid多数据源和分布式事务
    在一些复杂的应用开发中,一个应用可能会涉及到连接多个数据源,所谓多数据源这里就定义为至少连接两个及以上的数据库了。    下面列举两种常用的场景:    一种是读写分离的数据源,例如一个读库和一个写库,读库负责各种查询操作,写库负责各种添加、修改、删除。    另一种是多个数据源之间并没有特别明显的操作,只是程序