Stella981 Stella981
3年前
Python爬虫代理池
爬虫代理IP池在公司做分布式深网爬虫,搭建了一套稳定的代理池服务,为上千个爬虫提供有效的代理,保证各个爬虫拿到的都是对应网站有效的代理IP,从而保证爬虫快速稳定的运行,当然在公司做的东西不能开源出来。不过呢,闲暇时间手痒,所以就想利用一些免费的资源搞一个简单的代理池服务。1、问题代理IP从何而来?
Stella981 Stella981
3年前
Spring boot 整合 Redisson
1  概述  Redisson实现了分布式和可扩展的Java数据结构,功能较为简单,不支持字符串操作,不支持排序、事务、管道、分区等Redis特性。Redisson的宗旨是促进使用者对Redis的关注分离,从而让使用者能够将精力更集中地放在处理业务逻辑上。2    特点1.Redisson中的方法则是进行比较高的抽象,每个方法调用可能进行了
Stella981 Stella981
3年前
Kafka概述及安装部署
一、Kafka概述1.Kafka是一个分布式流媒体平台,它有三个关键功能:(1)发布和订阅记录流,类似于消息队列或企业消息传递系统;(2)以容错的持久方式存储记录流;(3)记录发送时处理流。2.Kafka通常应用的两大类应用(1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道;(2)构建转换或响应数据流的实施
Stella981 Stella981
3年前
Linux下调整根目录的空间大小教程
    我在将远程yum库同步到本地的过程中突然发现/目录下的磁盘空间太小了,根本能放不下那么多的rpm包,而/home目录下的居然有100多G无用的空间,于是,我查找了资料,并成功对linux进行了分区,现把分区方法写下来,供大家分享。    我使用如下的命令查看本地磁盘空间分布:df h    我的linux系统原来的分区空间如下:
Stella981 Stella981
3年前
Hystrix的介绍和简单使用
这周在看项目的相关代码时,接触到了Hystrix,因此查询了相关资料学习了下。一、什么是Hystrix  Hystrix是Netflix针对微服务分布式系统的熔断保护中间件,当我们的客户端连接远程的微服务时,有两种情况需要考虑:首先,如果远程系统当机了我们怎么办?其次,我们如何管理对远程微服务的调用性能,以保证每个微服务以最小延迟最快性能
Wesley13 Wesley13
3年前
RPC的简单实现
RPC(RemoteProcedureCall)—远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/
Stella981 Stella981
3年前
GitHub上11月份最热门的Java项目
QQ用得起来越少了,现在就加入300技术微信群,公众号回复"微信群"即可加入。又到了公布GitHub上热门项目的时候啦~在11月的排行中,猿妹加入非软件类的项目,这样可以帮助大家更直观的了解哪些项目才是GitHub上最热门的。现在,一起来看看这些项目你使用过哪些呢?1分布式RPC服务框架dubbohttp
Stella981 Stella981
3年前
Spark学习之路 (十七)Spark分区
一、分区的概念  分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区,分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务中进行的,因此任务的个数,也是由RDD(准确来说是作业最后一个RDD)的分区数决定。二、为什么要进行分区  数据分区,在分布式
Stella981 Stella981
3年前
OpenCV阈值化处理
图像的阈值化就是利用图像像素点分布规律,设定阈值进行像素点分割,进而得到图像的二值图像。图像阈值化操作有多种方法,常用方法有经典的OTSU、固定阈值、自适应阈值、双阈值及半阈值化操作。这里对各种阈值化操作进行一个总结。OTSU阈值化在阈值化处理中,常用的算法就是OTSU。发明人是NobuyukiOstu。这种二值化操作阈值的选取非常重要,阈
易鲸捷持续强化原生分布式数据库能力 实践案例再获认可
核心金融系统,尤其是银行的核心交易系统,对数据库的要求极其严格,一直是想要攻克的难关,是检验国产数据库能否发挥主导作用的标志。在过去两年中,出现了一些积极的事态发展。2022年10月,某银行基于易景捷分布式数据库建设的国产软硬件支持的核心交易系统进入试运行