专栏作者：霖hero，在职爬虫工程师，熟悉JS逆向与分布式爬虫。喜欢钻研，热爱学习，乐于分享。公众号后台回复入群，拉你进技术群与大佬们近距离交流。01前言大家好，我是J哥🚀在以前的文章中我们学了Ajax数据爬取，这篇文章我们以今日头条为例，通过分析Ajax请求来抓取今日头条的街拍美图，并将图片下载到本地保存下来。准备好没，我们现在开始！0

分布式锁应用场景很多应用场景是需要系统保证幂等性的（如api服务或消息消费者），并发情况下或消息重复很容易造成系统重入，那么分布式锁是保障幂等的一个重要手段。另一方面，很多抢单场景或者叫交易撮合场景，如dd司机抢单或唯一商品抢拍等都需要用一把“全局锁”来解决并发造成的问题。在防止并发情况下造成库存超卖的场景，也常用分布式锁来解决。实现

在分布式开发中，锁是线程控制的重要途径。Java(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Flib.csdn.net%2Fbase%2Fjava)为此也提供了2种锁机制，synchronized和lock。做为Java爱好者，自然少不了对比一下这2种机制，也能从中学到些分布式开发需要

etcd是什么？Ahighlyavailablekeyvaluestoreforsharedconfigurationandservicediscovery.是一个键值存储仓库，用于配置共享和服务发现概念：高可用的分布式ke

简介ApacheFlink是高效和分布式的通用数据处理平台，由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎（简单来说，就是跟spark类似）。Flink具有监控API，可用于查询"正在运行的jobs"和"最近完成的jobs"的状态和统计信息。该监控API被用于Flink自

Graphx   概述      SparkGraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。      众所周知·，社交网络中人与人之间有很多关系链，例如Twitter、Facebook、微博和微信等，这些都是大数据产生的地方都需要图计算，现

ubuntu18.04.2hadoop3.1.2zookeeper3.5.5高可用完全分布式集群搭建集群规划：hostnameNameNodeDataNodeJournalNodeResourceManagerZookeepernode01√√√node02√√node03√√

Apachehadoop是什么? 可靠的，可扩展的分布式计算软件。(1)可使用简单的编程模型来分布式计算集群中的大量数据集。(2)可从一台服务器扩展到数千台服务器的计算和存储(3)在应用层面发现并处理错误Hadoop项目的几大模块(1)HadoopCommon: 支持其他hadoop模块的通用

一年前由于工作需要从微软技术栈入坑Java，并陆陆续续做了一个Java后台项目，目前在搞ScalaJava混合的后台开发，一直觉得并发编程是所有后台工程师的基本功，所以也学习了小一年Java的并发工具，对整体的并发理解乃至分布式都有一定的提高，所以想和大家分享一下。我的学习路线首先说说学习路线，我一开始是直接上手JCIP（JavaConc

近日，由中国通信标准化协会主办、中国信通院承办的2024OSCAR开源产业大会在北京召开，会上发布《2024央国企开源项目典型实践》，天翼云科技有限公司打造的“TeleDB分布式数据库在开源社区的特性贡献案例”成功入选。本次入选不仅是对天翼云TeleDB数据库技术创新性的权威认可，也进一步提升了天翼云TeleDB数据库在开源领域的行业认可度和影响力。