专栏作者：霖hero，在职爬虫工程师，熟悉JS逆向与分布式爬虫。喜欢钻研，热爱学习，乐于分享。公众号后台回复入群，拉你进技术群与大佬们近距离交流。01前言大家好，我是J哥🚀在以前的文章中我们学了Ajax数据爬取，这篇文章我们以今日头条为例，通过分析Ajax请求来抓取今日头条的街拍美图，并将图片下载到本地保存下来。准备好没，我们现在开始！0

大家好，我是黄伟。今天给大家介绍芒果数据库，一起来看看吧。前言Mongodb，分布式文档存储数据库，由C语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个高性能，开源，无模式的文档型数据库，是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。下面我们来说说它的具体用法吧。

关于“云计算”已经深深植入到我们生活中的点点滴滴，平时常用的那些APP或网站，基本都已经离不开“云计算”作为背后的强大服务支持，如剁手党爱恨交加的淘宝、京东，社交痴迷党的微信、微博等等。所以？“云计算”的五大特点大规模、分布式“云”一般具有相当的规模，一些知名的云供应商如Google云计算、Amazon、IBM、微软、阿里等也都拥能拥有上百万级的服务器规模。

技术架构的演变非常快，各种新的名词也是层出不穷。云原生人云亦云，那到底什么才是云原生呢？云原生又能带来什么好处呢？对于大部分人来说，大火的云原生还只是一个相对模糊和笼统的技术用语，大家都只是道听途说。其实任何一个IT新理念都是源于业务驱动，对云原生来说也是如此。1、云原生的概念云原生（CloudNative）是一个组合词，“云”表示应用程序运行于分布式云

背景在像微服务这样的分布式架构中，经常会有一些需求需要你调用多个服务，但是还需要确保服务的安全性、统一化每次的请求日志或者追踪用户完整的行为等等。你可能需要一个框架来帮助你实现这些功能。比如说帮你在一些关键路径的请求上配置必要的鉴权或超时策略。那样服务间的调用会被多层中间件所过滤并检查，确保整体服务的稳定性。设计目标

1.若没有分区，一个topic对应的消息集在分布式集群服务组中，就会分布不均匀，即可能导致某台服务器A记录当前topic的消息集很多，若此topic的消息压力很大的情况下，服务器A就可能导致压力很大，吞吐也容易导致瓶颈。有了分区后，假设一个topic可能分为10个分区，kafka内部会根据一定的算法把10分区尽可能均匀分布到不同的服务器上，比如：A服务

最近打算出一个系列，介绍Dubbo的使用。分布式应用现在已经越来越广泛，SpringCould也是一个不错的一站式解决方案，不过据我了解国内目前貌似使用阿里Dubbo的公司比较多，一方面这个框架也确实很OK，另一方面可能也是因为Dubbo的中文文档比较全的缘故，据Dubbo官网上的消息，阿里已经重新开始了对Dubbo的维护，这也算是使用D

Kafka是一种分布式的基于发布/订阅的消息系统，它的高吞吐量、灵活的offset是其它消息系统所没有的。Kafka发送消息主要有三种方式：1.发送并忘记2.同步发送3.异步发送回调函数下面以单节点的方式分别用三种方法发送1w条消息测试：方式一：发送并忘记(不关心消息是否正常到达，对返回结果不做任何判断处理)发送并忘记的方式本质上也

一、为什么需要分布式数据据库随着计算机和信息技术的迅猛发展，行业应用系统的规模迅速扩大，行业应用所产生的数据量呈爆炸式增长，动辄达到数百TB甚至数百PB的规模，已远远超出传统计算技术和信息系统的处理能力，集中式数据库面对大规模数据处理逐渐表现出其局限性。因此，人们希望寻找一种能快速处理数据和及时响应用户访问的方法，也希望对数

1基本概念集群:一个集群有一个或多个节点组织在一起,并将数据组织在一起,提供索引和搜索服务.节点:一个节点是一个集群中的服务器,提供存储数据,提供搜索服务.索引:文档的逻辑的集合分片:一个逻辑索引有若干分片,其中一个分片被设置为主分片.分片为索引的存储位置.会涉及到分布式问题.类型:文档的类型文档:与lucene中的d