Karen110 Karen110
3年前
Python爬虫 | 批量爬取今日头条街拍美图
专栏作者:霖hero,在职爬虫工程师,熟悉JS逆向与分布式爬虫。喜欢钻研,热爱学习,乐于分享。公众号后台回复入群,拉你进技术群与大佬们近距离交流。01前言大家好,我是J哥🚀在以前的文章中我们学了Ajax数据爬取,这篇文章我们以今日头条为例,通过分析Ajax请求来抓取今日头条的街拍美图,并将图片下载到本地保存下来。准备好没,我们现在开始!0
Irene181 Irene181
3年前
一篇文章带你搞懂非关系型数据库MongoDB
大家好,我是黄伟。今天给大家介绍芒果数据库,一起来看看吧。前言Mongodb,分布式文档存储数据库,由C语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个高性能,开源,无模式的文档型数据库,是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。下面我们来说说它的具体用法吧。
Irene181 Irene181
3年前
一篇文章带你搞懂非关系型数据库MongoDB
大家好,我是黄伟。今天给大家介绍芒果数据库,一起来看看吧。前言Mongodb,分布式文档存储数据库,由C语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个高性能,开源,无模式的文档型数据库,是当前NoSql数据库中比较热门的一种。它在许多场景下可用于替代传统的关系型数据库或键/值存储方式。下面我们来说说它的具体用法吧。
什么是云计算?
关于“云计算”已经深深植入到我们生活中的点点滴滴,平时常用的那些APP或网站,基本都已经离不开“云计算”作为背后的强大服务支持,如剁手党爱恨交加的淘宝、京东,社交痴迷党的微信、微博等等。所以?“云计算”的五大特点大规模、分布式“云”一般具有相当的规模,一些知名的云供应商如Google云计算、Amazon、IBM、微软、阿里等也都拥能拥有上百万级的服务器规模。
云原生 | 咱就是说跟“云”特熟 | 企业级飞速低代码
技术架构的演变非常快,各种新的名词也是层出不穷。云原生人云亦云,那到底什么才是云原生呢?云原生又能带来什么好处呢?对于大部分人来说,大火的云原生还只是一个相对模糊和笼统的技术用语,大家都只是道听途说。其实任何一个IT新理念都是源于业务驱动,对云原生来说也是如此。1、云原生的概念云原生(CloudNative)是一个组合词,“云”表示应用程序运行于分布式云
Stella981 Stella981
3年前
B站微服务框架Kratos详细教程(2)
背景在像微服务这样的分布式架构中,经常会有一些需求需要你调用多个服务,但是还需要确保服务的安全性、统一化每次的请求日志或者追踪用户完整的行为等等。你可能需要一个框架来帮助你实现这些功能。比如说帮你在一些关键路径的请求上配置必要的鉴权或超时策略。那样服务间的调用会被多层中间件所过滤并检查,确保整体服务的稳定性。设计目标
Stella981 Stella981
3年前
Kafka基于topic的分区设计
1.若没有分区,一个topic对应的消息集在分布式集群服务组中,就会分布不均匀,即可能导致某台服务器A记录当前topic的消息集很多,若此topic的消息压力很大的情况下,服务器A就可能导致压力很大,吞吐也容易导致瓶颈。有了分区后,假设一个topic可能分为10个分区,kafka内部会根据一定的算法把10分区尽可能均匀分布到不同的服务器上,比如:A服务
Stella981 Stella981
3年前
Kafka生产者发送消息的三种方式
Kafka是一种分布式的基于发布/订阅的消息系统,它的高吞吐量、灵活的offset是其它消息系统所没有的。Kafka发送消息主要有三种方式:1.发送并忘记2.同步发送3.异步发送回调函数下面以单节点的方式分别用三种方法发送1w条消息测试:方式一:发送并忘记(不关心消息是否正常到达,对返回结果不做任何判断处理)发送并忘记的方式本质上也
Stella981 Stella981
3年前
MyCat数据库的基础配置及使用
一、为什么需要分布式数据据库随着计算机和信息技术的迅猛发展,行业应用系统的规模迅速扩大,行业应用所产生的数据量呈爆炸式增长,动辄达到数百TB甚至数百PB的规模,已远远超出传统计算技术和信息系统的处理能力,集中式数据库面对大规模数据处理逐渐表现出其局限性。因此,人们希望寻找一种能快速处理数据和及时响应用户访问的方法,也希望对数
Wesley13 Wesley13
3年前
ES 源代码阅读(二)
1基本概念集群:一个集群有一个或多个节点组织在一起,并将数据组织在一起,提供索引和搜索服务.节点:一个节点是一个集群中的服务器,提供存储数据,提供搜索服务.索引:文档的逻辑的集合分片:一个逻辑索引有若干分片,其中一个分片被设置为主分片.分片为索引的存储位置.会涉及到分布式问题.类型:文档的类型文档:与lucene中的d