推荐
专栏
教程
课程
飞鹅
本次共找到8819条
数据采集器
相关的信息
Stella981
•
4年前
Lua 中避免低效解析 TCP 网络数据包体的一种方式
TCP是流式协议,发送方发送出的是字节流,接收方接收到的也是字节流数据。通常,在应用层都会通过headerbody在字节流中标识出单个协议包。发送方将原始数据打包成headerbody。header是固定字节数包头,标识body包含了多少字节数据。接收方先读固定字节数header,然后根据header读出具体的body
京东云开发者
•
3年前
Mysql索引覆盖
通常情况下,我们创建索引的时候只关注where条件,不过这只是索引优化的一个方向。优秀的索引设计应该纵观整个查询,而不仅仅是where条件部分,还应该关注查询所包含的列。索引确实是一种高效的查找数据方式,但是mysql也可以从索引中直接获取数据,这样就不在需要读数据行了。
zdd小小菜鸟
•
3年前
MySQL面试
MySQL面试1.数据库的三范式是什么?tex第一范式:强调的是列的原子性,即数据库表的每一列都是不可分割的原子数据项。第二范式:要求实体的属性完全依赖于主关键字。所谓完全依赖是指不能存在仅依赖主关键字一部分的属性。
Aidan075
•
4年前
分享5个高效的pandas函数!
熟练掌握pandas函数都能帮我们在数据分析过程中节省时间。pandas还有很多让人舒适的用法,这次就为大家介绍5个pandas函数!本文来源towardsdatascience,作者SonerYıldırım,由Python大数据分析编译。1\.explodeexplode用于将一行数据展开成多行。比如说dataframe中某一行其中一个元素包含多个同
Stella981
•
4年前
Redis 的落地策略
因为之前使用redis一般都只做热数据处理,没有考虑过落地方案,因此,通过很多次不同的交流,发现落地也挺重要的,特来学习一般。落地策略我们知道,redis是纯内存数据库,一旦发生宕机,数据就会丢失,因此,Redis的落地策略其实就是持久化(Persistence),主要有以下2种策略:1.RDB:定时快照方式(snapsho
Wesley13
•
4年前
MySQL高可用之MHA
背景介绍高可用架构对于互联网服务基本是标配,无论是应用服务还是数据库服务都需要做到高可用。本文是对MySQL数据库的高可用方案中,基于主从复制的MHA软件理论部分进行梳理和小结。MHA软件介绍1.MHA软件是由MHAManager(管理节点)和MHANode(数据节点)组成2.MHAManager可以单独部署
Stella981
•
4年前
Redis 应用场景
1\. MySqlMemcached架构的问题 实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题: 1.MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量
Stella981
•
4年前
HBase & MongoDB
1.Mongodbbson文档型数据库,整个数据都存在磁盘中,hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb主键是“\_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样,hbase的主键就是rowkey,可以是任意字符串(最大长度是64KB,实际应用中长度一般为1010
Stella981
•
4年前
Scrapy框架全
架构介绍Engine:引擎,处理整个系统的数据流处理,触发事物,是整个框架的核心Item:项目,他定义了爬取结果的数据结构,爬取的数据会被赋值成该Item对象Scheduler:调度器,接受引擎发过来的请求并将其加入到队列中,在引擎再次请求的时候将请求提供给引擎Downloader:下载器,下载网页内容,并将网页内容返回给spider
Stella981
•
4年前
EMQ X Neuron V1.1.1 正式发布,增加南北协议报文显示和日志追踪
为解决工业领域数据接入上云过程中所面临的协议繁杂、设备异构化等问题,2020年9月,物联网边缘工业协议网关软件EMQXNeuron(以下简称Neuron)正式发布。Neuron提供了通过对各种工业协议转换实现设备端的数据采集、运行业务逻辑服务、警报判定,并将数据及警报上传及存储到云平台。再通过Web服务等部署和客户端应用
1
•••
290
291
292
•••
882