Bitmap、RoaringBitmap原理分析
在处理海量大数据时,我们常常会使用Bitmap,但假如现在要向Bitmap内存入两个pin对应的偏移量,一个偏移量为1,另一个偏移量为100w,那么Bitmap存储直接需要100wbit的空间吗?数据部将偏移量存入Bitmap时,又如何解决数据稀疏问题呢?本文将为大家解答
Aidan075 Aidan075
4年前
31个让你大呼惊艳的数据可视化作品!
在一个信息大爆炸的时代,每天都有很多的新消息、新发现、新趋势向我们狂轰乱炸而来。在这个过程中,我们既是数据的生产者,也是数据的使用者,然而初次获取和存储的原始数据总是杂乱无章的。要想数据达到生动有趣、让人一目了然的效果,就需要借助数据可视化。数据图表天才们可以用简洁、直观又有趣的图表帮我们把大量的信息汇聚在小小的一张图表中,不仅让枯燥的数据和信息变了模样
Stella981 Stella981
3年前
Kafka连接器深度解读之JDBC源连接器
在现实业务中,Kafka经常会遇到的一个集成场景就是,从数据库获取数据,因为关系数据库是一个非常丰富的事件源。数据库中的现有数据以及对该数据的任何更改都可以流式传输到Kafka主题中,在这里这些事件可用于驱动应用,也可以流式传输到其它数据存储(比如搜索引擎或者缓存)用于分析等。实现这个需求有很多种做法,但是在本文中,会聚焦其中的一个解决方案,即Kafka
Stella981 Stella981
3年前
Redis Set (4)
存储类型String类型的无序集合,最大存储数量2^321(40亿左右)!(https://oscimg.oschina.net/oscnet/up877f026429a9ab49ee35684666672d80b18.png)存储(实现)原理Redis用intset或hashtable存储set。如果元素都是整数
Stella981 Stella981
3年前
Redis 应用场景
1\. MySqlMemcached架构的问题  实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题:  1.MySQL需要不断进行拆库拆表,Memcached也需不断跟着扩容,扩容和维护工作占据大量
Stella981 Stella981
3年前
EMQ X Neuron V1.1.1 正式发布,增加南北协议报文显示和日志追踪
为解决工业领域数据接入上云过程中所面临的协议繁杂、设备异构化等问题,2020年9月,物联网边缘工业协议网关软件EMQXNeuron(以下简称Neuron)正式发布。Neuron提供了通过对各种工业协议转换实现设备端的数据采集、运行业务逻辑服务、警报判定,并将数据及警报上传及存储到云平台。再通过Web服务等部署和客户端应用
京东云开发者 京东云开发者
6个月前
HBase深度历险
作者:京东物流于建飞简介HBase的全称是HadoopDatabase,是一个分布式的,可扩展,面向列簇的数据库,是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。本文会像剥洋葱一样,层层剥开她的心,直到一丝不挂。特点首先我们看一
艾木酱 艾木酱
2年前
应用实战|使用DBGate管理MemFireDB数据库
MemFireCloud是一款提供云数据库,用户可以创建云数据库,并对数据库进行管理,还可以对数据库进行备份操作。它还提供后端即服务,用户可以在1分钟内新建一个应用,使用自动生成的API和SDK,访问云数据库、对象存储、用户认证与授权等功能,可专注于编写前端应用程序代码,加速WEB或APP应用开发。简介DbGate是一款开源、开源、跨平台的数据库管理功能
RDMA网络实践
RDMA(RemoteDirectMemoryAccess)是远程直接内存访问技术,由于其低时延,低CPU占用等优势,被广泛的应用在分布式存储或计算系统中。DMA技术是一种单机内的高速数据传输技术,通常由DMA控制器来控制数据的传输流程,释放了CPU资源,而RDMA技术是一种借助IB网卡实现远程高数数据传输的技术。
HBase深度历险 | 京东物流技术团队
简介HBase的全称是HadoopDatabase,是一个分布式的,可扩展,面向列簇的数据库,是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案。本文会像剥洋葱一样,层层剥开她的心,直到一丝不挂。特点首先我们看一下hbase有哪些特