Stella981 Stella981
3年前
OpenTSDB在HBase中的底层数据结构设计
0.时序数据库时间序列(TimeSeries):是一组按照时间发生先后顺序进行排列的数据点序列,通常一组时间序列的时间间隔为一恒定值(如1秒,5分钟,1小时等)。时间序列数据可被简称为时序数据。实时监控系统所收集的监控指标数据,通常就是时序数据。时序数据具有如下特点:每一个时间序列通常为某一固定类型的数值
Wesley13 Wesley13
3年前
MySQL 的实时性能监控利器
操作系统及MySQL数据库的实时性能状态数据尤为重要,特别是在有性能抖动的时候,这些实时的性能数据可以快速帮助你定位系统或MySQL数据库的性能瓶颈,就像你在Linux系统上使用「top,sar,iostat」等命令工具一样,可以立刻定位OS的性能瓶颈是在IO还是CPU上,所以收集/展示这些性能数据就更为重要,那都有哪些重要的实时性能状态指标可以反应出系统和
Stella981 Stella981
3年前
Kafka 消息存储与索引设计
消息中间件的性能好坏,它的消息存储的机制是衡量该性能的最重要指标之一,而Kafka具有高性能、高吞吐、低延时的特点,动不动可以上到几十上百万TPS,离不开它优秀的消息存储设计。下面我按照自己的理解为大家讲解Kafka消息存储设计的那些事。在Kafka的设计思想中,消息的存储文件被称作日志,我们Java后端绝大部分人谈到日志,一般会联想到
Stella981 Stella981
3年前
JVM参数及调优
调优基本概念在调整JVM性能时,通常有三个组件需要考虑:1.堆大小调整2.垃圾收集器调整3.JIT编译器大多数调优选项都与调整堆大小和选择合适的垃圾收集器有关,JIT编译器对性能也有很大影响,但很少需要对其进行调优,尤其是针对较新版本的JVM。通常,在进行Java程序调优的时候,会重点关注两个主要指标:响应
Wesley13 Wesley13
3年前
MySQL应对高并发之Redis缓存
高并发高并发(HighConcurrency)是指系统运行过程中的一种“短时间内遇到大量操作请求”的情况,主要发生在web系统集中大量访问收到大量请求,例如淘宝双十一、京东618类的活动。该情况的发生会导致系统在这段时间内执行大量操作(对资源的请求、数据库的操作等)。高并发相关常用的一些指标有:响应时间、吞吐量、每秒查询率QPS、并发用户数
国际领先!天翼云驭“数”有道!
近日,中国电子学会在北京隆重召开科技攻关项目成果鉴定会。鉴定委员会一致认为:天翼云大数据平台研发项目涉及的大数据存储、计算、调度等一系列关键技术,复杂度高、研制难度大、创新性强,总体技术达到国际先进水平,其中分布式存储元数据两层视图管理等关键技术指标达到国际领先水平。
2022年第三届seed大赛(江苏大数据开发与应用大赛)
一、赛事简介江苏省工业和信息化厅、无锡市政府通过连续两年举办江苏大数据开发与应用大赛,已累计吸引到全球超过3800名选手参与其中,同时在医疗、能源、车联网、城市治理等前沿热门领域,均提供了大量经过数据全生命周期加工后的珍贵产业案例数据集,充分展现了无锡市数据开放、数据共享工作的成效。为进一步汇聚核心产业高价值种子数据集,促进公共数据共享开放,吸引数字化产业人
2022“SEED”第三届江苏大数据开发与应用大赛--医疗卫生赛道
一、赛事简介江苏省工业和信息化厅、无锡市政府通过连续两年举办江苏大数据开发与应用大赛,已累计吸引到全球超过3800名选手参与其中,同时在医疗、能源、车联网、城市治理等前沿热门领域,均提供了大量经过数据全生命周期加工后的珍贵产业案例数据集,充分展现了无锡市数据开放、数据共享工作的成效。为进一步汇聚核心产业高价值种子数据集,促进公共数据共享开放,吸引数字化产业人
VictoriaMetrics常见性能问题排查
VM集群由以下子模块组成vmstorage:存储原始数据,并根据指定时间范围和标签过滤条件等返回查询数据集vminsert:接收数据写入,并根据指标名和标签按一致性hash分发至集群中vmstorage节点vmselect:执行查询请求,从数据所在的vmstorage节点获取数据每个模块可以独立扩缩容。其中vmstorage各节点之间不互相通信,属于sharenothing架构。如此可以增加集群可用性,也简化了集群维护、扩容。
如何实现数据库读一致性
1导读数据的一致性是数据准确的重要指标,那如何实现数据的一致性呢?本文从事务特性和事务级别的角度和大家一起学习如何实现数据的读写一致性。2一致性1.数据的一致性:通常指关联数据之间的逻辑关系是否正确和完整。举个例子:某系统实现读写分离,读数据库是写数据库的