传统数据存储

helloworld_75860873
• 阅读 556

通常情况下,业务系统产生的大量日志都是集中存储处理的。集中存储是指有一个由大型主机或多台主机组成的中心节点,数据集中存储在这个中心节点上,整个系统的所有业务单元都集中部署在这个中心节点上。数据计算几乎完全依赖于一台中大型中央计算机的处理能力。系统的所有功能都由它集中处理。在集中式系统中,每个终端或客户端只负责数据的输入和输出,而数据的存储和控制则完全交给主机。集中式存储最大的特点就是部署结构简单。在目前的环境下,我们需要面对以下考验:

可靠性:单实例,无数据库灾备。在不同的地方建立数据库灾备需要额外的成本。无论是主从架构、负载均衡还是自动容灾,传统的自建数据库都需要自己实现。

系统安全:需要抵御DDoS攻击。传统的自建数据库需要自己实施,实施成本高。同时也需要自行修复数据库安全漏洞。

硬件成本:为了部署数据库,开发人员需要购买昂贵的数据库服务器。一次性硬件成本很高。而且考虑到硬件损耗,后期还会有硬件维修更换的费用。

运维成本:硬件、操作系统、数据库软件的维护需要大量的人力物力。

可扩展性:传统自建数据库使用物理硬盘作为存储空间,受限于单个磁盘的容量,不支持灵活升级。也很难达到增加或删除节点的目的。如果一个数据库超过了这个存储限制,就需要运营和开发人员一起对数据进行归档,以减少数据库容量。

传统的数据库或仓库产品面临着数据存储、检出、扩展困难、成本高、无数据灾备等痛点。因此,如何升级整个传统数据库是企业面临的关键问题之一。

一方面,传统数据库无法满足互联网企业的新需求。由于互联网业务的快速扩张,企业需要实时处理海量数据,并发访问量非常大。传统数据库基于专用服务器和高端存储形成共享存储环境,设备昂贵,性能和可扩展性极其有限,无法满足互联网行业对高并发、实时在线数据库的需求。

另一方面,传统数据库无法满足云计算技术的新要求。依靠技术积累,云计算公司启动了从IOE架构到廉价PC服务器技术的转型,降低了IT服务支出,倡导以软件为中心的架构演进,降低了数据库维护和升级的风险。传统数据库环境是集中在一个地方的高稳定、高可靠、高可用的高端企业级设备,制约了云计算企业未来的业务发展,增加了长期运营成本。

传统数据存储面临以下四个问题: 无法处理每秒数万次的读写请求,硬盘IO此时也会成为性能瓶颈。

表中存储的记录数量有限,横向可扩展性有限,纵向数据承载能力也有限。面对海量数据,势必涉及子数据库、子表,维护难度大。用大数据查询SQL的效率极低。当数据量达到一定程度时,查询时间会呈指数级增长。

难以横向扩展,不能简单通过增加硬件和服务节点来提升系统性能。

对于需要24小时不间断服务的网站,升级扩容数据库会很麻烦,往往需要停机维护和数据迁移。为了避免服务中断,如果网站使用服务器集群,根据集群策略,要相应考虑主从一致性、集群可扩展性等一系列问题。

点赞
收藏
评论区
推荐文章
国际财务系统基于ShardingSphere的数据分片和一主多从实践
传统的将数据集中存储至单一数据节点的解决方案,在性能和可用性方面已经难于满足海量数据的场景,系统最大的瓶颈在于单个节点读写性能,许多的资源受到单机的限制,例如连接数、网络IO、磁盘IO等,从而导致它的并发能力不高,对于高并发的要求不满足。
Stella981 Stella981
3年前
FikkerCDN主控
FikkerCDN主控系统是一个免费的,开源的CDN加速管理平台,可对大量FikkerCDN节点进行集中管理,系统分为管理端和用户端,可以快速搭建好CDN运营平台,3分钟建立自有的CDN节点群;如果你有多余的服务器资源,就可以通过FikkerCDN快速的建立起自己的CDN加速节点,国内、国外、联通、电信等线路任由你分发。每部署一个CDN节点只需
Stella981 Stella981
3年前
Spring Cloud Alibaba系列(二)nacos作为服务配置中心
SpringCloudAlibaba系列(二)nacos作为服务配置中心Nacos提供用于存储配置和其他元数据的key/value存储,为分布式系统中的外部化配置提供服务器端和客户端支持。使用SpringCloudAlibabaNacosConfig,您可以在NacosServer集中管理你SpringCloud应用的外部
Stella981 Stella981
3年前
Hive、Inceptor数据倾斜详解及解决
一、倾斜造成的原因正常的数据分布理论上都是倾斜的,就是我们所说的2080原理:80%的财富集中在20%的人手中,80%的用户只使用20%的功能,20%的用户贡献了80%的访问量。俗话是,一个人累死,其他人闲死的局面这也违背了并行计算的初衷,首先一个节点要承受着巨大的压力,而其他节点计算完毕后要
Stella981 Stella981
3年前
Quartz依赖数据库表
Quartz的集群部署方案在架构上是分布式的,没有负责集中管理的节点,而是利用数据库锁的方式来实现集群环境下进行并发控制。BTW,分布式部署时需要保证各个节点的系统时间一致。Quartz数据库核心表如下:tabledescriptionQRTZ\_CALENDARS存储Quartz的Calendar信息QRTZ\_CR
Stella981 Stella981
3年前
Redis cluster的核心原理分析
一、节点间的内部通信机制1、基础通信原理(1)rediscluster节点间采取gossip协议进行通信跟集中式不同,不是将集群元数据(节点信息,故障,等等)集中存储在某个节点上,而是互相之间不断通信,保持整个集群所有节点的数据是完整的维护集群的元数据用得,集中式,一种叫做gossip集中式:好处在于,元数据的更新和读取,时效性非常好,
Wesley13 Wesley13
3年前
Java之一致性hash算法原理及实现
一致性哈希算法是分布式系统中常用的算法。比如,一个分布式的存储系统,要将数据存储到具体的节点上,如果采用普通的hash方法,将数据映射到具体的节点上,如key%N,key是数据的key,N是机器节点数,如果有一个机器加入或退出这个集群,则所有的数据映射都无效了。一致性哈希算法,解决了普通余数Hash算法伸缩性差的问题,可以保证在上线、下线服务
云存储的实际应用
云存储是一种基于云计算的存储服务,它通过互联网提供数据的存储、备份和处理服务。云存储的发展源于传统存储方式的不足,传统存储方式需要用户自行选择硬件设备、建立存储系统,并进行日常维护和管理,这需要大量的资金和人力投入。而云存储则通过云计算技术,将存储资源进行集中管理和调度,使得用户可以随时随地访问和管理自己的数据,更加灵活和便捷。
天翼云GPU云主机:共享信息技术与虚拟机的完美融合
GPU云主机是一种基于云计算技术的虚拟化服务器。它通过虚拟化技术将一台或多台物理服务器资源进行整合,形成一个共享资源池,从而提供弹性的云计算环境。在这个环境下,每个虚拟主机都可以独立运行,拥有自己的操作系统、存储空间和网络资源。与传统的云主机相比,GPU云主机最大的特点在于其配备了高性能的GPU计算卡,使得在进行大规模数据处理和复杂计算时能发挥出更强的计算能力。
云电脑:运行原理与自行搭建指南
云电脑是一种基于云计算的虚拟化电脑,它的运算、存储和管理都由远程数据中心来处理。用户通过简单的终端设备(如手机、平板或瘦客户端)以图形界面或命令行方式进行操作,所有的应用程序和数据都存储在远程的数据中心。