浅谈离线数据倾斜
用最通俗易懂的话来说,数据倾斜无非就是大量的相同key被partition分配到一个分区里,造成了'一个人累死,其他人闲死'的情况,这种情况是我们不能接受的,这也违背了并行计算的初衷,首先一个节点要承受着巨大的压力,而其他节点计算完毕后要一直等待这个忙碌的节点,也拖累了整体的计算时间,可以说效率是十分低下的
Wesley13 Wesley13
3年前
#大学生活#锐捷客户端与VMWare
!输入图片说明(https://static.oschina.net/uploads/img/201610/13231820_Rs9u.jpg"在这里输入图片标题")在暨南大学生活了差不多一个月了,基本都适应了,不过从9月发作至今的五月病还是没有痊愈,最近一段时间都没有动力去继续研究。众所周知大部分的大学都是用锐捷客户端,暨大用的是个暨大专用客
Stella981 Stella981
3年前
Flutter 小说练手项目
一个简单的Flutter入门级项目。如果你已经学了Flutter一段时间,想写一个综合项目而又无从下手,苦于没有接口,那这个项目就很适合你。博主也是一个玄幻小说迷呀,所以这个项目是关于小说阅读的,但是这个项目除了Flutter练手的作用以外,并不具备其它实用性功能,所以....。但用来学习我觉得是很适合的,我稍微说一下项目所用到的框架技
Stella981 Stella981
3年前
SpringBoot定时任务动态修改cron表达式改变执行周期
一、场景引入前不久做过一个根据下载指令定时下载文件到服务器的需求。轮询下载的周期需要根据下载任务量的大小动态修改,下载任务密集的时候就周期缩小,下载任务少量时就扩大周期时间。java本身和第三方开源框架Spring共有三种执行定时任务的方式:1)Java自带的java.util.Timer类:这个类允许你调度一个java.util.TimerT
Stella981 Stella981
3年前
Django的全文检索
我们曾经愉快的使用HaystackWhoosh作为全文检索引擎,可伴随着数据的增加,我们毫无意外的遇到了性能问题。检索时间从毫秒级一下子跌入秒级,常常一个检所需要数秒钟才能返回。而且一旦我们要对索引内容进行调整,而不得不全部重建索引,只能等待数个小时才能建好。为了解决这个问题,我们考察了众多的方案,并最终决定使用xapain替换Whoosh。考察过
Goooood狗帝 Goooood狗帝
1年前
通过Goooood®狗帝 融合CDN解决内容传递痛点:
当涉及内容传递时,企业会遇到各种挑战,包括缓慢的加载时间、性能不稳定、安全漏洞和有限的全球覆盖范围。这些痛点可能会影响用户体验并阻碍企业的成功。幸运的是,Goooood®狗帝融合CDN提供了全面的解决方案,针对这些挑战,使企业能够无缝传递优化的内容。在本篇文章中,我们将探讨融合CDN如何解决常见的内容传递挑战,并释放企业在网络上的真正潜力。
VictoriaMetrics常见性能问题排查
VM集群由以下子模块组成vmstorage:存储原始数据,并根据指定时间范围和标签过滤条件等返回查询数据集vminsert:接收数据写入,并根据指标名和标签按一致性hash分发至集群中vmstorage节点vmselect:执行查询请求,从数据所在的vmstorage节点获取数据每个模块可以独立扩缩容。其中vmstorage各节点之间不互相通信,属于sharenothing架构。如此可以增加集群可用性,也简化了集群维护、扩容。
秋桐 秋桐
1年前
如何通过Java压缩PDF文档
PDF文档在日常工作中应用广泛,经常用于保存公司文件,电子图书或网络资料等大篇幅内容。然而,内容过多往往也会导致PDF文件过大,不便于其保存和发送。在这种情况下,我们可以选择使用FreeSpire.PDFforJava压缩PDF文件。这一方法主要通过压缩文件内的图片、不需要的注释行和空格等来压缩文件大小,以此节约储存空间,减少文件传送时间。以下是具体的操作步骤。
JDK 17 营销初体验 —— 亚毫秒停顿 ZGC 落地实践 | 京东云技术团队
自2014年发布以来,JDK8一直都是相当热门的JDK版本。其原因就是对底层数据结构、JVM性能以及开发体验做了重大升级,得到了开发人员的认可。但距离JDK8发布已经过去了9年,那么这9年的时间,JDK做了哪些升级?是否有新的重大特性值得我们尝试?能否解决一些我们现在苦恼的问题?带着这份疑问,我们进行了JDK版本的调研与尝试。
基于Raft算法的DLedger-Library分析 | 京东物流技术团队
在分布式系统应用中,高可用、一致性是经常面临的问题,针对不同的应用场景,我们会选择不同的架构方式,比如masterslave、基于ZooKeeper选主。随着时间的推移,出现了基于Raft算法自动选主的方式,Raft是在Paxos的基础上,做了一些简化和限制,比如增加了日志必须是连续的,只支持领导者、跟随者和候选人三种状态,在理解和算法实现上都相对容易许多。