捉虫大师 捉虫大师
2年前
眼见不一定为实:调用链HBase倾斜修复
hello,大家好,我是小楼。今天给大家分享一个关于HBase数据倾斜的排查案例,不懂调用链?不懂HBase?没关系,看完包懂背景最近HBase负责人反馈HBase存储的调用链数据偶尔出现极其严重的倾斜情况,并且日常的倾斜情况也比较大,讲的通俗点就是出现了热点机器。举个例子,有三台HBase机器存储调用链数据,其中大部分数据读写都在一台机器上,导致机器负载
Karen110 Karen110
3年前
pandas创始人手把手教你利用Python进行数据分析(思维导图)
导读:Python是目前数据科学领域的王者语言,众多科学家、工程师、分析师都使用它来完成数据相关的工作。由于Python具有简单易学、语法灵活的特点,很多需要处理数据的人士想要学习,主要有两大类:财经类、统计类背景人员,他们的日常工作有大量数据需要处理、分析,但对于学习使用计算机领域的编程语言Python又感到无从下手。一些想要学习
捉虫大师 捉虫大师
3年前
dubbo的前世今生
背景在很久以前,网站应用是单体应用的架构,流量小,所有功能、代码都部署在一起,成本低。此时数据库访问框架ORM是关键。后来流量逐渐增大,单体应用被拆分为互不相干的多个应用,这就是垂直架构,此时加速前端页面开发的Web框架MVC是关键。再后来,垂直应用越来越大,应用间的交互不可避免,分布式服务框架RPC变成了关键。dubboRPC,全称RemoteProc
Android通过URL打开Activity
关注公众号QXF069为每个Activity绑定一个url可以方便的让第三方app直接打开这些Activity。也可以方便在app内部进行页面跳转,解耦。背景举一个常见的案例,假设我们有个产品A,产品A包含h5网页端和客户端,当用户在手机打开我们的h5网页端的时候,我们会期望如果用户手机安装了我们的客户端,则直接打
Wesley13 Wesley13
3年前
PHP 代码加密面面观
时代在发展,在PHP平台上开发的开发者越来越多。“天下熙熙,皆为利来;天下攘攘,皆为利往”,许多开发者使用PHP开发他们的商业产品,并将其进行二次分发。可惜由于PHP的机制受限,开发者们只能分发源代码,这对他们的版权保护极为不利,导致PHP界涌现出了不少加密产品。笔者最近想了想,在这里对这些加密产品进行逐项介绍,以飨各位读者。如果你没有任何技术背景,笔者
Wesley13 Wesley13
3年前
MySQL 5.6.35 索引优化导致的死锁案例解析
一、背景随着公司业务的发展,商品库存从商品中心独立出来成为一个独立的系统,承接主站商品库存校验、订单库存扣减、售后库存释放等业务。在上线之前我们对于核心接口进行了压测,压测过程中出现了MySQL5.6.35死锁现象,通过日志发现引发死锁的只是一条简单的sql,死锁是怎么产生的?发扬技术人员刨根问底的优良传统,对于这次死锁原因进行了细致的排
Stella981 Stella981
3年前
Nginx内存内容泄漏
0x01背景最近HackerOne公布了Nginx内存内容泄漏的问题,如果说内存内容泄漏的问题是个Bug的话,那这个Bug是个比较典型的程序没有对输入异常数据做适当的过滤处理而形成的。现实中程序对有限正常系用例的数据处理是定量的,对无线的异常数据会出现处理的盲点,如果什么数据都可以作为一个可接受输入程序的输入数据
Stella981 Stella981
3年前
ELK项目es+kibana+jdk配置问题
简介ELK需求背景业务发展越来越庞大,服务器越来越多各种访问日志、应用日志、错误日志量越来越多开发人员排查问题,需要到服务器上查日志,不方便运营人员需要一些数据,需要我们运维到服务器上分析日志说白了就是日志那么多我要给你们搞牛逼的系统如果有机会再搞日志系统加消息列队eskafka消化来的数据ELK包含Elasti
Stella981 Stella981
3年前
Raft分布式一致性算法原理(选举和同步)
Raft分布式一致性算法原理(选举和同步)一.背景在集群环境下,很容易出现单节点故障的问题,那么我们就需要进行集群部署,但是当集群部署的环境下,我们如何保证工作有序的调度与通信并且保证一致性呢,当客户端发送一连串指令,我们需要在集群环境下,所有服务机器最终要保证一致性,而且在出现一系列异常并且恢复
Stella981 Stella981
3年前
HBase实践案例:车联网监控系统
项目背景本项目为车联网监控系统,系统由车载硬件设备、云服务端构成。车载硬件设备会定时采集车辆的各种状态信息,并通过移动网络上传到服务器端。服务器端接收到硬件设备发送的数据首先需要将数据进行解析,校验,随后会将该消息转发到国家汽车监测平台和地方汽车监测平台,最后将解析后的明文数据和原始报文数据存储到系统中。车辆的数据和其他数据需要通过