今天在将一个hive数仓表导出到mysql数据库时出现进度条一直维持在95%一段时间后提示失败的情况，搞了好久才解决。使用的环境是HUE中的Oozie的workflow任何调用sqoop命令，该死的oozie的日志和异常提示功能太辣鸡了，最后发现是重复数据导致数据进入mysql表时出现主键冲突进而导致数据同步失败。（1）众所周知hive表是没有主键与索引

前言本篇文章主要介绍在两台机器上使用Docker搭建ELK。正文环境CentOS7.7系统Dockerversion19.03.8dockercomposeversion1.23.2系统设置vim编辑/etc/secur

在双十一过程中投入同样的硬件资源，Kafka搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考。温馨提示：TPS只是众多性能指标中的一个，我们在做技术选型方面要从多方面考虑，本文并不打算就消息中间件选型方面投入太多笔墨，重点想尝试剖析两

Tars是腾讯从2008年到今天一直在使用的后台逻辑层的统一应用框架，目前支持C,Java,PHP,Nodejs，Golang语言。该框架为用户提供了涉及到开发、运维、以及测试的一整套解决方案，帮助一个产品或者服务快速开发、部署、测试、上线。它集可扩展协议编解码、高性能RPC通信框架、名字路由与发现、发布监控、日志统计、配置管理等于一体，通过它可以快速用

Tars是腾讯从2008年到今天一直在使用的后台逻辑层的统一应用框架，目前支持C,Java,PHP,Nodejs，Golang语言。该框架为用户提供了涉及到开发、运维、以及测试的一整套解决方案，帮助一个产品或者服务快速开发、部署、测试、上线。它集可扩展协议编解码、高性能RPC通信框架、名字路由与发现、发布监控、日志统计、配置管理等于一体，通过它可以快速用

ES也是比较火热，在日志数据分析，规则分析等确实很方便，说实话用esstack浪尖觉得可以解决很多公司的数据分析需求。极客时间下周一要上线新的ES课程，有需要的暂时别购买，到时候还找浪尖返现吧。写这篇文章的原因是前两天星球球友去面试，面试管问了一下，Spark分析ES的数据，生成的RDD分区数跟什么有关系呢？稍微猜测一下就能想到

作者：张政俊，中欧基金DBAMysql一般出现CPU负载过高问题的时候，我们都会去看下故障期间的慢sql日志，然后找出全表扫描、索引不合理、函数运算过多的sql，让开发同学优化下。实在不行的话，那就升级CPU硬件，替换更高频率的CPU，1路的升级成2路，2路的升级成四路。这次出现的问题因为关乎到每天的业务处理，所以很多措施无法第一时间到位，

在清洗日志时，有一个应用场景，就是TCP输出时，需要在一个主机挂了的情况下，自已切换到下一个可用入口，而原tcpoutput仅支持单个目标主机设定。故本人在原tcp的基础上，开发出tcp\_multihost输出插件，来满足此场景。插件在一开始的时候会随机选择一个链路，而在链路出错连续超过３(默认)次后会尝试数组中下一个主机github:http

当搞全局捕获异常时可以使用到AOP技术，采用异常通知，也可以用AOP搞日志记录在类上面加上@EnableAsyns注解开启异步调用@Asyns，在方法上加上此注解，可以实现异步调用，底层是多线程技术，相当于加上这个注解的方法重新开启了一个单独的线程正常情况下，当A方法调用B方法时，是需要B方法执行完成，有返回结果时等待返回。这是顺序的方式从上到下

应用异常时，基本可以分为服务访问不通和服务响应慢两个大类。其中服务响应慢的问题定位非常棘手，很多无头案。应用团队有日志和追踪，对于自认为的不可能不合理的事情都会甩给基础设施团队，又由于基础设施团队现有的监控数据缺乏应用的观测视角，通常成为一切「不是我的问题」超自然现象的终极背锅侠，其中以网络团队尤为严重。