1官网内容!(https://oscimg.oschina.net/oscnet/b4692a35356c34718f1b70f6f13d6fd2923.png)2看一张图一目了然!(https://img2018.cnblogs.com/blog/567850/201902/567850201902221329596814516

在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： !这里写图片描述(https://oscimg.oschina.net/oscnet/efca778a7edff4c4b6da9b25644f902d473.png)从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不

最近在看flume的监控源码，发现flume的监控metrics是存放在MBean中，再由web服务暴露到其他监控系统中。这次又get到了一个新知识点，今天给大家分享一下。什么是JMX和MBean?    JMX（Java管理扩展）提供了一种简单的、基础的方法，用来管理诸如应用、设备和服务等资源。由于JMX技术是动

作为技术人员tcpdump这个工具还是有必要了解的当你遇到网络协议问题一筹莫展的时候，这时候往往可以通过tcpdump来看网络的通讯过程中发生了什么事。本文只介绍工作用遇到的问题供大家参考，旨在给你工作中遇到类似问题提供解决灵感，具体tcpdump怎么使用google吧。下面通过三个案例进行介绍：案例一：flume写kafka日志报错案例二：LB（负载均衡）增加请求header后，nginx日志获取不到headerkeyclient_ip案例三：mysqlQPS特别高，但mysql并没有慢查询，想知道topKmysql语句最后：场景的http协议抓包场景

缘起有一个埋点收集系统，架构是NginxFlume。web，小程序，App等客户端将数据报送至Nginx，Nginx将请求写入本地文件，然后Flume读取日志文件的数据，将日志写入Kafka。这个架构本来没什么问题，但是部署在K8s容器就有问题了，当前一