Stella981 Stella981
3年前
Kafka源码剖析 —— 生产者消息追加中的优秀设计与大体流程
消息发送流程:!这里写图片描述(https://imgblog.csdn.net/20180905170801267?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FudXJub21lcnU/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA/disso
Stella981 Stella981
3年前
Apache Flink结合Apache Kafka实现端到端的一致性语义
本次分享来自阿里巴巴的工程师在ApacheKafkaxApacheFlink·北京会议上的分享,关于Apache Flink结合ApacheKafka实现端到端的一致性语义的原理。2017年12月Apache Flink社区发布了1.4版本。该版本正式引入了一个里程碑式的功能:两阶段提交Sink,即TwoPhaseCommitSin
Stella981 Stella981
3年前
ELK学习笔记之配置logstash消费kafka多个topic并分别生成索引
0x00 filebeat配置多个topicfilebeat.prospectors:input_type:logencoding:GB2312fields_under_root:truefields:添加字段
Stella981 Stella981
3年前
Spark Streaming StreamingContext详解+和Receiver详解+updateStateByKey+基于Direct的Kafka数据源
一.StreamingContext详解有两种创建StreamingContext的方式:valconfnewSparkConf().setAppName(appName).setMaster(master);valsscnewStreamingContext(conf,S
Stella981 Stella981
3年前
Kafka 异步消息也会阻塞?记一次 Dubbo 频繁超时排查过程
线上某服务A调用服务B接口完成一次交易,一次晚上的生产变更之后,系统监控发现服务B接口频繁超时,后续甚至返回线程池耗尽错误ThreadpoolisEXHAUSTED。因为服务B依赖外部接口,刚开始误以为外部接口延时导致,所以临时增加服务Bdubbo线程池线程数量。配置变更之后,重启服务,服务恢复正常。一段时间之后,服务B
Stella981 Stella981
3年前
FLINK 1.12 支持upsertSql 不再去使用了JDBCUpsertSINK了,kafka也支持upsert了
packagecom.konka.dsp;importorg.apache.flink.api.common.JobExecutionResult;importorg.apache.flink.api.common.restartstrategy.RestartStrategies;import
Stella981 Stella981
3年前
Kafka生产者哪些重要的参数是我们需要注意的?
在KafkaProducer中大部分的参数都有合理的默认值,一般不需要修改它们。不过了解这些参数可以让我们更合理地使用生产者客户端,其中还有一些重要的参数涉及程序的可用性和性能,如果能够熟练掌握它们,也可以让我们在编写相关的程序时能够更好地进行性能调优与故障排查。下面挑选一些重要的参数进行讲解。1\.acks这个参数用来指定分区中必须要
Stella981 Stella981
3年前
Spark2Streaming读Kerberos环境的Kafka并写数据到HDFS
温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。Fayson的github:https://github.com/fayson/cdhproject提示:代码块部分可以左右滑动查看噢1.文档编写目的在前面的文章Fayson介
Easter79 Easter79
3年前
Springmvc+mybatis+shiro+Dubbo+ZooKeeper+Redis+KafKa j2ee分布式架构
框架简介主要定位于互联网企业架构,已内置企业信息化系统的基础功能和高效的代码生成工具,包括:系统权限组件、数据权限组件、数据字典组件、核心工具组件、视图操作组件、工作流组件组件、代码生成等。采用分层设计、双重验证、提交数据安全编码、密码加密、访问验证、数据权限验证。平台简介    是一个分布式的框架,提供项目模块化、服务化、热插拔的思想,高
DevOpSec DevOpSec
2年前
tcpdump解决运维生产中遇到问题
作为技术人员tcpdump这个工具还是有必要了解的当你遇到网络协议问题一筹莫展的时候,这时候往往可以通过tcpdump来看网络的通讯过程中发生了什么事。本文只介绍工作用遇到的问题供大家参考,旨在给你工作中遇到类似问题提供解决灵感,具体tcpdump怎么使用google吧。下面通过三个案例进行介绍:案例一:flume写kafka日志报错案例二:LB(负载均衡)增加请求header后,nginx日志获取不到headerkeyclient_ip案例三:mysqlQPS特别高,但mysql并没有慢查询,想知道topKmysql语句最后:场景的http协议抓包场景