MapReduce性能优化大纲

Stella981
• 阅读 455

MapReduce性能优化大纲

大数据技术与架构

点击右侧关注,大数据开发领域最强公众号!

MapReduce性能优化大纲

MapReduce性能优化大纲

暴走大数据

点击右侧关注,暴走大数据!

MapReduce性能优化大纲

检测系统瓶颈

  • 性能调优
  1. 创建一项基线,用来评估系统的首次运行性能(即集群默认配置)

  2. 分析Hadoop计数器,修改,调整配置,并重新执行任务,与基线进行比较

  3. 重复执行第2步,直到最高效率

识别资源瓶颈

  • 内存瓶颈

  • 当发现节点频繁出现虚拟内存交换时表示出现了内存瓶颈

  • CPU瓶颈

  • 通常情况下,处理器负载超过90%,在多处理器系统上整体负载超过50%

  • 判断是否是单个特定线程独占了CPU

  • IO瓶颈

  • 磁盘持续活动率超过85%(也有可能是由CPU或内存导致)

  • 网络带宽瓶颈

  • 在输出结果或shuffle阶段从map拉取数据时

识别资源薄弱环节

  • 检查Hadoop集群节点健康状况

  • 检查JobTracker页面中是否存在黑名单,灰名单和被排除的节点

  • 灰名单节点会间歇性发生故障从而影响作业运行,应尽快处理(排除或修复)

  • 检查输入数据的大小

  • 当输入数据变大时会导致任务运行时间变长

  • 检查计数器中的HDFS_BYTES_WRITTENReduce shuffle bytesMap output bytesMap input bytes

  • 检查海量IO和网络阻塞

  • 如果在读取数据时出现网络或IO瓶颈,会导致计算资源被迫等待

  • 检查FILE_BYTES_READHDFS_BYTES_READ来判断是否是输入引起的

  • 检查Bytes WriteenHDFS_BYTES_WRITTEN来判断是否是写入引起的

  • 通过压缩数据和使用combiner

  • 检查并发任务不足

  • 集群中CPU核处于闲置状态

  • IO核网络利用率不足

  • 检查CPU过饱和

  • 当低优先级任务经常等待高优先任务运行时发生过饱和,体现为过多的上下文切换

  • 使用vmstat显示上下文切换情况(cs=context switch)

  • 可能由于在主机上运行了过多的任务

强化Map&Reduce任务

  • 强化Map任务

  • 通过单个map的写入文件大小和任务处理时间得出

  • 发生大量溢写时会产生性能问题和读取过载,比较Map output records < Spilled Records

  • 需要精确分配内存缓冲区

  • 二进制文件和压缩文件本质上不基于块,因此不能拆分

  • 小文件会产生大量并行任务来处理,会浪费很多资源

  • 处理小文件的最好方法是打包为大文件

  • 使用Avro对数据序列化来创建容器文件

  • 使用HAR格式文件

  • 使用序列文件把小文件存储成单个大文件

  • 如果数据集很大但数据块很小会导致mapper过多,需要花时间进行拆分;因此输入文件大则数据块大小也要加大

  • 大的数据块会加速磁盘IO,但会增加网络传输开销,因而在Map阶段造成记录溢写

  • Map任务的流程

  • 输入数据和块大小的影响

  • 处置小文件和不可拆分文件

  • 在Map阶段压缩溢写记录

  • 计算Map任务的吞吐量

  1. Read阶段:从HDFS读取固定大小(64M)的数据块

  2. Map阶段:需要测量整个Map函数执行时间和处理的记录数。来判断是否有某个Map处理了超常规数据;过多的文件数量(小文件)或者过大的文件大小(单个不可拆分的文件)

  3. Spill阶段:对数据进行本地排序,并针对不同的reduce进行划分,同时如果有可用的combiner则进行合并,然后把中间数据写入磁盘

  4. Fetch阶段:把Map的输出缓冲到内存,记录产生的中间数据量

  5. Merge节点:针对每一个reduce任务,把Map输出合并成单个溢写文件

  • 强化Reduce任务

  • 压缩排序和合并的数据量(combiner,数据压缩,数据过滤)

  • 解决本地磁盘问题和网络问题

  • 最大化内存分配以尽可能把数据保留在内存而不是输出到磁盘

  • 造成Reduce低速的原因可能是未经优化的reduce函数,硬件问题或者不当的Hadoop配置

  • 通过输入Shuffle除以Reduce运行时间得到吞吐量

  • Reduce任务的流程

  • 计算Reduce吞吐量

  • 改善Reduce执行阶段

  1. Shuffle阶段:Map任务向Reduce传输中间数据,并对其进行合并和排序

  2. Reduce阶段:测量每个数据键及其对应的所有值上运行reduce函数的耗时

  3. Write阶段:将结果输出到HDFS

  • 调优Map和Reduce参数
    MapReduce性能优化大纲

优化MapReduce任务

  • 使用Combiner

  • 类似于本地Reduce操作,可以提升全局Reduce操作效率

  • 习惯上一般直接把reduce函数当做Combiner,逻辑需满足交换律和结合律

  • Combiner会在Map函数生成的键值对收集到列表,并经过Combiner运算直到Combiner缓冲区达到一定数目时,才会发送给reduce。因此在数据量非常大的情况下可以很好的改善性能

  • 使用压缩技术

  • 输入压缩:在有大量数据且计划重复处理时,应考虑输入压缩。Hadoop会自动对合适扩展名的文件启用压缩和解压

  • 压缩Mapper输出:当map任务中间数据量大时,应考虑在此阶段启用压缩。能改善Shuffle过程,降低网络开销

  • 压缩Reducer输出:可以减少要存储的结果数据量,同时降低下游任务的输入数据量

  • 如果磁盘IO和网络影响了MR作业性能,则在任意阶段(压缩输入,Mapper或Reduce输出)启用压缩都可以改善处理时间,减小IO和网络开销

  • 使用正确的Writable类型

  • 通过使用FileInputFormat实现原始字节比WriteableComparable更有优势

  • 使用Text而不是String来消除字符串拆分所花的时间

  • 使用VIntWritable或者VLongWritable有时比使用int和long更快

  • 在代码中使用正确的可写类型能提高MR作业整体性能

  • 在Shuffle和Sort阶段,中间键的比较可能会成为瓶颈

  • 复用类型

  • 复用已存在的实例比创建新的代价更低

  • 尽量避免创造短生命周期的对象,会造成GC压力变大

  • 开启JVM复用,降低新启动JVM造成的开销

  • 优化Mapper和Reduce代码

  • 用更少的时间获得相同的输出

  • 在相同的时间内用更少的资源获得相同的输出

  • 在相同的时间内用相同的资源获得更多的输出

欢迎点赞+收藏+转发朋友圈素质三连

MapReduce性能优化大纲

文章不错?点个【在看】吧!** 👇**

本文分享自微信公众号 - 大数据技术与架构(import_bigdata)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
4个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
List的Select 和Select().tolist()
List<PersondelpnewList<Person{newPerson{Id1,Name"小明1",Age11,Sign0},newPerson{Id2,Name"小明2",Age12,
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Stella981 Stella981
3年前
Flink SQL Window源码全解析
!(https://oscimg.oschina.net/oscnet/72793fbade36fc18d649681ebaeee4cdf00.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3MzgwNT
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这