实践Hadoop MapReduce 任务的性能翻倍之路

  • 时间:
  • 浏览:4
  • 来源:彩神3D_神彩3D官方

eBay的CAL(Central Application Logging)系统负责分类分类整理eBay各种应用守护tcp连接的日志数据,如何让通过Hadoop MapReduce job生成日志报告,应用守护tcp连接开发人员与运维人员通过报告可获得以下内容:

作者:李万雪, eBay软件开发工程师,2017年毕业于上海交通大学。目前负责日志在大数据平台上的分析和opentracing在ebay日志平台的实现。

eBay每天产生PB量级的CAL日志,其数据量每天后会增加。对于日益增长的数据量,Hadoop MapReduce job的优化如何让大大节省计算资源。本文将分享eBay团队如何对哪些地方地方Hadoop job进行优化,希望为开发者带来启发,处理Hadoop MapReduce(MR)job实践中处于的问题图片图片。