<dfn id='d1mQdVcp'></dfn>

        <noscript id='d1mQdVcp'></noscript>

      1. 频道栏目
        首页 > 网络 > 云计算 > 正文

        MapReduce计数器原理

        2019-02-19 11:18:36           
        收藏   我要投稿

        计数器输出

        运行完毕作业之后的计数器输出

        \

        \

        内置计数器
        hadoop为每个作业提供了若干内置计数器,用以描述各项指标。

        文件系统计数器
        所属类:org.apache.hadoop.mapreduce.FileSystemCounter

        BYTES_READ:文件系统读取的字节数

        BYTES_WRITTEN:文件系统写的字节数

        FileInputFormat任务计数器
        所属类:org.apache.hadoop.mapreduce.lib.input.FileInputFormatCounter

        BYTES_READ:map任务通过FileInputFormat读取的字节数

        FileOutputFormat任务计数器
        BYTES_WRITTEN:由map任务或者reduce任务通过FileOutputFormat写的字节数

        作业计数器
        所属类:org.apache.hadoop.mapreduce.JobCounter

        TOTAL_LAUNCHED_MAPS:启动的map任务数(推测执行启动的任务,以下也是)

        TOTAL_LAUNCHED_REDUCES:启动的reduce任务数

        TOTAL_LAUNCHED_UBERTASKS:启动的uber任务数

        NUM_UBER_SUBMAPS:uber任务中的map任务数

        NUM_UBER_SUBREDUCES:uber中reduce任务数

        NUM_FAILED_MAPS:失败的map数

        NUM_FAILED_REDUCES:失败的reduce数

        NUM_FAILED_UBERTASKS:失败的uber任务数

        DATA_LOCAL_MAPS:数据本地化的map数,即与输入数据在同一节点的map数

        RACK_LOCAL_MAPS:与输入数据在同一机架上的map数,但不在同一节点

        OTHER_LOCAL_MAPS:与输入数据不在同一机架上的map数

        SLOTS_MILLIS_MAPS:map任务运行的总时间

        SLOTS_MILLIS_REDUCES:reduce任务运行的总时间

        MapReduce任务计数器
        MAP_INPUT_REDORDS:map输入的记录数

        MAP_SKIPPED_RECORDS:map跳过的记录数

        MAP_INPUT_BYTES:map输入的字节数

        SPLIT_RAW_BYTES:分片的原始字节数

        MAP_OUTPUT_RECORDS:map输出的记录数

        MAP_OUTPUT_BYTES:map输出的字节数

        MAP_OUTPUT_MATERIALIZED_BYTES:map输出后写到磁盘上的字节数

        COMBINER_INPUT_RECORDS:作业中combiner已经处理输入的记录数

        COMBINER_OUPUT_REDORDS:作业中combiner已产生输出的记录数

        REDUCE_INPUT_GROUPS:reduce输入的组,即每当reduce()被调用

        REDUCE_INPUT_RECORDS:作业中reduce已经处理的输入记录个数

        REDUCE_OUTPUT_RECORDS:reduce输出的记录数

        REDUCE_SKIPPED_RECORDS:reduce跳过的组数

        REDUCE_SHUFFLER_BYTES:shuffle中将map输出数据复制到reduce中的字节数

        SPILLED_RECORDS:作业中map和reduce任务溢出到磁盘的记录数

        CPU_MILLISECONDS:总计的cpu时间

        PHYSICAL_MEMORY_BYTES:一个任务所用的物理内存字节数

        VIRTUAL_MEMORY_BYTES:一个任务所使用的虚拟内存字节数

        COMMITTED_HEAP_BYTES:JVM中总有效内存量

        GC_TIME_MILLIS:GC运行时间毫秒数

        SHUFFLED_MAPS:由shuffle传输的map数

        FAILED_SHUFFLE:失败的shuffle数

        MERGED_MAP_OUTPUTS:被合并的map输出数

        自定义计数器
        自定义计数器,计数器的值可以在mapper或reducer中增加,计数器由一个Java枚举(enum)类型定义
        ?

        	enum Temperature{
        		MISSING,
        		TOTAL
        	}
        

        在map或者reduce中使用计数器

        context.getCounter(Temperature.TOTAL).increment(1);

        获取计数器

        		Counters counters = job.getCounters();
        		long total = counters.findCounter(MaxTemperature.Temperature.TOTAL).getValue();//获取自定义计数器
        		long mpas = counters.findCounter(TaskCounter.MAP_INPUT_RECORDS).getValue();	//获取内置计数器
        

        ?

        ?

        ?

        上一篇:python的matplotlib库个人总结
        下一篇:遗传算法的一些个人看法
        相关文章
        图文推荐

        关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

        版权所有: 第一门户--致力于做实用的IT技术学习网站