Mryqu's Notes


  • 首页

  • 搜索
close

[Hadoop] 使用MRUnit进行MapReduce单元测试

时间: 2014-06-15   |   分类: BigData     |   阅读: 16 字 ~1分钟

MRUnit介绍

[Hadoop] 使用MRUnit进行MapReduce单元测试 MRUnit是一个用于帮助开发者进行HadoopMapReduce作业单元测试的Java库。它是JUnit架构扩展,无需将代码运行在集群上即可在开发环境测试Mapper和Reducer类的功能。MRUnit由Cloudera开发,并在2012年成为Apache基金会顶级项目。 MRUnit使用LocalJobRunner使用样本数据集模拟一次Mapper/Reducer执行过程。通过定义一或多个输入记录,使用LocalJobRunner运行测试代码,判定是否与期望输出相符。如相符,则安静退出;否则,默认抛出异常。

测试代码

本测试代码基于MRUnit指南中示例代码修改而成,使用junit:junit:4.11和org.apache.mrunit:mrunit:1.1.0:hadoop2两个Java库进行编译和测试。

SMSCDR.java

[Hadoop] 使用MRUnit进行MapReduce单元测试

SMSCDRMapperReducerTest

[Hadoop] 使用MRUnit进行MapReduce单元测试

执行测试

成功测试演示

[Hadoop] 使用MRUnit进行MapReduce单元测试

失败测试演示

为了演示测试失败情况,我将testReducer方法中期望值改为错误值123。 [Hadoop] 使用MRUnit进行MapReduce单元测试

参考

Apache MRUnit
MRUnit Tutorial

标题:[Hadoop] 使用MRUnit进行MapReduce单元测试
作者:mryqu
声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 CN 许可协议。转载请注明出处!

#hadoop# #mrunit# #mapreduce# #unittest# #junit#
选择Python科学计算发行版
数据科学:学习路径和图书
  • 文章目录
  • 站点概览

Programmer & Architect

662 日志
27 分类
1472 标签
GitHub Twitter FB Page
    • MRUnit介绍
    • 测试代码
    • 执行测试
    • 参考
© 2009 - 2023 Mryqu's Notes
Powered by - Hugo v0.120.4
Theme by - NexT
0%