博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
重读avro文件 对文件进行简单的mr计算
阅读量:5937 次
发布时间:2019-06-19

本文共 1940 字,大约阅读时间需要 6 分钟。

public class ReadAvroInput {

public static class ReadAvroInputMap extends Mapper
, NullWritable, Text, IntWritable> { private Text oKey = new Text(); private final IntWritable ONE = new IntWritable(1); private UserActionLog keyData; @Override protected void map(AvroKey
key, NullWritable value, Mapper
, NullWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException { keyData = key.datum(); oKey.set(keyData.getProvience().toString()); context.write(oKey, ONE); }}public static class ReadAvroInputReducer extends Reducer
{ private int sum; private IntWritable oValue = new IntWritable(); @Override protected void reduce(Text key, Iterable
values, Reducer
.Context context) throws IOException, InterruptedException { sum=0; for (IntWritable value : values) { sum += value.get(); } oValue.set(sum); context.write(key, oValue); }}public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Configuration configuration =new Configuration(); Job job =Job.getInstance(configuration); job.setJarByClass(ReadAvroInput.class); job.setJobName("重读avro文件进行mr计算"); job.setMapperClass(ReadAvroInputMap.class); job.setCombinerClass(ReadAvroInputReducer.class); job.setReducerClass(ReadAvroInputReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); job.setInputFormatClass(AvroKeyInputFormat.class); AvroJob.setInputKeySchema(job, UserActionLog.getClassSchema()); FileInputFormat.addInputPath(job, new Path("/ReducerJoin/part-r-00000.avro")); Path outputPath =new Path("/ReadAvroInput"); outputPath.getFileSystem(configuration).delete(outputPath, true); FileOutputFormat.setOutputPath(job, outputPath); System.exit(job.waitForCompletion(true)?0:1);}

}

UserActionLog是通过mvn 指令通过schema框架生成的

转载地址:http://xgttx.baihongyu.com/

你可能感兴趣的文章
通讯组基本管理任务三
查看>>
赫夫曼编码实现
查看>>
html页面显示div源代码
查看>>
基础复习-算法设计基础 | 复杂度计算
查看>>
debian、ubuntu系统下,常用的下载工具
查看>>
带以太网的MicroPython开发板:TPYBoardv201温湿度上传实例
查看>>
如何解压缩后缀名为zip.001,zip.002等的文件
查看>>
OSGI企业应用开发(十二)OSGI Web应用开发(一)
查看>>
Python 以指定概率获取元素
查看>>
微信公众平台图文教程(二) 群发功能和素材管理
查看>>
关于System.Collections空间
查看>>
MPP(大规模并行处理)
查看>>
Centos下基于Hadoop安装Spark(分布式)
查看>>
Java 位运算
查看>>
好用的CSS模块化打包工具CSS-COMBO
查看>>
python 中的字符和字符串
查看>>
C#Winform限制Textbox只能输入数字
查看>>
EL表达式经典用法
查看>>
java.lang.NoClassDefFoundError: javax/mail/Authenticator
查看>>
联想集团涨超7% 杨元庆持股比例升至8.12%
查看>>