mapreduce踩坑日常
作者:smice分类:Java
日期:2021-04-21 16:13:002021-04-21阅读:368

踩坑1:Output directory not set

原因:导错包

解决方法:有两个同名类。需要注意。如果导成了第一个包就会报以上异常。

踩坑2:java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.Text received org.apache.hadoop.io.LongWritable

原因:maper输出的key、value和reduce的key、value类型不一致

解决方法:可能你瞪大眼睛看了自己配的泛型并没有问题,还是报这个错误。请检查你的Maper类重写map方法时是不是调用了父类方法。

把super方法去掉就可以了。如果去掉还是报异常,那可以在启动类用job手动配置map输出的key和value类型。

弹幕评论