Hadoop：重定向到作业历史记录服务器时出现 NullPointerException

Hadoop: NullPointerException when redirecting to job history server

提问人：frb 提问时间：10/13/2016 最后编辑：Azimfrb 更新时间：10/23/2016 访问量：1940

问：

我有一个 Hadoop 集群 （HDP 2.1）。一切都已经工作了很长时间，但突然间作业开始返回以下重复错误：

16/10/13 16:21:11 INFO Configuration.deprecation: fs.default.name is deprecated. Instead, use fs.defaultFS
16/10/13 16:21:12 INFO Configuration.deprecation: fs.default.name is deprecated. Instead, use fs.defaultFS
16/10/13 16:21:12 INFO impl.TimelineClientImpl: Timeline service address: http://dev-fiwr-bignode-12.hi.inet:8188/ws/v1/timeline/
16/10/13 16:21:13 INFO client.RMProxy: Connecting to ResourceManager at dev-fiwr-bignode-12.hi.inet/10.95.76.79:8050
16/10/13 16:21:13 INFO input.FileInputFormat: Total input paths to process : 2
16/10/13 16:21:13 INFO mapreduce.JobSubmitter: number of splits:2
16/10/13 16:21:13 INFO Configuration.deprecation: fs.default.name is deprecated. Instead, use fs.defaultFS
16/10/13 16:21:14 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1476366871137_0003
16/10/13 16:21:14 INFO impl.YarnClientImpl: Submitted application application_1476366871137_0003
16/10/13 16:21:14 INFO mapreduce.Job: The url to track the job: http://dev-fiwr-bignode-12.hi.inet:8088/proxy/application_1476366871137_0003/
16/10/13 16:21:14 INFO mapreduce.Job: Running job: job_1476366871137_0003
16/10/13 16:21:19 INFO mapreduce.Job: Job job_1476366871137_0003 running in uber mode : false
16/10/13 16:21:19 INFO mapreduce.Job:  map 0% reduce 0%
16/10/13 16:21:23 INFO mapreduce.Job:  map 50% reduce 0%
16/10/13 16:21:24 INFO mapreduce.Job:  map 100% reduce 0%
16/10/13 16:21:28 INFO mapreduce.Job:  map 100% reduce 100%\
6/10/13 16:21:29 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
16/10/13 16:21:29 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
16/10/13 16:21:29 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
Exception in thread \"main\" java.io.IOException:
org.apache.hadoop.ipc.RemoteException(java.lang.NullPointerException): java.lang.NullPointerException
org.apache.hadoop.mapreduce.v2.hs.HistoryClientService$HSClientProtocolHandler.getTaskAttemptCompletionEvents(HistoryClientService.java:277)
org.apache.hadoop.mapreduce.v2.api.impl.pb.service.MRClientProtocolPBServiceImpl.getTaskAttemptCompletionEvents(MRClientProtocolPBServiceImpl.java:173)
org.apache.hadoop.yarn.proto.MRClientProtocol$MRClientProtocolService$2.callBlockingMethod(MRClientProtocol.java:283)
org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
java.security.AccessController.doPrivileged(Native Method)
javax.security.auth.Subject.doAs(Subject.java:415)
org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1594)
org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)
org.apache.hadoop.mapred.ClientServiceDelegate.invoke(ClientServiceDelegate.java:334)
org.apache.hadoop.mapred.ClientServiceDelegate.getTaskCompletionEvents(ClientServiceDelegate.java:386)
org.apache.hadoop.mapred.YARNRunner.getTaskCompletionEvents(YARNRunner.java:539)
org.apache.hadoop.mapreduce.Job$5.run(Job.java:668)
org.apache.hadoop.mapreduce.Job$5.run(Job.java:665)
java.security.AccessController.doPrivileged(Native Method)
javax.security.auth.Subject.doAs(Subject.java:415)
org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1594)
org.apache.hadoop.mapreduce.Job.getTaskCompletionEvents(Job.java:665)
org.apache.hadoop.mapreduce.Job.monitorAndPrintJob(Job.java:1366)
org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1306)
dijkstra.adjacencylist.AdjacencyListDriver.jobRun(AdjacencyListDriver.java:53)
dijkstra.adjacencylist.AdjacencyListDriver.run(AdjacencyListDriver.java:31)
org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)
dijkstra.launch.LaunchClass.launchAdjMatrix(LaunchClass.java:226)
dijkstra.launch.LaunchClass.main(LaunchClass.java:199)
sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
java.lang.reflect.Method.invoke(Method.java:606)
org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by:
org.apache.hadoop.ipc.RemoteException(java.lang.NullPointerException):
java.lang.NullPointerException
org.apache.hadoop.mapreduce.v2.hs.HistoryClientService$HSClientProtocolHandler.getTaskAttemptCompletionEvents(HistoryClientService.java:277)
...

谷歌搜索了一下，我看到了这些问题：

它们似乎是相关的。然而，为什么集群一直运行到现在？配置中没有任何变化，clsuter 未处于安全模式，HDFS 空间使用率约为 0.03%......有什么线索吗？如果这与上述问题有关，有什么解决方法吗？

非常感谢，我会继续关注您的答案或其他信息要求。

Hadoop NullPointerException

评论

0赞 Azim 10/22/2016
只需确认一件事，它是否在作业执行后在输出文件中写入任何内容？通常，分布式系统存在不可避免的网络和硬件故障问题。现在，我也很想知道实际问题是什么。
0赞 frb 10/26/2016
@Azim，该作业似乎在内部运行许多其他工作......我不喜欢这样的想法，无论如何，我不是工作的开发者，而是集群的管理员。话虽如此，用户告诉我第一批，比方说，子作业在 HDFS 中完成和写入。问题出在第二组作业上：HDFS 中没有写入任何内容，因为 History Server 会上升 NPE。

答：

0赞 Sean F 10/23/2016 #1

从堆栈跟踪来看，您的问题类似于 5703，如该错误中所述：

“GetTaskAttemptCompletionEventsResponse（） 方法通过调用 verifyAndGetJob（） 获取作业，但它从未检查作业是否为 null，这是此问题的根本原因。”

使用作业 ID 查找作业，但未找到该作业。

在该 bug 中，它列出了一种情况，即向作业历史记录服务器 （JHS） 查询已完成的作业，但 JHS 未能收到该作业的信息。

似乎存在有关作业终止和作业历史记录上传的未决问题，当作业历史记录上传失败时，可能会发生此异常。在错误中，该问题是在历史记录上传完成之前重新启动写入历史记录的节点，或者该节点没有好的节点来写入历史记录而触发的。

不幸的是，这里没有其他内容可以帮助确定导致历史记录上传失败的原因，但这似乎是问题的根本原因。作业历史记录服务器没有成功完成的作业的记录。

评论

0赞 frb 10/26/2016
谢谢你的回答。请查看我添加到原始帖子中的评论，以获取更多信息。

上一个：java.lang.NullPointerAndroid Studio 项目 gradle 的异常

下一个：getMetaData（） 抛出内部 NullPointerException