Spark 项目在本地正常运行,但当我提交集群时,它报告了 null 指针异常

The Spark project runs normally locally, but when I submit the cluster, it reports a null pointer exception

提问人:yulu ye 提问时间:4/15/2023 最后编辑:Oliyulu ye 更新时间:4/16/2023 访问量:21

问:

我在目标文件的函数 (def) 之外设置了多个全局变量并将它们初始化为 null,然后在其中一个函数中分配和更新它们,并在另一个函数中调用这些全局变量,这使我得到变量始终为 null。我猜这可能是一个关闭问题,我该如何解决它?

object probA {

  // NON-FLUENT
  var COURSES_PER_SEMESTER: Int = 0
  var COURSE_COST: Double = 0
  var COURSE_RETAKE_COST: Double = 0
  var PROGRAM_INCOMPLETE_PENALTY: Double = 0
  var PREREQ: List[Array[String]] = null
  var PRIOR_PROB_PASS_NO_PREREQ: mutable.Map[String, Double] = null
  
  
  def A{}
  def B: Unit ={
    COURSES_PER_SEMESTER = 5
        ...
  }
}

我检查了很多信息,认为这可能是一个关闭问题,但我找不到解决方案。

Scala Apache Spark 闭包集群 计算

评论

0赞 Koedlt 4/15/2023
欢迎!您能否阅读有关文本图像的问题,然后编辑您的问题以将文本图像的转录添加为实际文本?也许有用:编辑帮助
1赞 Oli 4/16/2023
您能否提供一个最小的例子来说明您的问题,我们可以重现?

答: 暂无答案