Spark :为什么它不起作用并给我 Py4JJavaError,但是当我添加查找 spark 时它有效?

Spark : why is it not working and giving me Py4JJavaError but when i add find spark it works?

提问人:Dan Albert 提问时间:11/17/2023 更新时间:11/17/2023 访问量:18

问:

我有这个代码


from pyspark.sql import SparkSession

# Create a Spark session
spark = SparkSession.builder.appName("example").getOrCreate()

# Create an RDD by parallelizing a Python list
data = [1, 2, 3, 4, 5]
rdd = spark.sparkContext.parallelize(data)

# Perform some operations on the RDD (e.g., double each element)
result_rdd = rdd.map(lambda x: x * 2)

# Collect the results and show them
result_list = result_rdd.collect()
print(result_list)


这给了我一个输出

[2, 4, 6, 8, 10]

如果我尝试像这样运行它,它会出现“Py4JJavaError”错误

我编辑了路径并确保我正确安装了它并遇到了 FindSpark,最终使它起作用

import findspark 

findspark.init()
findspark.find()

就在上面的代码之前。

有原因吗?

我用JAVA_HOME正确添加了路径,SPARK_HOME我遗漏了其他东西?

python apache-spark pyspark jupyter-notebook

评论


答: 暂无答案