提问人:Dan Albert 提问时间:11/17/2023 更新时间:11/17/2023 访问量:18
Spark :为什么它不起作用并给我 Py4JJavaError,但是当我添加查找 spark 时它有效?
Spark : why is it not working and giving me Py4JJavaError but when i add find spark it works?
问:
我有这个代码
from pyspark.sql import SparkSession
# Create a Spark session
spark = SparkSession.builder.appName("example").getOrCreate()
# Create an RDD by parallelizing a Python list
data = [1, 2, 3, 4, 5]
rdd = spark.sparkContext.parallelize(data)
# Perform some operations on the RDD (e.g., double each element)
result_rdd = rdd.map(lambda x: x * 2)
# Collect the results and show them
result_list = result_rdd.collect()
print(result_list)
这给了我一个输出
[2, 4, 6, 8, 10]
如果我尝试像这样运行它,它会出现“Py4JJavaError”错误
我编辑了路径并确保我正确安装了它并遇到了 FindSpark,最终使它起作用
import findspark
findspark.init()
findspark.find()
就在上面的代码之前。
有原因吗?
我用JAVA_HOME正确添加了路径,SPARK_HOME我遗漏了其他东西?
答: 暂无答案
评论