问：

我想在远程连接两台 VM 计算机并使用 spark 资源执行我的 PySpark 程序

VM1：独立 SparkVM1： Standalone Spark
VM2：使用 Pyspark 代码的 Jupyter NotebookVM2： Jupyter Notebook with Pyspark code

我已使用“Spark Connect”在 Spark 独立集群和其他节点之间进行远程连接，这些节点在 jupyter notebook 中具有 pyspark 代码。并出现以下错误：

**SparkConnectGrpcException：<_InactiveRpcError终止于以下位置的 RPC：

status = StatusCode.UNAVAILABLE
details = "failed to connect to all addresses; last error: UNAVAILABLE: ipv4:spark://:port: Socket closed"
debug_error_string = "UNKNOWN:failed to connect to all addresses; last error: UNAVAILABLE: ipv4:spark://:port: Socket closed {created_time:"2023-10-18T08:18:31.248037669+01:00", grpc_status:14}"**

如能提供任何协助，将不胜感激。提前致谢

apache-spark 远程服务器主从 apache-spark-standalone spark-connect

是否有任何解决方案与 SparkConnectGrpcException 相关？

Is any solution related to SparkConnectGrpcException?

**SparkConnectGrpcException：<_InactiveRpcError终止于以下位置的 RPC：

评论