连接 API,使用 pyspark 解析结果并将其存储在 neo4j 中

Connect APIs, Parse the result using pyspark and store it in neo4j

提问人:Sathyamoorthy 提问时间:11/16/2023 更新时间:11/16/2023 访问量:23

问:

我的要求是直截了当的。我有一个 API 调用,它检索了大量数据。我想使用 PySpark 将它们转换为 DataFrame 并写入 Neo4J。

将 API 结果转换为 Dataframes 并将其存储在 Neo4j 中,如果可能,您能告诉我吗?

apache-spark pyspark neo4j

评论


答:

1赞 mamonu 11/16/2023 #1

这当然是可能的。 您知道 Neo4j Spark 连接器吗?

df.write \
  .format("org.neo4j.spark.DataSource") \
  .mode("ErrorIfExists") \
  .option("url", "bolt://localhost:7687") \
  .option("labels", ":Person") \
  .save()

上面是关于如何从 Spark 保存到 Neo4j 的命令示例。在这种情况下,它保存了“:P erson”节点。

当然,您需要以这样一种格式创建数据帧,以便它像图形数据一样有意义。

可能是来源、目的地、重量或类似的东西。 或者像上面的代码一样作为节点。

在不知道您的数据模式的情况下,恐怕我再也帮不上忙了。