如何在 Databricks 中设置苏打水群集的总内存大小

How to set size of total memory for sparkling water cluster in Databricks

提问人:omoshiroiii 提问时间:11/17/2023 最后编辑:Alex Ottomoshiroiii 更新时间:11/17/2023 访问量:36

问:

我正在使用 Sparkling Water 3.40.0.4 在 Databricks 中工作;我有一个 512 GB 的总驱动程序内存和 6 个工作人员,每个工人 64 GB。当我打电话时

hc = H2OContext.getOrCreate()

内部 H2O 集群是跨 6 个工作线程创建的,但集群内存总大小约为 60 GB。我可以创建一个普通的、非苏打水的 H2O 群集,并将 max_mem_size 和 min_mem_size 参数传递给 init() 方法,这将返回一个更大大小的群集,但我似乎找不到如何在 Databricks 上执行此操作。

h2o.init(max_mem_size="200g")

这将为群集返回大约 200 GB 的内存。

我创建了一个本地 Spark 安装并更改了 spark.driver.memory 属性,更改该属性会导致更大的苏打水群集大小,但在 Data Bricks 中显式设置该属性不会对那里的苏打水群集进行更改。

是否可以将配置传递给 Spark 或内部 H2O 群集,以便在 Databricks 上设置更大的内存大小?

Python Apache Spark Databricks H2O 苏打水

评论


答: 暂无答案