提问人:adrihernandez 提问时间:10/27/2023 更新时间:10/27/2023 访问量:36
Databricks 群集策略参考 Oracle jar
Databricks cluster policy reference oracle jar
问:
如何设置 Databricks 群集策略以引用 oracle jar 文件?我正在通过 JSON 创建策略(在 UI 中,我在创建策略时不允许查看“库”选项卡)。我做了广泛的研究,还没有找到合适的答案。到目前为止,我的JSON看起来像这样:
“init_scripts.0.dbfs.destination”:{ “type”: “固定”, “值”: “dbfs:/文件存储/.../ojdbc.jar” }
上面的代码不起作用,因为 Oracle jar 文件不是init_script,并且在运行作业时会因错误而爆炸。试图找出是否有可以替换“init_scripts.0.dbfs.destination”的特定策略字段名称。这是我遇到的错误:
运行结果不可用:运行失败并显示错误消息 等待群集 (XXX) 准备就绪时出现意外故障:群集 XXX 处于意外状态 已终止:INIT_SCRIPT_FAILURE(CLIENT_ERROR):instance_id:X-XXXX,databricks_error_message:群集范围的初始化脚本 dbfs:/FileStore/.../ojdbc.jar 失败:尝试 5 次后超时,出现异常(debugStr = “读取初始化脚本的远程文件”),原因:java.lang.IllegalArgumentException:dbfs 处的初始化脚本:/FileStore/.../ojdbc8.jar(4210517 字节)超出了允许的最大大小 65536 字节。
PS:上面的错误消息经过编辑,删除了确切的集群名称,id以及Oracle jar文件的完整文件路径+名称。
手动编辑 JSON 文件。期望 Oracle Jar 文件成功加载,通过让 Notebook 执行 JDBC 查询来测试这一点。
答:
您正在使用的代码正在尝试将文件用作初始化脚本 - 这是不正确的。策略中的库未在策略定义中指定,但应通过 UI 填充,或使用群集策略创建 API 中的块。.jar.
libraries
P.S. 如果您在 UI 中没有看到“库”部分,那么它可能尚未针对您所在的地区发布。
评论