提问人:D Perkins 提问时间:11/17/2023 更新时间:11/17/2023 访问量:12
hudi-flink-bundle 无法加载 s3-fs-hadoop 插件
hudi-flink-bundle unable to load the s3-fs-hadoop plugin
问:
使用 时,我们的 Flink SQL 作业无法加载插件。hudi-flink-bundle.jar
s3-fs-hadoop
详
我们在 S3 之上使用 Flink 1.17 和 Hudi 0.13.1。按照 Hudi 文档,我们创建了自己的 Flink Docker 镜像,并将 添加到目录中。我们还为该插件创建了一个插件文件夹,并从该目录中复制了插件 jar。hudi-flink-bundle.jar
flink/lib
s3-fs-hadoop
flink/opt
Flink 作业 jar 不包含 或 库。运行 Flink 作业时,我们会出现以下异常:hudi-flink-bundle
s3-fs-hadoop
java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found
如果我们将插件 jar 复制到文件夹,那么一切正常,但插件 jar 包含许多与我们在作业 jar 中使用的版本冲突的库。s3-fs-hadoop
flink/lib
我已经阅读了 Flink 调试类加载文档,但它没有解释如何或是否可以在应用程序类加载器中加载插件 jar 依赖项。
答: 暂无答案
评论