提问人:shravya bethanabhotla 提问时间:11/8/2023 更新时间:11/8/2023 访问量:7
具有多节点多驱动器 MinIO 对象存储的开源 Datalakehouse
Opensource Datalakehouse with Multi-Node Multi-Drive MinIO object storage
问:
我是一名 DataEngg 实习生,从事一个 POC 项目,构建一个以多节点多驱动器 MinIO 作为存储桶的开源 DataLakeHouse。我使用 Spark 作为我的计算引擎。我有 4 个节点,其中一个是主机。想法是通过对数据进行某些转换将数据引入 MinIO。我的 DataLakeHouse 模型已准备就绪,处于测试阶段。我尝试上传 70MB-100MB 的文件,但主机服务器不允许我建立连接。
我试图找出问题所在,我注意到每当我上传文件时,服务器都会关闭,而其余节点工作正常。现在,我无法向我的主人嘘声。对此有什么见解吗?
我尝试更改端点 URL 以检查 MinIO 控制台,但由于我的主机未处于活动状态,它不会让我进入。
答: 暂无答案
评论