后台作业在 2-3 小时后终止,日志上没有任何错误

Background Job Killed After 2-3 hours without any error on logs

提问人:Rajesh 提问时间:7/25/2023 更新时间:7/25/2023 访问量:22

问:

我正在运行机器学习作业。作业生成 parquet 文件。每个文件大小为 30-40MB。这些文件的总大小为 11-12 GB。

在一段代码下面,我必须创建熊猫数据帧,但这永远不会被执行,工作被杀死。

dataset = pq.ParquetDataset('out/{}/sales/'.format(self.cfg.banner_name), metadata_nthreads=mp.cpu_count())
        df = dataset.read().to_pandas()

请建议工作被杀死的原因。

pandas python-2.7 镶木地板

评论


答: 暂无答案