python-multiprocessing 问答列表

如何更改多处理模块使用的序列化方法?

作者:ws_e_c421 提问时间:7/15/2017

如何更改 Python 库使用的序列化方法?具体而言,默认序列化方法使用具有该版本 Python 的默认 pickle 协议版本的库。默认的 pickle 协议是 Python 2.7 中的版本 2 ...

“没有足够的空间用于线程数据 R6016”Python 多处理错误,显示线程空间不足

作者:Spandan Samiran 提问时间:11/26/2017

我目前正在尝试使用 Similarity Matrix 在 35K 图像的数据集上创建分层聚类。我正在尝试通过连接图像的 Gabor 滤波器、zernike 矩和 HOG 来构建相似性矩阵。由于过程很...

在 python3 中苦苦挣扎

作者:Mika 提问时间:7/31/2023

我正在尝试启动接收器进程。这是一个类,它只从套接字接收数据。例如,它只会在 csv 文件中写入行。 我将通过管道发送退出信号。在此信号之后,单独进程中的 while 循环将结束,并且该单独的写入器进程...

如何按特定顺序终止进程?

作者:vilizu 提问时间:10/25/2023

我有三个任务。 1: 2: 3:get_input (P0)clean_input (C0)find_missing (P1) 第一个任务是第二个任务的父进程,第三个任务是它自己的进程。它们应按以下...

在 python multiprocessing 中运行进程的自定义终止

作者:hammertimeheck 提问时间:11/2/2023

可能有一个简单的方法可以做到这一点,但我对 python 比较陌生。从本质上讲,我在不同的文件中有两个函数。一个创建一个新进程来运行另一个进程。但是,在用户按键(回车键)时,我想发送一个信号来终止另一...

将 python 多重处理与多个大型语言模型配合使用

作者:TheGoldenPatrik1 提问时间:11/9/2023

我正在使用几个LLM(BERT,Word2Vec和Alpa)为文本中的每个单词生成不同的输出。显然,这是相当缓慢的 - 每个单词至少一两秒钟,这对于大型文本来说加起来非常快。因此,我尝试使用多处理来加...

Torch 分布式绑定端口过多,阻碍 128 进程创建

作者:cangozpi 提问时间:11/10/2023

我正在尝试使用火炬分布式包进行分布式 cpu 训练。在我的代码中,我通过调用 ddp_setup() 初始化和创建组,如下所示: def get_dist_info(): GLOBAL_WORLD...

Python 多处理正在降低性能

作者:Mi-Shell 提问时间:11/10/2023

为了理解并行化,我在模块多处理上编写了一个玩具脚本。我绘制了下图,结论是我的实现通过添加多个进程使性能变差。 例如,我的代码创建了一个包含 10 000 个元素的列表,然后并行计算其元素的总和。每个进...

在 Jupyter Notebook 中使用多处理参数函数

作者:Mikko Ohtamaa 提问时间:11/9/2023

我在 Jupyter Notebook 中运行 CPU 密集型任务。并行化任务是微不足道的,我已经能够通过线程在笔记本中做到这一点。然而,由于 Python 的 GIL,这是低效的,因为 GIL 阻止...

我可以退出“as_completed”池执行器循环(取消所有剩余任务)吗?

作者:Jellby 提问时间:11/14/2023

这个想法是运行一组任务,在它们完成时处理它们,一旦一个任务返回所需的结果,就取消剩余的任务。我不介意等待已经开始完成的任务,但应该禁止开始新任务。 我试过打电话,但在这里似乎不起作用:pool.sh...


共15条 当前第1页