多处理 问答列表

如何使用 Python 的多处理和共享内存与 Array('c', fixed_length) 在进程之间传递字符串数据

作者:taichi 提问时间:11/17/2023

我查看了过去关于使用多处理和共享内存共享 Python 字符串数据的问题,但似乎尚未解决。 我知道我可以使用这样的代码在进程之间共享数字和数组。 from multiprocessing impo...

当调用执行文件写入且没有显式返回的函数时,多个处理池卡在第一次迭代中

作者:Sudoh 提问时间:11/2/2023

我在 的 .过去,对于与代码设置非常相似的东西,如下图所示,遍历整个列表(我可能是错的,也许有其他东西调用了列表中的其余项目?),但这里似乎并非如此。这里的代码有效,但仅适用于前 16 项,16 是我...

Python 多处理正在降低性能

作者:Mi-Shell 提问时间:11/10/2023

为了理解并行化,我在模块多处理上编写了一个玩具脚本。我绘制了下图,结论是我的实现通过添加多个进程使性能变差。 例如,我的代码创建了一个包含 10 000 个元素的列表,然后并行计算其元素的总和。每个进...

Python 与 concurrent.futures.ProcessPoolExecutor(或多处理)的并行性。Pool) 和 AsyncIO

作者:Red 提问时间:11/2/2023

目前,我正在开发一个项目,该项目可以监听每个 API 请求,对其进行检查并将其发送回去。可悲的是,API 设法使我的单线程 AsyncIO 和多线程尝试过载,但 CPU 从未达到负载的 20%。 所...

在 Python 多处理中使用自定义数据类型实现微秒级数据检索

作者:GuyQian 提问时间:11/17/2023

问题描述: 我目前正在研究一个涉及多处理并需要高效数据通信的 Python 项目。我正在处理的数据存储在一个列表中,列表的每个元素都是一个自定义数据类型。挑战在于实现超快速的数据检索,以微秒级的性能...

如何使用“spawn”处理 Python 多处理中的resource_tracker过程?

作者:Anthony Poole 提问时间:11/13/2023

我写了一段代码,用来处理许多工人。但是,在某些计算机(所有 Linux 计算机)上,它失败并显示以 开头的错误消息。然后程序无限期挂起。如果我使用默认的“fork”而不是“spawn”,则不会发生这种...

Asyncio 和多处理 ETL 流 - 队列max_size不 1 时不插入所有行

作者:VladIPlay 提问时间:11/13/2023

我在 https://www.vinta.com.br/blog/etl-with-asyncio-asyncpg 上发现了如何制作一个流程来从数据库获取数据(使用异步代码),使用多处理批量处理该数据...

在 python 中进行多处理时,ShareableLists 实际上是如何工作的?

作者:Ynfiniti 提问时间:11/17/2023

我想说的是,一个包含 10 到 20,000 个字典的列表是并行使用的。为此,我使用了多处理。问题是,每个进程都使用了 2-4 GB 的 RAM。经过一番研究,我找到了一个对象,尽管我会在共享相同资源...

任务包含随机数的多处理中的可复制性

作者:Progstud 提问时间:11/17/2023

我遇到了一些问题,我们不得不在parralele中放置一个收敛算法以使其更快,从业务角度来看,该算法的结果令人满意。但是出于审计的原因(并且因为业务要求......),我们需要使其可复制。 上下文:...

为什么这个process.join()不让这个程序等待所有进程完成?

作者:Cosmo H 提问时间:11/16/2023

我正在尝试编写一个程序(在 Python 中),该程序将所有颜色与图像中的键相似的点隔离开来,当我尝试使用多处理对其进行优化时,我遇到了一个问题。无论是否使用 .join(),这些进程都不会全部给出结...


共43条 当前第2页