行处理 问答列表

结合 minmaxscaler.partial_fit 和 joblib 并行,n_samples_seen_不是累积样本

作者:Jonathan Roy 提问时间:9/27/2023

我使用多处理来训练 sklearn minmax 缩放器。 我有大量的 csv 需要考虑,所以我使用 ..partial_fit 一切似乎都运行良好,但最后当我检查我的洁牙机时,我发现了奇怪的事情。...

如何使用例如“std::transform”对并行 C 样式的矩阵向量乘法实现进行现代化改造?

作者:Andreas Hadjigeorgiou 提问时间:9/17/2023

我正在尝试用更现代的方法来调整我的编程实践,这些方法利用了 STL 容器、算法、执行策略等。 我开发了一个小型测试来试验对基本矩阵向量乘法的 C 风格实现进行现代化改造:,它与 OpenMP 并行化...

仿真给出了不同的结果,包括正常 for 循环与并行 for

作者:Justin Mathew 提问时间:1/21/2012

当我尝试使用正常的for循环(这是正确的结果)与并行For时,我对我的一个简单模拟样本的不同结果感到有点惊讶。请帮我找出可能的原因。我观察到,与正常情况相比,并行执行速度非常快。 using Sys...

使用 fp-ts 时如何使用 TypeScript 序列化任务执行?

作者:Adam Arold 提问时间:9/12/2023

我有一些代码可以将数组中的值转换为异步调用: const createDiscordChannels = flow( A.map((channel: CreateChannelDto) => ({...

TypeError:“float”对象不支持在并行循环的 numpy 数组中分配项目

作者:Rahul Gupta 提问时间:9/10/2023

import numpy as np import pandas as pd from joblib import Parallel, delayed import multiprocessing ...

无法在不丢失输出的情况下使用 Loop 展开优化循环

作者:PeRaDi 提问时间:10/17/2023

我正在尝试使用循环展开技术将这个函数优化到极限,但我无法弄清楚为什么我的方法会从原始函数修改我的输出(矩阵“a”)。 现在我正在尝试在每个循环中步入 2。谁能帮我解决这个问题? (这是一个取自git...

MPI-IO 写入磁盘时存在MPI_File_write_at_all或MPI_File_write_all误解?

作者:velenos14 提问时间:9/4/2023

我正在尝试使用 MPI-IO 从 C++ 中的缓冲区将数据写入磁盘。 为了简洁和 MWE,每个等级在其缓冲区中保留 2 个整数。 我希望排名 0 首先将其 2 个元素写入文件中,占据 2 个整数,然...

在 Python 中并行读取多个文件?

作者:YoussefMabrouk 提问时间:8/19/2023

我正在尝试对总大小为 3 Tb 的数据运行 Python 脚本来计算非常简单的统计数据。数据分为 3000 个目录,每个目录包含一个大小为 1Gb(“.trr”格式)的压缩文件。 为了加载数据,我使...

Mosek 在 CVXPY 和 joblib 上表现不佳

作者:Michael 提问时间:8/29/2023

使用 MOSEK、CVXPY 和 joblib 出现一些奇怪的行为。尝试在 Python 中并行化某些作业(甚至没有调用 Mosek)并得到类似 terminate called after thr...

并行化多个子文件夹中的 bash 脚本

作者:Sergio Bolívar 提问时间:8/15/2023

我正在尝试并行化放置在各个子文件夹中的多个 bash 文件():script.sh ├── subfolder1 │   ├── subfolder1_script.sh ├── subfolder...


共83条 当前第8页