关于将数据从设备复制到主机时的推力：：execution_policy

问：

我曾经在多 GPU 系统中将数据从设备传输到主机。每个 GPU 都有一个大小相等的数据分区。使用 OpenMP，我在每台设备上调用该函数。在我目前的系统上，我正在使用 4 个 GPU。thrust::copy

#pragma omp parallel for
for (size_t i = 0; i < devices.size(); ++i) 
{
    const int device = devices[i];
    thrust::copy(thrust::device, // execution policy
                 device_buffers->At(device)->begin(), // thrust::device_vector
                 device_buffers->At(device)->end(),
                 elements->begin() + (device * block_size)); // thrust::host_vector
}

在阅读了文档和以下帖子后，我了解到默认的 thrust：：execution_policy 是根据传递的迭代器选择的。

• 将数据从设备复制到主机时，两个迭代器都作为 函数参数。

  1. 默认情况下，此处选择哪种执行策略？ 或？thrust::hostthrust::device

• 在做了一些基准测试后，我观察到传递推力：:d evice 与不传递显式相比，显式提高了性能 参数。
  2. 性能提升的原因可能是什么？该系统是一台 POWER9 机器。thrust：：copy和具体执行是怎么回事 政策在内部工作？每个 4 个复制引擎中有多少个 设备实际使用过吗？

• 但是，nvprof 不显示 [CUDA memcpy DtoH] 类别 不再，而是显示 void thrust：：cuda_cub：：core [...] __parallel_for：:P arallelForAgent [...] 甚至显示时间增加。这没有意义，因为正如我所说，我观察到 持续的性能改进（更短的总执行时间） 使用 Thrust：:d evice 时。

  3. 这是否只是一个 nvprof + 推力特定行为，导致分析数字与执行时间不相关？我 观察到 cudaFree 类似的东西：似乎 cudaFree 是 将控制权很快返回给主机代码，这导致 执行时间，而 NVPROF 显示的数字要高得多，因为 实际的分配可能以懒惰的方式发生。