使 lightgbm 在 Google colab 上与 GPU 配合使用

Making lightgbm work with gpu on Google colab

提问人:Carlo Sgaravatti 提问时间:10/13/2023 最后编辑:Carlo Sgaravatti 更新时间:10/13/2023 访问量:101

问:

我正在尝试使用 lightgbm 在 Google colab 上使用 gpu。但是,我无法像 colab 运行时所说的那样使用 gpu。我知道还有其他类似的问题,但它们都没有显示我遇到的问题。

我尝试了很多在很多地方找到的解决方案。例如,我试过:

!pip install \
     --force-reinstall \
     --no-binary lightgbm \
     --config-settings=cmake.define.USE_CUDA=ON \
     lightgbm

该命令运行没有问题,但 colab 在训练模型时没有显示 gpu 活动。我也试过这个,这在很多地方都有建议:

! git clone --recursive https://github.com/Microsoft/LightGBM
! cd LightGBM && rm -rf build && mkdir build && cd build && cmake -DUSE_GPU=1 ../../LightGBM && make -j4 && cd ../python-package && python3 setup.py install --precompile --gpu;

此命令给了我这个错误:

python3:无法打开文件“/content/LightGBM/python-package/setup.py”: [厄尔诺 2]没有这样的文件或目录

我已经检查过了,目录似乎不存在。/python-package


更新:

我按照官方指南(https://github.com/microsoft/LightGBM/blob/master/python-package/README.rst)更改了命令。现在命令是:

! git clone --recursive https://github.com/Microsoft/LightGBM
! cd LightGBM && rm -r build && mkdir build && cd build && cmake -DUSE_GPU=1 -DOpenCL_LIBRARY=/usr/local/cuda/lib64/libOpenCL.so -DOpenCL_INCLUDE_DIR=/usr/local/cuda/include/ ../ && make -j$(nproc)
! sudo apt install python3.10-venv
! cd /content/LightGBM && sh ./build-python.sh install --precompile

命令成功运行,当我调用时,我正确地看到以下日志:lgb.train(...)

[LightGBM] [Info] This is the GPU trainer!!

但是,紧随其后的是以下异常:

LightGBMError: No OpenCL device found

有谁知道解决方案?

python gpu google-colaboratory lightgbm

评论

0赞 James Lamb 10/14/2023
我没有足够的声誉将其标记为重复项,但它与此相同:stackoverflow.com/questions/49606886/......stackoverflow.com/a/77078844/3986677,请看我的回答,如果你发现它解决了问题,请点赞。我怀疑您可能忘记将 GPU 附加到您的 Colab 实例。

答: 暂无答案