如何使用 Vscode 调试 llama2 推理命令？

问：

我正在尝试使用 vscode 调试模式运行 LLAMA2 推理脚本（如下所示）：

    torchrun --nproc_per_node 1 example_text_completion.py \
    --ckpt_dir models/7B-Chat \
    --tokenizer_path tokenizer.model \
    --max_seq_len 128 --max_batch_size 4

在此之前，我可以用我的命令行界面成功运行它，这表明我的 python 环境是正确的。

我尝试了以下两个调试配置：

1.  {
        "name": "Python: run_llama2_inference",
        "type": "python",
        "request": "launch",
        "module": "torchrun",
        "args": [
            "--nproc_per_node=1",
            "example_chat_completion.py",
            "--ckpt_dir=models/7B-Chat/",
            "--tokenizer_path=tokenizer.model",
            "--max_seq_len=512",
            "--max_batch_size=4",
        ],
        "console": "integratedTerminal",
        "justMyCode": true,
        "env": {
            "PYTHONPATH": "${workspaceFolder}"
        }
    },
   

   相应的错误消息：“没有名为 torchrun 的模块”

2.  {
        "name": "Python: run_llama2_inference",
        "type": "python",
        "request": "launch",
        "module": "torch.distributed.launch",
        "args": [
            "--use-env",
            "example_chat_completion.py",
            "--nproc_per_node=1",
            "--ckpt_dir=models/7B-Chat/",
            "--tokenizer_path=tokenizer.model",
            "--max_seq_len=512",
            "--max_batch_size=4",
        ],
        "console": "integratedTerminal",
        "justMyCode": true,
        "env":
            "PYTHONPATH": "${workspaceFolder}"
        }
    },
   

   相应的错误消息：“无法使用 arg： --nproc_per_node=1”

两种配置均未按预期工作。我想向在线专家寻求建议。提前感谢您的想法或建议！