如何从 Vertex AI 自定义作业中检索输入?

How to retrieve inputs from a Vertex AI custom job?

提问人:maxoriol 提问时间:11/9/2023 更新时间:11/9/2023 访问量:27

问:

我基于 Python 发行版在 Google Cloud Platform Vertex AI 上创建了一个自定义作业,其中包含一些配置输入。例如:

enter image description here

这些输入的列表以 JSON 格式在“训练”菜单中提供:

{
  "workerPoolSpecs": [
    {
      "machineSpec": {
        "machineType": "n1-standard-4"
      },
      "replicaCount": "1",
      "diskSpec": {
        "bootDiskType": "pd-standard",
        "bootDiskSizeGb": 100
      },
      "pythonPackageSpec": {
        "executorImageUri": "europe-docker.pkg.dev/vertex-ai/training/sklearn-cpu.1-0:latest",
        "packageUris": [
          "gs://my_bucket_for_vertexai/my_package_directory/trainer-0.1.tar.gz"
        ],
        "pythonModule": "trainer.task"
      }
    }
  ],
  "baseOutputDirectory": {
    "outputUriPrefix": "gs://my_bucket_for_vertexai/my_output_directory/"
  }
}

我的作业如何自动检索这些参数,而无需将其值写入 Python 代码中?

google-cloud-platform 配置 config google-cloud-vertex-ai custom-training

评论

0赞 DebugCode 11/10/2023
我认为您可以使用环境变量和命令行参数的组合将这些配置参数传递给自定义作业,而无需将其值写入 Python 代码中。在 python 代码中,使用 library 检索环境变量和命令行参数。例如,让 sya 使用 “os” 库来访问环境变量,并使用 “argparse” 库来解析命令行参数。
0赞 DebugCode 11/10/2023
下一步是在 Vertex AI 自定义作业配置中,使用要传递给 Python 代码的值设置环境变量。然后将自定义作业提交到 Vertex AI。然后在 python 代码中使用“argparse”来解析命令行参数。这将允许自定义作业在运行时动态检索配置参数。而且你不需要对它进行硬编码。
0赞 maxoriol 11/22/2023
我使用 Vertex AI Training 的默认界面配置自定义作业,并通过单击“START TRAINING”(没有命令行)来运行它。你认为有没有运行命令行的解决方案?

答: 暂无答案