GPT-3.5-turbo API 问题生成:遇到严重延迟 [已关闭]

GPT-3.5-turbo API question generation: experiencing significant delays [closed]

提问人:Mishane Perera 提问时间:11/15/2023 最后编辑:Mark RotteveelMishane Perera 更新时间:11/15/2023 访问量:43

问:


想改进这个问题吗?通过编辑这篇文章添加详细信息并澄清问题。

8天前关闭。

我正在开发一个应用程序,该应用程序利用 OpenAI 的 GPT-3.5-turbo API 来动态生成问题。但是,我遇到了一个值得注意的问题,即在收到来自 API 的响应之前有大约 2 分钟的延迟。

我的问题是:

  • GPT-3.5-turbo API 是否存在延迟,或者有没有办法减少延迟?
  • 是否有使用此 API 优化问题生成性能的具体最佳实践?
  • 是否有任何服务器端配置或设置可能导致此延迟?

下面的代码是尝试的代码,这将返回生成的问题。

const messageContent = `Generate 10 random questions related to global warming.`;

const response = await openai.chat.completions.create({
  model: "gpt-3.5-turbo",
  messages: [
    {
      role: "system",
      content: "You are a helpful assistant that generates questions.",
    },
    {
      role: "user",
      content: messageContent,
    },
  ],
});

const questions = response.choices[0].message.content.split("\n");
return [questions];
javascript openai-api gpt-3

评论


答: 暂无答案