OpenAI 重试计数覆盖

OpenAI retry count override

提问人:Abhishek Sasidharan 提问时间:9/15/2023 最后编辑:Abhishek Sasidharan 更新时间:11/17/2023 访问量:334

问:

我正在使用 Lang 链模型和 ChatGPT 的 SQLite dB 答案检索。如果达到计费限制,聊天 GPT 会显示一条消息,“正在重试langchain.llms.openai.completion_with_retry.._completion_with_retry 4.0 秒内引发 RateLimitError:您超出了当前配额,请检查您的计划和账单详细信息。默认情况下,重试计数为 5,有没有办法覆盖此限制。因为完成重试需要将近 30-40 秒。它仅在重试完成后引发异常。[您超出了当前的配额,请检查您的计划和账单详情],因此不可能例外。有没有办法通过覆盖错误类/使用重试计数标志/使用 callback(stdout) 来解决此问题?

我尝试使用内置的调试功能来找出错误的来源,但找不到错误的来源。

python 回调 openai-api langchain chatgpt-api

评论

0赞 ZKS 9/16/2023
llm = ChatOpenAI(temperature=0, model_name=model, request_timeout=120),增加超时会有所帮助
0赞 Abhishek Sasidharan 9/26/2023
我试过了,它不起作用。
0赞 ZKS 9/26/2023
这将很困难,因为逻辑是在 OpenAI API 端:(

答:

1赞 Farhad 11/17/2023 #1

在类构造函数中,可以选择通过重写值来自定义值。ChatOpenAImax_retries

chat_instance = ChatOpenAI(max_retries=5)

我正在使用 Python 库版本。0.28.1