Hello ,关于 ChatGPT api 调用,有个大大的疑惑,烦请大佬们解答,谢谢🙏
1 、已知 OpenAI 并没有提供会话和上下文相关的 api ,Chat 的 api 调用格式如下,只能靠传输历史对话记录作为上下文。
openai.ChatCompletion.create(
model="gpt-3.5-turbo",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Who won the world series in 2020?"},
{"role": "assistant", "content": "The Los Angeles Dodgers won the World Series in 2020."},
{"role": "user", "content": "Where was it played?"}
]
)
2 、OpenAI 的 api 调用中,最大 tokens 有限制,比如 Chat 的模型是 4096tokens (包含请求和响应)。
问题来了: 1 、 如果历史对话记录已经很多条了,远远超过 4096tokens ,那么这个上下文该如何实现呢? 2 、 如果不保存上下文的话,那么这个 Chat 似乎又失去了意义。