当 OpenAI 在 2022 年 11 月发布 ChatGPT 时它并没有预料到这个 AI 聊天机器人会取得难以想象的成功。OpenAI 内部将之视为研究预览,旨在收集公众的反馈🔊部分缺陷。参与开发 ChatGPT 的科学家 Liam Fedus 说,我们不想将其夸大为一次巨大的基础性突破。MIT 科技评论采访了 OpenAI 的科学家以及联合创始人 John Schulman,揭示 ChatGPT 的开发过程和技术细节,介绍 ChatGPT 是如何构建的。自去年 11 月以来,OpenAI 已经多次更新了 ChatGPT,主要是通过对抗性训练阻止用户诱骗聊天机器人绕过限制——这种做法被称为越狱。
对于 ChatGPT 的巨大成功,OpenAI 团队也有几分感到不解,因为 ChatGPT 使用的技术都不是新的,ChatGPT 使用了微调版的 GPT-3.5,而 GPT-3.5 是 2020 年发布的 GPT-3 的更新版,OpenAI 在 2022 年 1 月发布了微调版 GPT-3.5 的预览。相关 API 也早就发布了,不过这些都不是面向公众的。
对于 ChatGPT 的巨大成功,OpenAI 团队也有几分感到不解,因为 ChatGPT 使用的技术都不是新的,ChatGPT 使用了微调版的 GPT-3.5,而 GPT-3.5 是 2020 年发布的 GPT-3 的更新版,OpenAI 在 2022 年 1 月发布了微调版 GPT-3.5 的预览。相关 API 也早就发布了,不过这些都不是面向公众的。
https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/