我们现在有一个新的 DALL-E 模型,可以将其作为 ChatGPT 的插件搭配使用。你可以这样做:给个建议,告诉我结束演讲后的晚餐吃什么,并把它画出来。你可以从 ChatGPT 的交流中得到创意和创造性的灵感,而 AI 则能为你完成剩余的所有细节。现在,ChatGPT 并不仅仅生成文本,它也生成图像(注:使用了 DALL- E 插件后)。这使得它能够更好地代替你,把你的想法变成现实。现在,让我们来看另一个 AI 工具的例子,比如存储记忆。当你说「将它保存下来以备后用」时,这个工具将会保存这个信息。这些工具在使用时都是有迹可循的,你可以清晰地了解到机器在使用哪些工具,并提供反馈。
现在,我们已经起草了一条推文,供我们审阅。这也是非常重要的一点。我们可以根据自己的意愿,去调整人工智能的工作。现在,让我们回到主题上。我们打造 ChatGPT 的关键,不仅仅在于创建这些工具,还在于教导 AI 如何使用它们。当我们提出一些高难度的问题时,我们要求它做些什么呢?为此,我们采用了一个古老的想法——阿兰·图灵 1950 年论文中提到的图灵测试。
他说,你不可能用程序来为这个测试生成一个答案,相反,你可以教它。就像教一个小孩子一样,我们可以建立一个机器,并提供奖励和惩罚来教导它尝试一些事情,不论是好的还是坏的。这正是我们训练ChatGPT的方法。我们将其分为两个步骤。首先,我们通过无监督学习的过程生成一个所谓的「机器孩子」,就像图灵所说的一样。我们向这个「小孩」输入整个世界、互联网的数据,然后让它根据提供的文本预测下一个词。这个过程赋予了它各种技能,例如可以看懂数学题并通过推理得出答案。但要掌握这些技能还需要进行第二步,即教导 AI 如何使用这些技能。为此,我们要给 AI 提供反馈。我们让 AI 用多种方法为我们提供不同的建议,然后再由人类评分,选出最合理的答案。这样不仅可以强化 AI 的具体表达,还可以强化产生答案的整个过程。这使得 AI 能够概括、教授并推断人类的意图,还能将其应用于它之前没有见过或没有收到过反馈的情况。但有时我们需要教授 AI 的东西并不是我们期望的。例如,当我向可汗学院展示 GPT-4 时,他们认为它很棒,可以用来给学生做辅导。他们发现 GPT-4 不会纠正学生的数学错误,如果在对话中出现错误,它会假装 1 加 1 等于 3 并继续运行。因此,我们需要收集更多的反馈数据,教授 AI 要在特定情况下反驳人类。当在 ChatGPT 中点下 ???? 按钮时,就会给我们发送一个信号告诉我们需要收集这段反馈。这是我们听取用户意见的方式,确保我们正在构建对每个人更有用的东西。提供高质量的反馈是一件困难的事情,但是 AI 本身愿意提供帮助。它愿意帮助我们提供更好的反馈,并随着时间的推移扩大我们监督机器的能力。举个例子。你可以向 GPT-4 提个问题,然后它会给你回答两个月。要知道,大模型回答的答案往往并不可靠,我们怎么确保它的答案是正确的呢?通常情况下,我们需要自己上网再次搜索相关的问题,对照检查答案。这非常枯燥、繁琐、费时。
现在我们可以把这些重复性工作丢给 AI。利用浏览工具,我们可以 AI 自己来核实事实。我们把刚才的问题和回答输入进去,然后让它重新核实事实,它就会自己写下它的思考链,一步步地搜索所需内容、对应检查答案。结果证明,GPT-4 果然回答错了,正确答案是两个月又一个星期。这是它自己检查出来的正确结果。这个过程非常有趣,因为它需要人类与人工智能多步合作:人类使用事实核查工具是为了为另一个人工智能生成数据,从而使其能更好地为人类服务。我认为这种合作模式在未来会变得非常普遍,即我们需要人类和机器协作来解决问题,确保人类以一种可视化和值得信赖的方式管理、监督和反馈机器。在这两种力量的共同努力下,我们可以建立更加可靠的机器。我相信,随着时间的推移,如果我们成功地把这个过程进行下去,我们将能够解决一些看似不可能解决的问题——例如我们能够重新设计我们与计算机交互的方式。我相信,随着时间的推移,如果我们成功地进行这个过程,我们将能够解决一些看似不可能的问题。为了让你更好地理解我所说的“不可能”的难度,我认为我们将能够重新思考我们与计算机交互的几乎每一个方面。
现在,它做出了正确的预测。如果你注意到的话,它甚至更新了标题。我没有要求这一点,但它知道我想要什么。现在我们回到幻灯片上。这张幻灯片展示了我对我们未来如何使用这项技术的愿景。在这个故事中,一个人带着他病得很重的狗去看兽医,但兽医做出了错误的诊断,说:「让我们再观察一下。」如果主人照做了,这只狗可能就没能活下来。但他没有。他将狗狗的血液测试和完整的医疗记录输入给了 ChatGPT,ChatGPT 回复说:「我不是兽医,你需要找专业人士咨询,但我可以给你一些假设。」带着这些信息,他找到了第二个兽医,后者成功地挽救了狗的生命。我想表达的是,尽管我们现在的系统并不完美,但如果一个人与 ChatGPT 作为头脑风暴伙伴合作,或许就能取得非同凡响的结果。我认为这是我们考虑如何将 AI 整合到我们的世界中时,需要反思和思考的事情。我深信,让 AI 正确运作需要每个人的参与。我们要共同地决定如何将 AI 整合进我们的生活,为它制定规则,确定 AI 将能够和不能够做什么。AI 的发展已经超出了人们的预期,因此,我们每个人都必须得熟练掌握它,这也是我们发布 ChatGPT 的原因之一。我相信,我们能够实现 OpenAI 的使命,确保人工通用智能造福人类。访谈:CA:主持人 Chris Anderson:GB:Greg Brockman