ChatGPT 是聊天的未来，前提是您要正确使用它

已发表: 2023-02-06

编者注：本文由南加州大学计算机科学研究副教授 Jonathan May 撰写，并根据 Creative Commons 许可从 The Conversation 重新发布。 阅读原文。

让 ChatGPT 犯事实错误并不需要太多。我儿子正在做一份关于美国总统的报告，所以我想我可以通过查阅一些传记来帮助他。

我试着要一份关于亚伯拉罕林肯的书籍清单，结果做得很好：

4号不对。加里·威尔斯 (Garry Wills) 写下了著名的《林肯在葛底斯堡》(Lincoln at Gettysburg)，当然，林肯本人也撰写了《解放黑奴宣言》(Emancipation Proclamation)，但这并不是一个糟糕的开始。

然后我更努力地尝试了一些事情，而不是询问更晦涩难懂的威廉亨利哈里森，它勇敢地提供了一个列表，几乎所有的都是错误的。

数字 4 和 5 是正确的；其余的不存在或不是由这些人创作的。我重复了完全相同的练习，结果略有不同：

这次数字 2 和 3 是正确的，其他三个不是真正的书或不是那些作者写的。

第 4 号，“William Henry Harrison: His Life and Times”是一本真实的书，但它是由詹姆斯 A. 格林 (James A. Green) 所著，而不是杰克逊时代著名的历史学家罗伯特·雷米尼 (Robert Remini) 所著。

我指出了错误，ChatGPT 急切地自我纠正，然后自信地告诉我这本书实际上是盖尔柯林斯写的（她写了一本不同的哈里森传记），然后继续说更多关于这本书和她的事。

我终于揭露了真相，机器很高兴在我的纠正下运行。然后我荒谬地撒谎，说在他们上任的头一百天里，总统必须写一本前任总统的传记，而 ChatGPT 就此事叫我出去了。

然后我巧妙地撒谎，错误地将哈里森传记的作者身份归于历史学家和作家保罗·C·内格尔，这让我撒了谎。

当我问 ChatGPT 是否确定我没有说谎时，它声称它只是一个“AI 语言模型”，没有验证准确性的能力。

然而，它修改了这一说法，说“我只能根据我所提供的训练数据提供信息，看来‘威廉·亨利·哈里森：他的生活和时代’这本书是由保罗·C·内格尔 (Paul C. Nagel) 撰写并于 1977 年出版的”

这不是真的。

文字，而非事实

从这种互动来看，ChatGPT 似乎获得了一个事实库，包括关于作者和书籍的不正确声明。

毕竟，ChatGPT 的制造商 OpenAI 声称它在“人类编写的来自互联网的大量数据”上训练了聊天机器人。

然而，几乎可以肯定的是，它没有给出一堆关于最平庸的总统之一的虚构书籍的名字。不过，在某种程度上，这种虚假信息确实是基于其训练数据。

作为一名计算机科学家，我经常收到投诉，这些投诉揭示了对大型语言模型（如 ChatGPT 及其老兄弟 GPT3 和 GPT2）的常见误解：它们是某种“超级谷歌”或参考图书馆员的数字版本，查找答案从一些无限大的事实库中提出问题，或者将故事和人物的拼凑在一起。

他们不会做任何这些——至少，他们没有被明确设计为这样做。

像 ChatGPT 这样的语言模型，更正式地称为“生成式预训练转换器”（这就是 G、P 和 T 的含义），接受当前对话，形成其词汇表中所有单词的概率，因为对话，然后选择其中一个作为可能的下一个词。

然后它一次又一次地这样做，直到它停止。

所以它本身没有事实。它只知道接下来应该出现什么词。换句话说，ChatGPT 不会尝试写出真实的句子。但它确实试图写出似是而非的句子。

在与同事私下谈论 ChatGPT 时，他们经常指出它产生了多少事实上不真实的陈述并驳回了它。

对我来说，ChatGPT 是一个有缺陷的数据检索系统的想法是离题的。

毕竟，在过去的两年半时间里，人们一直在使用谷歌。已经有一个非常好的事实调查服务。

事实上，我能够验证所有这些总统书籍标题是否准确的唯一方法是通过谷歌搜索然后验证结果。

如果我在谈话中了解这些事实，我的生活也不会好多少，而不是像我用了将近半辈子的方式了解它们一样，通过检索文件然后进行批判性分析以查看我是否可以信任其中的内容。

另一方面，如果我可以和一个机器人交谈，它会给我对我所说的话的合理回应，那么在事实准确性不是那么重要的情况下它会很有用。

几年前，我和一个学生试图创建一个“即兴机器人”，它会用“是的，并且”来回应你说的任何话，以保持对话的进行。

我们在一篇论文中表明，我们的机器人比当时的其他机器人更擅长“是，然后-ing”，但在 AI 中，两年是古老的历史。

我尝试了与 ChatGPT 的对话——一个科幻太空探索者场景——这与你在典型的即兴课程中发现的没什么不同。

ChatGPT 在“是，然后-ing”方面比我们做的要好得多，但它并没有真正提高戏剧性。我觉得自己好像在做所有繁重的工作。

经过一些调整后，我让它变得更加投入，在一天结束时，我觉得这对我来说是一个很好的锻炼，自从我 20 多年前大学毕业以来，我就没有做过太多即兴表演。

当然，我不希望 ChatGPT 出现在“到底是谁的线路？”中。这不是一个伟大的“星际迷航”情节（尽管它仍然比“荣誉守则”问题少）。

但是有多少次你坐下来从头开始写东西，却发现自己被面前的空白页吓坏了？

从糟糕的初稿开始可以突破作家的障碍并让创意源源不断，而 ChatGPT 和类似的大型语言模型似乎是帮助这些练习的正确工具。

对于一台旨在根据您输入的单词生成听起来尽可能好听的单词串的机器——而不是为您提供信息——这似乎是该工具的正确用途。

编者注：本文由南加州大学计算机科学研究副教授 Jonathan May 撰写，并根据 Creative Commons 许可从 The Conversation 重新发布。 阅读原文。

对此有什么想法吗？ 在评论下方给我们留言，或将讨论转移到我们的 Twitter 或 Facebook。