ChatGPT vs Claude 3 测试：Anthropic 能否击败 OpenAI 的 Superstar？
已发表: 2024-03-10自ChatGPT于 18 个多月前推出以来，一系列其他聊天机器人也已推出。 有些已被证明很有用，但另一些则没有那么有用。 但与Gemini（以前的 Bard）一样，被证明更具竞争力的聊天机器人是由人工智能初创公司 Anthropic 创建的 Claude。
我们举办了 ChatGPT 与 Claude 3 的正面交锋，以纪念 Claude 3 的推出，Claude 3 是一个语言模型系列，包括 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。 根据 Google 支持的 Anthropic 的说法，Claude 3 的表现优于 GPT 系列语言模型，这些模型在一系列基准认知测试中为 ChatGPT 提供支持。 在我们的测试中，我们发现Claude 比 ChatGPT 更清晰，而且它的答案通常写得更好，更容易阅读。
但它们如何并排比较呢？ 为了找到答案，我们向 ChatGPT 和 Claude 3 提出了各种不同的问题，从旨在测试聊天机器人处理道德问题的方法的查询到生成电子表格公式。
在本指南中：
- Claude 3 vs ChatGPT：有什么区别？
- Claude 3 与 ChatGPT：头对头测试
- Claude 3 与 ChatGPT：UI 和用户体验
- Claude 3 与 ChatGPT：数据和隐私
- 在工作中使用 Claude 3 和 ChatGPT
Claude 3 vs ChatGPT：有什么区别？
Claude 3 是 Anthropic 的一个新语言模型系列，用于为他们的聊天机器人 Claude 提供支持。 （巧合地）有 3 个模型：Haiku、Sonnet 和 Opus。 Anthropic 表示，目前，Claude Sonnet 正在为 Claude 免费版本提供支持，其处理信息的速度比 Claude 2.1 快 2 倍。
另一方面，Claude Opus 为专业版提供支持。 下图所示的 Anthropic 基准测试结果显示，Claude Opus 超过了 GPT-4，而 Claude Sonnet 的性能也超过了 GPT-3.5。
Claude 3 在基准测试中与 ChatGPT 和 Gemini 的比较。 图片：人类
自推出以来，ChatGPT 一直由 GPT 语言模型家族的不同成员提供支持。 免费用户目前可以访问 GPT-3.5，而 GPT-4 则支持 ChatGPT Plus，订阅费用为每月 20 美元。 这个价格和Claude Pro是一样的。 以下是该软件之间的一些关键区别：
聊天机器人 | 公司 | 免费版？ | 付费计划来自 | 语言模型 | 登入 | 语言 | |
|---|---|---|---|---|---|---|---|
 |  | ||||||
聊天GPT | 克洛德 | ||||||
开放人工智能 | 人择 | ||||||
20 美元/月 | 20 美元/月 | ||||||
| 免费：克劳德十四行诗 | ||||||
需要任何电子邮件地址。 目前没有候补名单。 | 需要电子邮件地址才能创建 Anthropic 帐户。 | ||||||
95+ 语言 | 英语、日语、西班牙语和法语 |
ChatGPT 与 Claude 3：头对头测试
我们让 ChatGPT 和 Claude 面对面，问他们 13 个截然不同的问题，旨在测试推理和自然语言处理等方面，同时也了解他们在完成便捷的工作场所任务（例如扫描文档以获取信息和撰写电子邮件）方面的表现如何。
我发现Claude 在其中 7 项测试中做出了更好的反应，而 ChatGPT 在 3 项测试中取得了胜利。 剩下的四项（包括其中一项头脑风暴测试）以平局告终，这意味着克劳德赢得了这场比赛。 以下是我们向两个聊天机器人提出的问题的完整列表：
- 伦理推理
- 创建产品描述
- 头脑风暴想法（2 次测试）
- 自然语言的理解
- 总结文本
- 个人建议
- 分析文本
- 提供事实信息
- 创意写作
- 写诗
- 谜语与推理
- 撰写电子邮件
- 创建电子表格公式
1. 伦理推理
首先，我向 ChatGPT 和 Claude 提出了一个困难的道德困境。 我特别选择这个困境，因为正确的答案（如果有的话）不一定是明确或直接的：
一名男子驾驶一辆装甲车驶入市中心，意图造成最大程度的破坏并造成最大程度的伤害。 他在车后座劫持了三名乘客。 这辆车的装甲非常坚固，车内人员可以在任何碰撞中幸存下来。 但是，您有机会使用火箭发射器从远处炸毁汽车。 你是否应该炸毁汽车，杀死里面的所有人，同时拯救因该男子的暴行而迫在眉睫的受害者？
克劳德的回答对形势的困难极其敏感，总体上提供了真正人性化的反应。 它似乎了解情况的严重性，而且聊天机器人在谈论这种情况时几乎听起来很情绪化。 这让人感觉非常引人注目。
另一方面，ChatGPT 清楚地列出了您可以针对这种情况采取的不同观点和方法。 它概述了许多与克劳德相同的考虑因素，并提到了情况的困难。
克劳德的答案更加清晰，我倾向于更喜欢聊天机器人对困难的道德困境给出这种“概述”式的反应，因为这些答案比绝对判断更有助于人类行为者（并且危险性更小）。
最佳答案？ 克洛德
2. 创建产品描述
如果您正在经营一家在线商店或只是在线销售大量产品，那么为每一件产品创建独特且引人注目的产品描述并不是一件容易的事。 因此，我要求 ChatGPT 和 Claude 为同一个产品——数字时钟写一个产品描述。 克劳德是这样度过的：
我最终要求 Claude 提供稍长一些的描述，因为我还没有看到它写出像 ChatGPT 一样多的产品描述。 最后，它做得非常好——句子结构令人印象深刻，文案也真正引人注目。
总体而言，Claude 生成的产品描述优于 ChatGPT。 就像它的道德推理一样，它听起来更加人性化。 如果您使用这两个工具批量创建产品描述，则对于使用 Claude 生成的产品描述，您需要做的编辑工作会少得多。
最佳答案？ 克洛德
3. 集思广益
接下来，我为 Claude 和 ChatGPT 设定了两项集思广益的任务 - 为两个截然不同的博客提出博客文章的想法。 第一个是虚构的美食博客，因为我想看看这两个聊天机器人对于产生引人入胜的想法有多大用处。
然后，我还询问了一些关于心理健康博客的想法，看看他们是否能得到正确的“语气”，因为此类内容需要更严肃和冷静的语言。
美食博客文章
克劳德再次赢得了这项任务。 它提供了更完整的标题，其解释表明它对观众可能想要阅读其建议的博客文章的原因有清晰的理解。 这对于即将制作此内容的人来说非常有用，因为理解该推理并在写作时应用它实际上很有用。
ChatGPT 并没有真正表明它以相同的方式工作，而且考虑到所有因素，这些想法更加通用。 它们比克劳德的要模糊得多，而且听起来像是由对内容策略和制作有一定了解的人建议的，而不是人工智能聊天机器人。
最佳答案？ 克洛德
心理健康博客文章
接下来，我想看看两个聊天机器人是否可以调整他们的语气以及当被要求生成有关更敏感主题的博客文章时他们采取的建议方法，这比美食指南需要更多的诚意。 这是克劳德的尝试：
这些都是很好的建议，而且语气绝对正确——这里没有什么不寻常的。 然而，如下图所示，ChatGPT 也给了我们一些合适的想法，并在内容方面提供了类似级别的附加说明。 这里真的没有分开他们！
最佳答案？ 领带
7. 分析文本
这是一个非常基本的测试，旨在了解聊天机器人扫描文本的能力。 在这次测试中，我摘录了《哈佛商业评论》文章的摘录，并在其中插入了“沙滩球”一词五次。 我还添加了一些相近的变体（“沙滩球”和“沙滩球”），看看两个聊天机器人是否会感到困惑。
克劳德（Claude）这并不是第一次，他扫描了文本并正确地计算了我使用“沙滩球”这个词的次数。 与 ChatGPT 不同的是，如果您将太多文本粘贴到 Claude 中，它会将其作为一种“文档”提交，如下图所示：
令人失望的是，ChatGPT 的答案是错误的——它只能识别出该单词的两个实例，不到总数的一半。 ChatGPT 似乎特别难以应对此类任务。 我最近将它与 Gemini 进行了正面交锋，并包含了一个类似的任务，但它也未能识别出某个单词在文本块中出现的次数。
最佳答案？ 克洛德
13. 创建电子表格公式
对于这个最终测试，我要求 ChatGPT 和 Claude 为我生成一个电子表格公式。 这是我发送的请求：
B 列包含一组值。 我想将它们与“向下过滤”工作表中 E 列的相应值进行匹配，并使用公式从向下过滤中的 F、G 和 H 列中获取匹配值到当前工作表。
克劳德是这样度过的：
“克劳德试图制作一种简单的多用途公式，利用它在纸张中放置的位置来计算出要做什么，这很酷，但说实话，它可能不会那么快起作用，而且可能会被破坏。” Tech.co 的常驻电子表格专家 Matthew Bentley 说道。
“没有必要让简单的请求过于复杂”，他继续说道。 “我认为 ChatGPT 对此更好。 这是一个非常简单的 Vlookup 请求，不需要 Claude 提供的所有额外公式”。
最佳答案？ 聊天GPT
Claude 3 与 ChatGPT：UI 和用户体验
当然，ChatGPT 和 Claude 都非常易于使用，并且它们的界面在格式和结构方面看起来非常相似。 Gemini、Perplexity AI 和 Copilot也是如此。 大多数聊天机器人都提供流畅、简单的用户体验。
然而，我喜欢 Anthropic 为 Claude 选择的平静语气，因为它符合聊天机器人的态度，这可能比它的一些竞争对手稍微谨慎一些。 另一方面，ChatGPT 的灰色配色方案有时会让人感觉有点临床。 总体而言，Anthropic 的设计仅比 ChatGPT 好一点。
与 Gemini 一样，Claude 通常在格式化答案方面做得更好，而 ChatGPT 则不擅长（在我们的Gemini 与 ChatGPT正面对决中了解更多信息）。 尽管我经常看到 ChatGPT 使用标题来分解文本，但我喜欢 Claude 格式化其答案的方式。 克劳德提供的另一件伟大的事情是一种不同的字体样式，让阅读困难的人更容易阅读。
然而， ChatGPT 是完全免费使用的，对你可以问的问题数量没有限制——而 Claude 的免费版本，如果你问太多问题，就会把你锁在门外，并强迫你等待 3-4 个小时。你可以再问了。 这使得它不太适合那些想要聊天机器人工作但又不想支付任何费用的人。
Claude 3 与 ChatGPT：数据和隐私
Claude 3 和 ChatGPT 对待用户的方式不同。 如果您担心自己的隐私，了解他们保存、存储和查看的内容以及不保存的内容非常重要。 ChatGPT 保留使用您的数据来训练其模型的权利，Claude 也这样做。 OpenAI 和 Anthropic 都表示，他们对服务器和用户之间的连接进行端到端加密，以实现最大程度的安全性。
但是，Claude 商业和企业用户的提示和输出将在收到或生成后 28 天内自动删除，除非他们有法律义务保留更长时间或您另行同意。 消费者用户的提示将在 90 天后被删除，但如果您的提示之一被标记为潜在恶意、有害或不安全，则该提示可能会保留最多两年。
ChatGPT 对您的数据执行的操作略有不同。 本质上，如果您想保存聊天内容并让 ChatGPT 将它们保存在系统上，那么您也同意它们可用于训练模型，从这个意义上说，其他人也可以访问它们。 如果您关闭聊天历史记录，您将无法保存任何聊天记录，但 ChatGPT 不会使用它来训练模型。 ChatGPT API 中存储的任何业务数据都不会用于训练 GPT LLM。
在工作中使用聊天机器人
当然，企业可以通过多种方式使用 ChatGPT和 Claude 进行工作 - 事实上，我们在本文中提到了其中相当多的方式。 但如果您在工作中经常使用聊天机器人，则有一些注意事项值得回顾。
例如，贵公司是否有一套使用人工智能工具的指南？ 如果您不确定，您应该向您的经理或部门负责人澄清这一点。 您可能还不知道，您的公司可能对您可以输入第三方工具（甚至更具体地说是人工智能工具）的数据类型有严格的规定。
其次，您必须对人工智能的使用公开透明，尤其是对您的直线经理。 关于哪些任务适合使用人工智能聊天机器人来完成的争论仍在继续，而您公司的其他人可能对您可以接受的任务有不同的想法。 此外，大多数经理和企业领导者认为在使用人工智能工具之前应该寻求许可。
无论您使用人工智能工具执行什么任务，请记住检查他们的工作，就好像它是由新员工完成的一样。 虽然人工智能工具在大多数情况下速度快得惊人且准确得惊人，但它当然也会产生幻觉并提供不正确的信息。 所以，不要太得意忘形！