自 2025 年初以来，人工智能实验室向我们提供了大量新模型，我很难跟上它们的步伐。 但趋势表明没人关心！只有 ChatGPT： 为何如此？ 新型号很棒，但它们的命名却一团糟。此外，你甚至无法通过基准测试来区分型号。简单的“这个是最好的，每个人都用它”现在不起作用了。 简而言之，市场上有很多真正出色的AI模型，但真正使用它们的人却很少。 太可惜了！ 我将尝试理解命名混乱，解释基准危机，并分享如何根据您的需求选择正确模型的技巧。 模型太多，名字糟糕 Dario Amodei 一直开玩笑说，我们可能在学会明确命名模型之前就创造出了 AGI。谷歌传统上在混淆游戏方面处于领先地位： 公平地说，这确实有道理。现在每个“基础”模型都有很多更新。这些更新并不总是具有足够的突破性，不足以证明每次更新都是新版本。这就是所有这些前缀的由来。 为了简化事情，我整理了各大实验室的模型类型表，删除了所有不必要的细节。 那么，这些类型的模型是什么？ 有庞大而强大的 模型。它们令人印象深刻，但规模大时速度慢且成本高昂。 基础 这就是我们发明 的原因：采用一个基础模型，在其答案上训练一个更紧凑的模型，您将获得大致相同的功能，但速度更快、更便宜。 蒸馏 这对于 模型来说尤其重要。表现最好的模型现在遵循多步骤推理链——规划解决方案、执行并验证结果。有效但昂贵。 推理 还有专门的模型：用于搜索的模型、用于简单任务的超廉价模型，或用于医学和法律等特定领域的模型。此外，还有一个单独的图像、视频和音频组。我没有包括所有这些以避免混淆。我还故意忽略了一些其他模型和实验室，以使其尽可能简单。 有时，更多的细节只会让事情变得更糟。 现在所有模型基本都相同 很难选出一个明确的赢家。Andrej Karpathy 最近将此称为“评估危机”。 目前还不清楚要看哪些指标。MMLU 已经过时，而 SWE-Bench 的范围太窄。Chatbot Arena 非常受欢迎，实验室已经学会了“破解”它。 目前，评估模型的方法有以下几种： 狭义的基准衡量的是特定技能，例如 Python 编码或幻觉率。但模型正变得越来越聪明，掌握的任务也越来越多，因此你不能再用一个指标来衡量它们的水平了。 综合基准测试试图捕捉多个维度，其中包含大量指标。然而，比较所有这些分数很快就会变得混乱。请注意，人们试图将这些复杂的基准测试的倍数分解。一次五个或十个！这里一个模型获胜，那里另一个模型获胜——祝你好运。 竞技场，人类会根据个人偏好盲目比较模型答案。模型会像棋手一样获得 ELO 评级。获胜次数越多，获得的 ELO 就越高。但这种感觉很棒，直到模型之间的差距变得太小。 35 点的差异意味着模型仅在 55% 的时间内表现更好。 就像国际象棋一样，ELO 较低的玩家仍然有很大的获胜机会。即使差距达到 100 分，“较差”的模型在三分之一的情况下仍然表现优异。 再次强调，有些任务用一个模型更适合解决，而其他任务用另一个模型更适合解决。选择列表中较高的模型，您的 10 个请求中可能有一个会更好。哪一个更好？好多少？ 谁知道呢。 那么，您该如何选择？ 由于缺乏更好的选择，Karpathy 建议依靠氛围检查。 亲自测试这些模型，看看哪一个感觉正确。当然，欺骗自己很容易。 它是主观的并且容易产生偏见——但它是实用的。 以下是我的个人建议： 如果任务是新的，请打开多个包含不同模型的选项卡并比较结果。相信你的直觉，哪个模型需要的调整或编辑较少。 如果任务更加熟悉，则只使用最好的模型。 别再追求基准数字了。专注于您喜欢的用户体验，并优先考虑您愿意支付的订阅。 如果你仍然想要数字，请尝试 。创建者声称它解决了常见的基准测试问题，如黑客攻击、过时、狭隘和主观性。 https://livebench.ai/#/ 对于产品创造者来说，这里有一份来自 HuggingFace 的关于如何建立自己的基准的精彩指南。https ://github.com/huggingface/evaluation-guidebook/ 与此同时，如果你一直在等待一个迹象来尝试 ChatGPT 以外的其他方式，那么这里就是： https://claude.ai/ https://gemini.google.com/ https://grok.com/ https://chat.deepseek.com/ http://сhаt.openai.сom 接下来，我将介绍每个模型的重要亮点并总结其他人的氛围检查。 如果您喜欢这篇文章并且不想错过下一篇文章，请订阅！
