自 2025 年初以来，人工智能实验室向我们提供了大量新模型，我很难跟上它们的步伐。 但趋势表明没人关心！只有 ChatGPT：  为何如此？ 新型号很棒，但它们的命名却一团糟。此外，你甚至无法通过基准测试来区分型号。简单的“这个是最好的，每个人都用它”现在不起作用了。 简而言之，市场上有很多真正出色的AI模型，但真正使用它们的人却很少。 太可惜了！ 我将尝试理解命名混乱，解释基准危机，并分享如何根据您的需求选择正确模型的技巧。 模型太多，名字糟糕 Dario Amodei 一直开玩笑说，我们可能在学会明确命名模型之前就创造出了 AGI。谷歌传统上在混淆游戏方面处于领先地位：  公平地说，这确实有道理。现在每个“基础”模型都有很多更新。这些更新并不总是具有足够的突破性，不足以证明每次更新都是新版本。这就是所有这些前缀的由来。 为了简化事情，我整理了各大实验室的模型类型表，删除了所有不必要的细节。  那么，这些类型的模型是什么？ 有庞大而强大的 模型。它们令人印象深刻，但规模大时速度慢且成本高昂。 基础 这就是我们发明 的原因：采用一个基础模型，在其答案上训练一个更紧凑的模型，您将获得大致相同的功能，但速度更快、更便宜。 蒸馏 这对于 模型来说尤其重要。表现最好的模型现在遵循多步骤推理链——规划解决方案、执行并验证结果。有效但昂贵。 推理 还有专门的模型：用于搜索的模型、用于简单任务的超廉价模型，或用于医学和法律等特定领域的模型。此外，还有一个单独的图像、视频和音频组。我没有包括所有这些以避免混淆。我还故意忽略了一些其他模型和实验室，以使其尽可能简单。 有时，更多的细节只会让事情变得更糟。 现在所有模型基本都相同 很难选出一个明确的赢家。Andrej Karpathy 最近将此称为“评估危机”。 目前还不清楚要看哪些指标。MMLU 已经过时，而 SWE-Bench 的范围太窄。Chatbot Arena 非常受欢迎，实验室已经学会了“破解”它。  目前，评估模型的方法有以下几种： 狭义的基准衡量的是特定技能，例如 Python 编码或幻觉率。但模型正变得越来越聪明，掌握的任务也越来越多，因此你不能再用一个指标来衡量它们的水平了。  综合基准测试试图捕捉多个维度，其中包含大量指标。然而，比较所有这些分数很快就会变得混乱。请注意，人们试图将这些复杂的基准测试的倍数分解。一次五个或十个！这里一个模型获胜，那里另一个模型获胜——祝你好运。  竞技场，人类会根据个人偏好盲目比较模型答案。模型会像棋手一样获得 ELO 评级。获胜次数越多，获得的 ELO 就越高。但这种感觉很棒，直到模型之间的差距变得太小。   35 点的差异意味着模型仅在 55% 的时间内表现更好。 就像国际象棋一样，ELO 较低的玩家仍然有很大的获胜机会。即使差距达到 100 分，“较差”的模型在三分之一的情况下仍然表现优异。 再次强调，有些任务用一个模型更适合解决，而其他任务用另一个模型更适合解决。选择列表中较高的模型，您的 10 个请求中可能有一个会更好。哪一个更好？好多少？ 谁知道呢。 那么，您该如何选择？ 由于缺乏更好的选择，Karpathy 建议依靠氛围检查。 亲自测试这些模型，看看哪一个感觉正确。当然，欺骗自己很容易。 它是主观的并且容易产生偏见——但它是实用的。 以下是我的个人建议： 如果任务是新的，请打开多个包含不同模型的选项卡并比较结果。相信你的直觉，哪个模型需要的调整或编辑较少。 如果任务更加熟悉，则只使用最好的模型。 别再追求基准数字了。专注于您喜欢的用户体验，并优先考虑您愿意支付的订阅。 如果你仍然想要数字，请尝试  。创建者声称它解决了常见的基准测试问题，如黑客攻击、过时、狭隘和主观性。 https://livebench.ai/#/ 对于产品创造者来说，这里有一份来自 HuggingFace 的关于如何建立自己的基准的精彩指南。https  ://github.com/huggingface/evaluation-guidebook/ 与此同时，如果你一直在等待一个迹象来尝试 ChatGPT 以外的其他方式，那么这里就是：   https://claude.ai/   https://gemini.google.com/   https://grok.com/   https://chat.deepseek.com/   http://сhаt.openai.сom 接下来，我将介绍每个模型的重要亮点并总结其他人的氛围检查。   如果您喜欢这篇文章并且不想错过下一篇文章，请订阅！

Subscribe to my newsletter!

Read My Stories

該音頻是用故事的原始語言製作的！

人工智能太多，名字太难听：如何选择你的人工智能模型

About Author

註釋

標籤

这篇文章刊登在

Related Stories

比特币 UTXO 模型，为独特的生态系统提供动力

Claude Sonnet 3.5 系统提示泄漏：法医分析

扬帆起航：利用数据湖开发生产级 RAG 应用程序

加密货币增长：创建有效的用户角色

比特币 UTXO 模型，为独特的生态系统提供动力

Claude Sonnet 3.5 系统提示泄漏：法医分析

扬帆起航：利用数据湖开发生产级 RAG 应用程序

加密货币增长：创建有效的用户角色

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps