向前 首先我想说的是，我无意冒犯大型语言模型（LLM）的创建者、评估它们的工具，或者对它们进行排名和创建排行榜的个人\组织。作为这个生态系统的一个相对较新的人，我感谢你们的工作，并感谢你们让我可以轻松地完成原本很费力的任务。 显然，我的下一篇文章必须探索各种模型排名方法，以更详细地了解评估的工作原理。 介绍 如果您还没有阅读我之前的文章  ，那么您可能会发现回顾一下很有帮助，因为我已经定义了术语并解释了我得出各种实践和信念的方法。 《PrivateGPT for Book Summarization：测试和排名配置变量》 如果您确实读过那篇文章，那么您会意识到几个月来我一直在改进我的流程，使用大型语言模型 (LLM) 来总结书籍。我测量了一系列参数，包括提示模板、系统提示、用户提示等。 从第一轮模型排名和收集有关配置变量使用的数据中，   我发现 可以生成最高质量的项目符号注释，并且一直在寻找最好的一个，从那时起，它就适合我的 12GB 3060。 mistral-7b-instruct-v0.2.Q8_0.gguf 对于此排名，我使用该知识库来评估各种领先的 7b 模型。这次我使用  ，因为我发现它使用起来更简单并且性能相当好。 Ollama   我选择以下型号是因为我发现它们在各种排行榜上的排名高于  ，或者自称为最佳 7b。 Mistral 7b Instruct 0.2 （括号中测试的聊天模板）  openchat-3.5-0106.Q8_0.gguf（OpenChat） 呼吸管-米斯特拉尔-pairrm-dpo.Q8_0.gguf（米斯特拉尔）  dolphin-2.6-mistral-7b.Q8_0.gguf（米斯特拉尔）  supermario-v2.Q8_0.gguf (ChatML)  openhermes-2.5-mistral-7b.Q8_0.gguf (ChatML)  openhermes-2.5-neural-chat-7b-v3-1-7b.Q8_0.gguf (ChatML)  openhermes-2.5-neural-chat-v3-3-slerp.Q8_0.gguf (ChatML)  WestLake-7B-v2-Q8_0.gguf（ChatML，米斯特拉尔）  MBX-7B-v3-DPO.q8_0.gguf（ChatML，米斯特拉尔）  neuralbeagle14-7b.q8_0.gguf（ChatML，米斯特拉尔）  omnibeagle-7b-q8_0.gguf（ChatML，米斯特拉尔） 对于某些模型，我没有得到所需的结果，因为它们主要是 Mistral 派生的，我测试了 Mistral 模板，即使它们将 ChatML 列为首选输入。 标题和术语以粗体显示的要点注释 编写全面的项目符号注释，总结以下文本，其中标题、术语和关键概念以粗体显示。\n\n文本： 虽然 GPT3.5 不是我个人的基准，但它是一个行业标准，我希望它能产生比大多数 7b Q8 GGUF 更好的结果。  虽然没有粗体的术语的关键概念，但标题 粗体的，总的来说，与段落块相比，这很容易阅读。此外，我们是否找到粗体术语可能取决于输入文本本身，其中要点摘要应 包含粗体标题。 是 始终 我正在寻找可以生成笔记的模型： 快点 更多细节，更少填充 具有更长上下文的可比细节（目前将这些功能扩展到 2.5k 上下文左右） 我认为这是任何 Instruct 模型的一项基本任务。理想情况下，开发人员将训练他们的模型以生成这些类型的理想项目符号注释。我有大量的数据，一些书籍已经接受过训练，但为一本书生成这些注释相对简单（使用  ，将文本手动语义分块，每个部分低于 2.5k 个标记）。 Mistral 7b Instruct 0.2 如果是300-600页的书，那么通常一天就可以完成，包括预处理和后处理。 最终，我可能会尝试进行一些微调，以尝试提高自己的能力。 排行榜 之前，我尝试给每个排名打分。确实很难给出一个数字分数。将来，我想我会尝试获得法学硕士来对摘要进行排名。这次，我只是对它的不足之处以及我喜欢的地方发表评论，而不会为每个模型给出数字分数。 我在书中的一个章节中测试了以下每个模型，分为 6 个块，每个块有 1900-3000 个令牌。我将分享每个示例的代表性示例输出，完整数据将一如既往地在 GitHub 上提供。 米斯特拉尔 7b 指令 0.2 Q8 GGUF 我相信您现在已经意识到，在我看来， 拥有 7b 的实力。 米斯特拉尔 (Mistral) 模型文件 ，您可以将模型位置、模板和参数输入到模型文件中，该文件用于使用您指定的配置保存 LLM 的副本。这使得演示各种模型变得很容易，而不必总是为参数而烦恼。 Ollama 具有一项功能 除聊天模板外，我对所有模型都保持相同的参数，但我将与您分享我为每个模型使用的模板，以便您可以准确地看到我如何使用该模板。如果我使用不同配置的模型文件从以下模型中获得更好的结果，您可以告诉我。   TEMPLATE """ <s></s>[INST] {{ .Prompt }} [/INST] """ PARAMETER num_ctx 8000 PARAMETER num_gpu -1 PARAMETER num_predict 4000  Mistral 7b 指令 v0.2 结果 我不会说米斯特拉尔每次都做得很完美，但更多时候，这就是我的结果。如果您回顾一下 GPT3.5 的回应，您可能会同意这更好。   OpenChat 3.5 0106 Q8 GGUF   让我感到惊喜。这是一个号称拥有最好的7b型号的型号，至少可以与Mistral 7b竞争。 OpenChat 的 0106 模型文件 TEMPLATE """ GPT4 Correct User: {{ .Prompt }}<|end_of_turn|>GPT4 Correct Assistant: """ PARAMETER num_ctx 8000 PARAMETER num_gpu -1 PARAMETER num_predict 4000  OpenChat 3.5 0106 结果 在这个小样本中，它给出了 4/6 次的粗体标题。稍后，我将使用更详细的分析来回顾它以及任何其他顶级竞争者。  通气管 Mistral Pairrm DPO Q8 GGUF 显然，我在这里有偏见，因为 Snorkel 是在 Mistral 7b Instruct 0.2 上接受训练的。无论如何，我持谨慎乐观的态度，并期待 发布更多内容。 Snorkel.ai 模型文件 TEMPLATE """ <s></s>[INST] {{ .Prompt }} [/INST] """ PARAMETER num_ctx 8000 PARAMETER num_gpu -1 PARAMETER num_predict 4000 通气管米斯特拉尔 Pairrm DPO 结果 其中 4/6 的摘要是正确的，但其他摘要包含不规则之处，例如关键术语和标题的超长列表，而不是仅将它们内嵌加粗作为摘要的一部分。  海豚 2.6 米斯特拉尔 7B Q8 GGUF 这是 。 另一个广受好评的密斯特拉尔衍生物 模型文件 TEMPLATE """ <|im_start|>system You are a helpful AI writing assistant.<|im_end|> <|im_start|>user {{ .Prompt }} <|im_end|> <|im_start|>assistant {{ .Response }}<|im_end|> """ PARAMETER num_ctx 8000 PARAMETER num_gpu -1 PARAMETER num_predict 4000 海豚 2.6 米斯特拉尔 7B 结果 这是另一个不错的模型， 与 Mistral 7b Instruct 0.2 一样好。六分之三的摘要给出了正确的格式和粗体标题，另一个摘要的格式良好但没有粗体，但 2/6 的格式都很糟糕。  几乎  OpenHermes 2.5 Mistral-7B Q8 GGUF 非常流行，无论是在排行榜上还是在不相关的不和谐聊天中的“人们”中。我希望它成为这个排名中的领导者，但事实并非如此。 这种模式 模型文件 TEMPLATE """ <|im_start|>system You are a helpful AI writing assistant.<|im_end|> <|im_start|>user {{ .Prompt }} <|im_end|> <|im_start|>assistant {{ .Response }}<|im_end|> """ PARAMETER num_ctx 8000 PARAMETER num_gpu -1 PARAMETER num_predict 4000  OpenHermes 2.5 米斯特拉尔结果 3/6 结果产生正确的结构，但没有粗体文本。其中之一既有结构又有粗体文本。另外两个有更大的文本块和较差的结构。   OpenHermes 2.5 神经聊天 7b v3.1 7B Q8 GGUF 我还尝试了 OpenHermes 2.5 Mistral 的一些高级 ，看看是否可以获得更好的结果。不幸的是，事实并非如此。 衍生品 模型文件 TEMPLATE """ <|im_start|>system You are a helpful AI writing assistant.<|im_end|> <|im_start|>user {{ .Prompt }} <|im_end|> <|im_start|>assistant {{ .Response }}<|im_end|> """ PARAMETER num_ctx 8000 PARAMETER num_gpu -1 PARAMETER num_predict 4000  OpenHermes 2.5 神经聊天 7b v3.1 结果 这些结果都不理想。   OpenHermes 2.5 Neural-Chat v3.3 Slerp Q8 GGUF 无论他们做什么，这些 都没有对原始版本进行改进。 衍生品 模型文件 TEMPLATE """ <|im_start|>system You are a helpful AI writing assistant.<|im_end|> <|im_start|>user {{ .Prompt }} <|im_end|> <|im_start|>assistant {{ .Response }}<|im_end|> """ PARAMETER num_ctx 8000 PARAMETER num_gpu -1 PARAMETER num_predict 4000  OpenHermes 2.5 神经聊天 v3.3 Slerp 结果 每个新版本的情况都变得更糟！  超级马里奥V2 Q8 我对马里奥并没有抱太大期望，但它显示出了一些希望。同时，V3 和 V4 可用，但我还没有找到适合这些的 GGUF。 模型文件 TEMPLATE """ <|im_start|>system You are a helpful AI writing assistant.<|im_end|> <|im_start|>user {{ .Prompt }} <|im_end|> <|im_start|>assistant {{ .Response }}<|im_end|> """ PARAMETER num_ctx 8000 PARAMETER num_gpu -1 PARAMETER num_predict 4000 超级马里奥 V2 结果 它的第一个结果是看似良好的。然而，以下每个摘要都偏离了所需的模式。我会留意新版本的 GGUF。您可以在这里看到我们得到了带有粗体标题的段落块。并不是我真正要求的。  荣誉奖  (ChatML) - 这实际上产生了一种不错的格式，但没有粗体文本。 omnibeagle-7b    （ChatML，Mistral） - 与 Mistral 模板配合使用效果更好。结果“不错”，但根据我的喜好，提示模板有太多混乱。 neuralbeagle14-7b    (ChatML) - 我见过更糟糕的 WestLake-7B-v2  (ChatML) - 格式不一致。 MBX-7B-v3-DPO 结论 我希望有更好的消息可以分享。我理想的标题是 不幸的是，事实并非如此。 ，在创建 有大量领先的模型可以产生高质量的输出，但我很难在其中进行选择。 全面的项目符号摘要时， 也许它们在完整形式上优于 Mistral 0.2，但仅以 GGUF 格式落后？我认为我们现有的评估很可能没有一个针对这种类型的输出，但我当然认为这是任何领先的 7b gguf 模型都应该能够管理的任务。 另一件需要考虑的事情是，Mistral 7b Instruct v0.2 在 Mixtral 之后不久就在一片大张旗鼓中发布了。我认为这次发布没有引起人们的关注。事实上，我见过的许多“领先”型号都是基于 0.1 Mistral 的。 也许事情会发生变化，世界会意识到他们最好的模型仍然无法超越米斯特拉尔？话又说回来，也许所有这些模型都非常擅长完成我不要求的所有其他任务。 我愿意提供帮助，也愿意被证明是错的 我有数据，有管道，而且我有无尽的需要来创建项目符号摘要。如果您想与我合作，请联系我。 也欢迎您查看我的 GitHub，检查数据，并尝试您自己的这个实验版本。我很高兴被证明是错误的。

This story contains new, firsthand information uncovered by the writer.

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

This story will praise and/or roast a product, company, service, game, or anything else people like to review on the Internet.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Student

該音頻是用故事的原始語言製作的！

Ollama 综合项目符号注释排名 7b GGUF：回家模型排名，你醉了！

About Author

註釋

標籤

这篇文章刊登在

Related Stories

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Telegram：加密岛通往大陆的桥梁

成功云迁移的完整指南：策略和最佳实践

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Telegram：加密岛通往大陆的桥梁

成功云迁移的完整指南：策略和最佳实践

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps