ChipNeMo：适用于芯片设计的领域自适应法学硕士 (LLM)：相关作品

经过 Writings, Papers and Blogs on Text Models4m2024/06/06

太長; 讀書

研究人员提出了 ChipNeMo，利用领域自适应来增强用于芯片设计的 LLM，实现模型尺寸缩小 5 倍，同时获得更佳的性能。

featured image - ChipNeMo：适用于芯片设计的领域自适应法学硕士 (LLM)：相关作品

作者：

（1）刘明杰，NVIDIA{同等贡献}；

（2）Teodor-Dumitru Ene，NVIDIA{同等贡献}；

（3）NVIDIA 的 Robert Kirby {平等贡献}；

（4）Chris Cheng，NVIDIA{同等贡献}；

（5）Nathaniel Pinckney，NVIDIA{平等贡献}；

（6）梁荣建，NVIDIA{同等贡献}；

（7）乔纳·阿尔本（Jonah Alben），NVIDIA；

（8）NVIDIA 的 Himyanshu Anand；

（9）桑米特拉·班纳吉（Sanmitra Banerjee），NVIDIA；

（10）Ismet Bayraktaroglu，NVIDIA；

（11） NVIDIA 的 Bonita Bhaskaran；

（12）NVIDIA 公司的布莱恩·卡坦扎罗（Bryan Catanzaro）

（13）NVIDIA 的阿琼·乔杜里（Arjun Chaudhuri）

（14）莎朗·克莱（NVIDIA）

（15） NVIDIA 的比尔·戴利（Bill Dally）

（16）劳拉·当（NVIDIA）

（17）帕里克希特·德什潘德（Parikshit Deshpande），NVIDIA；

（18）Siddhanth Dhodhi，NVIDIA；

（19）Sameer Halepete，NVIDIA；

（20）埃里克·希尔（Eric Hill），NVIDIA；

（21）胡嘉尚，NVIDIA；

（22）苏米特·贾恩（NVIDIA）；

（23） NVIDIA 的 Brucek Khailany；

（24）乔治·科凯（George Kokai），NVIDIA；

（25）基肖尔·库纳尔（NVIDIA）；

（26）李小薇，NVIDIA；

（27）查理·林德（NVIDIA）；

（28）刘浩，NVIDIA；

（29）斯图尔特·奥伯曼（NVIDIA）；

（30）苏吉特·奥马尔（NVIDIA）；

（31）Sreedhar Pratty，NVIDIA；

（23）乔纳森·雷曼（NVIDIA）；

（33）安巴尔·萨卡尔（Ambar Sarkar），NVIDIA；

（34）邵正江，NVIDIA；

（35）孙汉飞，NVIDIA；

（36）Pratik P Suthar，NVIDIA；

（37）Varun Tej，NVIDIA；

（38）沃克·特纳（NVIDIA）；

（39）徐凯哲，NVIDIA；

（40）NVIDIA 任浩星。

链接表

VII. 相关工作

许多领域都拥有大量专有数据，可用于训练特定领域的 LLM。一种方法是从头开始训练特定领域的基础模型，例如用于金融的 BloombergGPT [10]、用于生物医学的 BioMedLLM [11] 和用于科学的 Galactica [38]。这些模型通常在超过 1000 亿个原始领域数据上进行训练。第二种方法是领域自适应预训练 (DAPT) [14]，它继续在其他原始领域数据上训练预训练的基础模型。它在生物医学、计算机科学出版物、新闻和评论等领域的特定领域任务上显示出略微的性能提升。在一个示例中，[39] 继续在技术内容数据集上预训练基础模型，并在许多定量推理任务上取得了最先进的性能。

检索增强生成 (RAG) 有助于 LLM 生成准确信息并提取最新信息，从而改进知识密集型 NLP 任务 [40]。据观察，带有 RAG 的小型模型的表现优于没有 RAG 的大型模型 [41]。检索方法包括稀疏检索方法，例如 TF-IDF 或 BM25 [42]，它们分析单词统计信息并使用高维稀疏向量查找匹配文档。密集检索方法（例如 [43] [44]）在由在大型语料库上预训练的检索模型生成的嵌入空间中查找匹配文档，无论是否在检索数据集上进行微调。检索模型可以独立训练 [43] [44] [45]，也可以与语言模型联合训练 [46] [41]。此外，已经证明现成的通用检索器可以显著改进基线语言模型，而无需进一步微调 [47]。 RAG 还被提议通过检索编码文档来执行代码生成任务 [48]。

基础模型是完成模型，其聊天和指令遵循能力有限。因此，将模型对齐过程应用于基础模型以训练相应的聊天模型。指令微调 [20] 和从人类反馈中强化学习 (RLHF) [36] 是两种常见的模型对齐技术。指令微调使用指令数据集进一步训练基础模型。RLHF 利用人类反馈标记数据集以训练奖励模型，并应用强化学习进一步改进给定训练后的奖励模型的模型。RLHF 通常比指令微调更复杂且更耗资源。因此，最近的研究还提出使用更简单的方法来减少这种开销，例如 DPO [49] 和 SteerLM [50]。

研究人员已经开始将 LLM 应用于芯片设计问题。早期的作品如 Dave [51] 首次探索了使用语言模型 (GPT-2) 从英语生成 Verilog 的可能性。在那项工作之后，[6] 表明，在从 GitHub 和 Verilog 教科书收集的 Verilog 数据集上经过微调的开源 LLM (CodeGen) 在 17 个 Verilog 问题上的表现优于最先进的 OpenAI 模型，例如 code-davinci-002。[12] 提出了一个包含 150 多个问题的基准，并证明了通过使用 LLM 生成的合成问题代码对进行引导，通过监督微调可以提高预训练语言模型的 Verilog 代码生成能力。Chip-Chat [7] 尝试使用对话流来设计和验证基于 GPT-4 和 GPT-3.5 的 8 位累加器微处理器。他们的研究结果表明，尽管 GPT-4 生成的代码质量相对较高，但在理解和修复错误方面的表现仍然不够好。 ChipEDA [8] 提出使用 LLM 生成 EDA 工具脚本。它还证明了经过微调的 LLaMA2 70B 模型在此任务上的表现优于 GPT-4 模型。