ChipNeMo : LLM adaptés au domaine pour la conception de puces : remerciements, contributions et références

Tableau des liens

• Résumé et introduction
• Base de données
• Méthodes d'adaptation de domaine ChipNemo
• Candidatures LLM
• Évaluations
• Discussion
• Travaux connexes
• Conclusions
• Remerciements, contributions et références
• annexe

IX. REMERCIEMENTS

Les auteurs souhaitent remercier : les équipes informatiques de NVIDIA pour leur soutien sur l'intégration de NVBugs ; L'équipe NVIDIA Hardware Security pour son assistance sur les problèmes de sécurité ; Les équipes NVIDIA NeMo pour leur soutien et leurs conseils sur la formation et l'inférence des modèles ChipNeMo ; Les équipes d'infrastructure NVIDIA pour prendre en charge les ressources de formation et d'inférence GPU pour le projet ; Les équipes de conception de matériel NVIDIA pour leur soutien et leurs connaissances.

X.COTISATIONS

Mingjie Liu a dispensé une formation sur les modèles DAPT et SFT.

Teodor-Dumitru Ene et Robert Kirby ont développé une infrastructure d'inférence et d'évaluation d'applications.

Chris Cheng a développé le framework RAG.

Nathaniel Pinckney a collecté et préparé des ensembles de données pour la formation.

Rongjian Liang a développé des tokeniseurs personnalisés.

Walker Turner, Charley Lind et George Kokai ont développé une référence générale en matière de connaissances en matière de conception de circuits.

Siddhanth Dhodhi, Ismet Bayraktaroglu, Himyanshu Anand et Eric Hill ont conçu un chatbot assistant d'ingénierie, fourni des ensembles de données d'instructions de domaine, des références d'évaluation et mené une évaluation.

Parikshit Deshpande, Zhengjiang Shao, Kaizhe Xu, Jiashang Hu, Laura Dang, Xiaowei Li, Hao Liu et Ambar Sarkar ont développé une application de chatbot d'assistant d'ingénierie.

Sreedhar Pratty, Kishor Kunal, Varun Tej, Sumit Jain, Sujeet Omar, Pratik P Suthar et Hanfei Sun ont développé une application de génération de scripts EDA, fourni des ensembles de données d'instructions de domaine et des critères d'évaluation.

Bonita Bhaskaran, Arjun Chaudhuri et Sanmitra Banerjee ont développé une application de synthèse et d'analyse des bogues, fourni des ensembles de données d'instructions de domaine et des références d'évaluation.

Brucek Khailany, Stuart Oberman, Sharon Clay, Sameer Halepete, Jonathan Raiman, Bryan Catanzaro, Jonah Alben et Bill Dally ont conseillé du point de vue de la recherche sur l'IA et de l'ingénierie matérielle.

Haoxing Ren a conçu et dirigé la recherche.

LES RÉFÉRENCES

[1] B. Khailany et al., « Accélérer la conception de puces avec l'apprentissage automatique », IEEE Micro, vol. 40, non. 6, p. 23-32, 2020.

[2] H. Ren et M. Fojtik, « Invited-nvcell : Standard cell layout in Advanced Technology Nodes with Reinforcement Learning », en 2021, 58e conférence ACM/IEEE Design Automation (DAC), 2021.

[3] R. Roy et al., « PrefixRL : Optimisation de circuits de préfixes parallèles utilisant l'apprentissage par renforcement profond », en 2021, 58e conférence ACM/IEEE Design Automation (DAC), 2021.

[4] W.-L. Chiang et al., « Vicuna : Un chatbot open source impressionnant gpt-4 avec une qualité chatgpt de 90 %* », mars 2023. [En ligne]. Disponible : https://lmsys.org/blog/2023-03-30-vicuna/

[5] H. Touvron et al., « Llama 2 : Fondation ouverte et modèles de chat affinés », 2023.

[6] S. Thakur et al., « Benchmarking large Language Models for Automated Verilog RTL Code Generation », dans 2023 Design, Automation & Test in Europe Conference & Exhibition (DATE), 2023, pp. 1–6.

[7] J. Blocklove et al., « Chip-chat : Défis et opportunités dans la conception de matériel conversationnel », 2023.

[8] Z. He et al., « Chateda : Un agent autonome alimenté par un grand modèle de langage pour eda », 2023.

[9] S. Bubeck et al., « Sparks of artificial general intelligence : Early experimentals with gpt-4 », 2023.

[10] S. Wu et al., « Bloombergggpt : Un grand modèle linguistique pour la finance », 2023.

[11] M. LLC. (2022) Biomedlm : un grand modèle de langage spécifique à un domaine pour les textes biomédicaux. [En ligne]. Disponible : https://www.mosaicml.com/blog/introducing-pubmed-gpt

[12] M. Liu et al., « VerilogEval : évaluation de grands modèles de langage pour la génération de code verilog », lors de la Conférence internationale IEEE/ACM sur la conception assistée par ordinateur (ICCAD), 2023.

[13] E. Nijkamp et al., « Codegen : Un grand modèle de langage ouvert pour le code avec synthèse de programme multi-tours », ICLR, 2023.

[14] S. Gururangan et al., « N'arrêtez pas la pré-formation : adaptez les modèles de langage aux domaines et aux tâches », 2020.

[15] P. Lewis et al., « Génération augmentée par récupération pour les tâches NLP à forte intensité de connaissances », 2021.

[16] EJ Hu et al., « Lora : adaptation de bas rang de grands modèles de langage », CoRR, vol. abs/2106.09685, 2021. [En ligne]. Disponible : https://arxiv.org/abs/2106.09685

[17] L. Gao et al., « La pile : un ensemble de données de 800 Go de textes divers pour la modélisation du langage. »

[18] D. Kocetkov et al., « La pile : 3 To de code source sous licence permissive », 2022.

[19] A. Kopf ¨ et al., « Conversations Openassistant – démocratiser l'alignement des modèles de langage à grande échelle », 2023.

[20] J. Wei et al., « Les modèles linguistiques affinés sont des apprenants zéro-shot », 2022.

[21] V. Sanh et al., « La formation guidée multitâche permet la généralisation des tâches sans tir », 2022.

[22] D. Hendrycks et al., « Mesurer la compréhension massive du langage multitâche », 2021.

[23] M. Chen et al., « Évaluation de grands modèles de langage formés au code », 2021.

[24] F. Koto, JH Lau et T. Baldwin, « IndoBERTweet : Un modèle linguistique pré-entraîné pour Twitter indonésien avec une initialisation efficace du vocabulaire spécifique à un domaine », dans Actes de la conférence 2021 sur les méthodes empiriques dans le traitement du langage naturel, novembre 2021. 2021, p. 10 660–10 668.

[25] O. Kuchaiev et al., « Nemo : une boîte à outils pour créer des applications d'IA à l'aide de modules neuronaux », 2019.

[26] M. Shoeybi et al., « Megatron-lm : Formation de modèles de langage de paramètres de plusieurs milliards à l'aide du parallélisme de modèles », préimpression arXiv arXiv : 1909.08053, 2019.

[27] T. Dao et al., « FlashAttention : Attention exacte rapide et efficace en mémoire avec prise en compte des IO », dans Advances in Neural Information Processing Systems, 2022. [28] A. Chowdhery et al., « Palm : Scaling modélisation du langage avec parcours », 2022.

[29] Z. Ji et al., « Enquête sur les hallucinations dans la génération du langage naturel », ACM Comput. Surv., vol. 55, non. 12 mars 2023. [En ligne]. Disponible : https://doi.org/10.1145/3571730

[30] L. Wang et al., « Intégrations de texte par pré-entraînement contrastif faiblement supervisé », préimpression arXiv arXiv :2212.03533, 2022.

[31] L. Gao et al., « Tevatron : Une boîte à outils efficace et flexible pour la récupération dense », 2022.

[32] B. Roziere et al., « Code lama : modèles de fondation ouverts pour le code », 2023.

[33] N. Reimers et I. Gurevych, « Sentence-bert : Sentence embeddings using siamese bert-networks », dans Actes de la conférence 2019 sur les méthodes empiriques dans le traitement du langage naturel. Association pour la linguistique computationnelle, 11 2019. [En ligne]. Disponible : http://arxiv.org/abs/1908.10084

[34] R. Pope et al., « Mise à l'échelle efficace de l'inférence du transformateur », 2022.

[35] RY Aminabadi et al., « Inférence Deepspeed : Activer une inférence efficace de modèles de transformateurs à une échelle sans précédent », 2022.

[36] L. Ouyang et al., « Former des modèles de langage pour suivre les instructions avec des commentaires humains », 2022.

[37] W. Xiong et al., « Mise à l'échelle efficace des modèles de fondation à long contexte », 2023.

[38] R. Taylor et al., « Galactica : Un grand modèle linguistique pour la science », 2022.

[39] A. Lewkowycz et al., « Résoudre des problèmes de raisonnement quantitatif avec des modèles linguistiques », 2022.

[40] P. Lewis et al., « Génération augmentée par récupération pour les tâches NLP à forte intensité de connaissances », 2021.

[41] S. Borgeaud et al., « Améliorer les modèles linguistiques en récupérant des milliards de jetons », 2022.

[42] S. Robertson et H. Zaragoza, « Le cadre de pertinence probabiliste : Bm25 et au-delà », Found. Tendances Inf. Retr., vol. 3, non. 4, p. 333-389, avril 2009. [En ligne]. Disponible : https://doi.org/10.1561/1500000019

[43] V. Karpukhin et al., « Récupération de passages denses pour répondre aux questions en domaine ouvert », 2020.

[44] G. Izacard et al., « Récupération d'informations denses non supervisée avec apprentissage contrastif », 2022.

[45] W. Shi et al., « Replug : modèles de langage de boîte noire augmentés par récupération », 2023.

[46] G. Izacard et al., « Few-shot Learning with Retrieval Augmented Language Models », 2022. [En ligne]. Disponible : http://arxiv.org/abs/2208.03299

[47] O. Ram et al., « Modèles de langage augmentés par récupération en contexte », 2023.

[48] S. Zhou et al., « Docprompting : Générer du code en récupérant les documents », 2023.

[49] R. Rafailov et al., « Optimisation directe des préférences : votre modèle linguistique est secrètement un modèle de récompense », 2023.

[50] Y. Dong et al., « Steerlm : Attribute conditionné sft comme alternative (orientable par l'utilisateur) à rlhf », 2023.

[51] H. Pearce, B. Tan et R. Karri, « Dave : Dériver automatiquement le verilog de l'anglais », dans Actes de l'atelier ACM/IEEE 2020 sur l'apprentissage automatique pour la CAO, ser. MLCAD'20. New York, NY, États-Unis : Association for Computing Machinery, 2020, p. 27-32. [En ligne]. Disponible : https://doi.org/10.1145/3380446.3430634

[52] « Beautiful Soup », https://www.crummy.com/software/BeautifulSoup/, consulté le 10 octobre 2023.

[53] K. Sakaguchi et al., « Winogrande : Un défi de schéma Winograd contradictoire à grande échelle », préimpression arXiv arXiv : 1907.10641, 2019.

[54] R. Zellers et al., « Hellaswag : Une machine peut-elle vraiment finir votre phrase ? dans Actes de la 57e réunion annuelle de l'Association for Computational Linguistics, 2019.

[55] P. Clark et al., « Vous pensez avoir résolu les questions-réponses ? essayez arc, le défi de raisonnement ai2 », 2018.

[56] G. Lai et al., « Race : ensemble de données de compréhension en lecture à grande échelle provenant des examens », 2017.