Auteurs:  (1) Mingjie Liu, NVIDIA {Contribution égale} ;  (2) Teodor-Dumitru Ene, NVIDIA {Contribution égale} ;  (3) Robert Kirby, NVIDIA {Contribution égale} ;  (4) Chris Cheng, NVIDIA {Contribution égale} ;  (5) Nathaniel Pinckney, NVIDIA {Contribution égale} ;  (6) Rongjian Liang, NVIDIA {Contribution égale} ;  (7) Jonah Alben, NVIDIA ;  (8) Himyanshu Anand, NVIDIA ;  (9) Sanmitra Banerjee, NVIDIA ;  (10) Ismet Bayraktaroglu, NVIDIA ;  (11) Bonita Bhaskaran, NVIDIA ;  (12) Bryan Catanzaro, NVIDIA ;  (13) Arjun Chaudhuri, NVIDIA ;  (14) Sharon Clay, NVIDIA ;  (15) Bill Dally, NVIDIA ;  (16) Laura Dang, NVIDIA ;  (17) Parikshit Deshpande, NVIDIA ;  (18) Siddhanth Dhodhi, NVIDIA ;  (19) Sameer Halepete, NVIDIA ;  (20) Eric Hill, NVIDIA ;  (21) Jiashang Hu, NVIDIA ;  (22) Sumit Jain, NVIDIA ;  (23) Brucek Khailany, NVIDIA ;  (24) George Kokai, NVIDIA ;  (25) Kishor Kunal, NVIDIA ;  (26) Xiaowei Li, NVIDIA ;  (27) Charley Lind, NVIDIA ;  (28) Hao Liu, NVIDIA ;  (29) Stuart Oberman, NVIDIA ;  (30) Sujeet Omar, NVIDIA ;  (31) Sreedhar Pratty, NVIDIA ;  (23) Jonathan Raiman, NVIDIA ;  (33) Ambar Sarkar, NVIDIA ;  (34) Zhengjiang Shao, NVIDIA ;  (35) Hanfei Sun, NVIDIA ;  (36) Pratik P. Suthar, NVIDIA ;  (37) Varun Tej, NVIDIA ;  (38) Walker Turner, NVIDIA ;  (39) Kaizhe Xu, NVIDIA ;  (40) Haoxing Ren, NVIDIA.  Tableau des liens   Résumé et introduction   Base de données   Méthodes d'adaptation de domaine ChipNemo   Candidatures LLM   Évaluations   Discussion   Travaux connexes   Conclusions   Remerciements, contributions et références   annexe  IX. REMERCIEMENTS  Les auteurs souhaitent remercier : les équipes informatiques de NVIDIA pour leur soutien sur l'intégration de NVBugs ; L'équipe NVIDIA Hardware Security pour son assistance sur les problèmes de sécurité ; Les équipes NVIDIA NeMo pour leur soutien et leurs conseils sur la formation et l'inférence des modèles ChipNeMo ; Les équipes d'infrastructure NVIDIA pour prendre en charge les ressources de formation et d'inférence GPU pour le projet ; Les équipes de conception de matériel NVIDIA pour leur soutien et leurs connaissances.  X.COTISATIONS    a dispensé une formation sur les modèles DAPT et SFT. Mingjie Liu    ont développé une infrastructure d'inférence et d'évaluation d'applications. Teodor-Dumitru Ene et Robert Kirby    a développé le framework RAG. Chris Cheng    a collecté et préparé des ensembles de données pour la formation. Nathaniel Pinckney    a développé des tokeniseurs personnalisés. Rongjian Liang    ont développé une référence générale en matière de connaissances en matière de conception de circuits. Walker Turner, Charley Lind et George Kokai    ont conçu un chatbot assistant d'ingénierie, fourni des ensembles de données d'instructions de domaine, des références d'évaluation et mené une évaluation. Siddhanth Dhodhi, Ismet Bayraktaroglu, Himyanshu Anand et Eric Hill    ont développé une application de chatbot d'assistant d'ingénierie. Parikshit Deshpande, Zhengjiang Shao, Kaizhe Xu, Jiashang Hu, Laura Dang, Xiaowei Li, Hao Liu et Ambar Sarkar    ont développé une application de génération de scripts EDA, fourni des ensembles de données d'instructions de domaine et des critères d'évaluation. Sreedhar Pratty, Kishor Kunal, Varun Tej, Sumit Jain, Sujeet Omar, Pratik P Suthar et Hanfei Sun    ont développé une application de synthèse et d'analyse des bogues, fourni des ensembles de données d'instructions de domaine et des références d'évaluation. Bonita Bhaskaran, Arjun Chaudhuri et Sanmitra Banerjee    ont conseillé du point de vue de la recherche sur l'IA et de l'ingénierie matérielle. Brucek Khailany, Stuart Oberman, Sharon Clay, Sameer Halepete, Jonathan Raiman, Bryan Catanzaro, Jonah Alben et Bill Dally    a conçu et dirigé la recherche. Haoxing Ren  LES RÉFÉRENCES  [1] B. Khailany et al., « Accélérer la conception de puces avec l'apprentissage automatique », IEEE Micro, vol. 40, non. 6, p. 23-32, 2020.  [2] H. Ren et M. Fojtik, « Invited-nvcell : Standard cell layout in Advanced Technology Nodes with Reinforcement Learning », en 2021, 58e conférence ACM/IEEE Design Automation (DAC), 2021.  [3] R. Roy et al., « PrefixRL : Optimisation de circuits de préfixes parallèles utilisant l'apprentissage par renforcement profond », en 2021, 58e conférence ACM/IEEE Design Automation (DAC), 2021.  [4] W.-L. Chiang et al., « Vicuna : Un chatbot open source impressionnant gpt-4 avec une qualité chatgpt de 90 %* », mars 2023. [En ligne]. Disponible : https://lmsys.org/blog/2023-03-30-vicuna/  [5] H. Touvron et al., « Llama 2 : Fondation ouverte et modèles de chat affinés », 2023.  [6] S. Thakur et al., « Benchmarking large Language Models for Automated Verilog RTL Code Generation », dans 2023 Design, Automation & Test in Europe Conference & Exhibition (DATE), 2023, pp. 1–6.  [7] J. Blocklove et al., « Chip-chat : Défis et opportunités dans la conception de matériel conversationnel », 2023.  [8] Z. He et al., « Chateda : Un agent autonome alimenté par un grand modèle de langage pour eda », 2023.  [9] S. Bubeck et al., « Sparks of artificial general intelligence : Early experimentals with gpt-4 », 2023.  [10] S. Wu et al., « Bloombergggpt : Un grand modèle linguistique pour la finance », 2023.  [11] M. LLC. (2022) Biomedlm : un grand modèle de langage spécifique à un domaine pour les textes biomédicaux. [En ligne]. Disponible : https://www.mosaicml.com/blog/introducing-pubmed-gpt  [12] M. Liu et al., « VerilogEval : évaluation de grands modèles de langage pour la génération de code verilog », lors de la Conférence internationale IEEE/ACM sur la conception assistée par ordinateur (ICCAD), 2023.  [13] E. Nijkamp et al., « Codegen : Un grand modèle de langage ouvert pour le code avec synthèse de programme multi-tours », ICLR, 2023.  [14] S. Gururangan et al., « N'arrêtez pas la pré-formation : adaptez les modèles de langage aux domaines et aux tâches », 2020.  [15] P. Lewis et al., « Génération augmentée par récupération pour les tâches NLP à forte intensité de connaissances », 2021.  [16] EJ Hu et al., « Lora : adaptation de bas rang de grands modèles de langage », CoRR, vol. abs/2106.09685, 2021. [En ligne]. Disponible : https://arxiv.org/abs/2106.09685  [17] L. Gao et al., « La pile : un ensemble de données de 800 Go de textes divers pour la modélisation du langage. »  [18] D. Kocetkov et al., « La pile : 3 To de code source sous licence permissive », 2022.  [19] A. Kopf ¨ et al., « Conversations Openassistant – démocratiser l'alignement des modèles de langage à grande échelle », 2023.  [20] J. Wei et al., « Les modèles linguistiques affinés sont des apprenants zéro-shot », 2022.  [21] V. Sanh et al., « La formation guidée multitâche permet la généralisation des tâches sans tir », 2022.  [22] D. Hendrycks et al., « Mesurer la compréhension massive du langage multitâche », 2021.  [23] M. Chen et al., « Évaluation de grands modèles de langage formés au code », 2021.  [24] F. Koto, JH Lau et T. Baldwin, « IndoBERTweet : Un modèle linguistique pré-entraîné pour Twitter indonésien avec une initialisation efficace du vocabulaire spécifique à un domaine », dans Actes de la conférence 2021 sur les méthodes empiriques dans le traitement du langage naturel, novembre 2021. 2021, p. 10 660–10 668.  [25] O. Kuchaiev et al., « Nemo : une boîte à outils pour créer des applications d'IA à l'aide de modules neuronaux », 2019.  [26] M. Shoeybi et al., « Megatron-lm : Formation de modèles de langage de paramètres de plusieurs milliards à l'aide du parallélisme de modèles », préimpression arXiv arXiv : 1909.08053, 2019.  [27] T. Dao et al., « FlashAttention : Attention exacte rapide et efficace en mémoire avec prise en compte des IO », dans Advances in Neural Information Processing Systems, 2022. [28] A. Chowdhery et al., « Palm : Scaling modélisation du langage avec parcours », 2022.  [29] Z. Ji et al., « Enquête sur les hallucinations dans la génération du langage naturel », ACM Comput. Surv., vol. 55, non. 12 mars 2023. [En ligne]. Disponible : https://doi.org/10.1145/3571730  [30] L. Wang et al., « Intégrations de texte par pré-entraînement contrastif faiblement supervisé », préimpression arXiv arXiv :2212.03533, 2022.  [31] L. Gao et al., « Tevatron : Une boîte à outils efficace et flexible pour la récupération dense », 2022.  [32] B. Roziere et al., « Code lama : modèles de fondation ouverts pour le code », 2023.  [33] N. Reimers et I. Gurevych, « Sentence-bert : Sentence embeddings using siamese bert-networks », dans Actes de la conférence 2019 sur les méthodes empiriques dans le traitement du langage naturel. Association pour la linguistique computationnelle, 11 2019. [En ligne]. Disponible : http://arxiv.org/abs/1908.10084  [34] R. Pope et al., « Mise à l'échelle efficace de l'inférence du transformateur », 2022.  [35] RY Aminabadi et al., « Inférence Deepspeed : Activer une inférence efficace de modèles de transformateurs à une échelle sans précédent », 2022.  [36] L. Ouyang et al., « Former des modèles de langage pour suivre les instructions avec des commentaires humains », 2022.  [37] W. Xiong et al., « Mise à l'échelle efficace des modèles de fondation à long contexte », 2023.  [38] R. Taylor et al., « Galactica : Un grand modèle linguistique pour la science », 2022.  [39] A. Lewkowycz et al., « Résoudre des problèmes de raisonnement quantitatif avec des modèles linguistiques », 2022.  [40] P. Lewis et al., « Génération augmentée par récupération pour les tâches NLP à forte intensité de connaissances », 2021.  [41] S. Borgeaud et al., « Améliorer les modèles linguistiques en récupérant des milliards de jetons », 2022.  [42] S. Robertson et H. Zaragoza, « Le cadre de pertinence probabiliste : Bm25 et au-delà », Found. Tendances Inf. Retr., vol. 3, non. 4, p. 333-389, avril 2009. [En ligne]. Disponible : https://doi.org/10.1561/1500000019  [43] V. Karpukhin et al., « Récupération de passages denses pour répondre aux questions en domaine ouvert », 2020.  [44] G. Izacard et al., « Récupération d'informations denses non supervisée avec apprentissage contrastif », 2022.  [45] W. Shi et al., « Replug : modèles de langage de boîte noire augmentés par récupération », 2023.  [46] G. Izacard et al., « Few-shot Learning with Retrieval Augmented Language Models », 2022. [En ligne]. Disponible : http://arxiv.org/abs/2208.03299  [47] O. Ram et al., « Modèles de langage augmentés par récupération en contexte », 2023.  [48] S. Zhou et al., « Docprompting : Générer du code en récupérant les documents », 2023.  [49] R. Rafailov et al., « Optimisation directe des préférences : votre modèle linguistique est secrètement un modèle de récompense », 2023.  [50] Y. Dong et al., « Steerlm : Attribute conditionné sft comme alternative (orientable par l'utilisateur) à rlhf », 2023.  [51] H. Pearce, B. Tan et R. Karri, « Dave : Dériver automatiquement le verilog de l'anglais », dans Actes de l'atelier ACM/IEEE 2020 sur l'apprentissage automatique pour la CAO, ser. MLCAD'20. New York, NY, États-Unis : Association for Computing Machinery, 2020, p. 27-32. [En ligne]. Disponible : https://doi.org/10.1145/3380446.3430634  [52] « Beautiful Soup », https://www.crummy.com/software/BeautifulSoup/, consulté le 10 octobre 2023.  [53] K. Sakaguchi et al., « Winogrande : Un défi de schéma Winograd contradictoire à grande échelle », préimpression arXiv arXiv : 1907.10641, 2019.  [54] R. Zellers et al., « Hellaswag : Une machine peut-elle vraiment finir votre phrase ? dans Actes de la 57e réunion annuelle de l'Association for Computational Linguistics, 2019.  [55] P. Clark et al., « Vous pensez avoir résolu les questions-réponses ? essayez arc, le défi de raisonnement ai2 », 2018.  [56] G. Lai et al., « Race : ensemble de données de compréhension en lecture à grande échelle provenant des examens », 2017.  Cet article est   sous licence CC 4.0. disponible sur arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Boost your HackerNoon story @ $159.99! 🚀

ChipNeMo : LLM adaptés au domaine pour la conception de puces : remerciements, contributions et références

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Boostez votre productivité avec ces 18 outils de développement 🚀🔥

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Boostez votre productivité avec ces 18 outils de développement 🚀🔥

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps