ChipNeMo: Domänenangepasste LLMs für den Chipentwurf: Schlussfolgerungen

von Writings, Papers and Blogs on Text Models2m2024/06/06

Zu lang; Lesen

Forscher präsentieren ChipNeMo, das durch Domänenanpassung LLMs für das Chipdesign verbessert und so eine bis zu fünffache Reduzierung der Modellgröße bei besserer Leistung erreicht.

featured image - ChipNeMo: Domänenangepasste LLMs für den Chipentwurf: Schlussfolgerungen

Autoren:

(1) Mingjie Liu, NVIDIA {Gleicher Beitrag};

(2) Teodor-Dumitru Ene, NVIDIA {Gleicher Beitrag};

(3) Robert Kirby, NVIDIA {Gleicher Beitrag};

(4) Chris Cheng, NVIDIA {Gleicher Beitrag};

(5) Nathaniel Pinckney, NVIDIA {Gleicher Beitrag};

(6) Rongjian Liang, NVIDIA {Gleicher Beitrag};

(7) Jonah Alben, NVIDIA;

(8) Himyanshu Anand, NVIDIA;

(9) Sanmitra Banerjee, NVIDIA;

(10) Ismet Bayraktaroglu, NVIDIA;

(11) Bonita Bhaskaran, NVIDIA;

(12) Bryan Catanzaro, NVIDIA;

(13) Arjun Chaudhuri, NVIDIA;

(14) Sharon Clay, NVIDIA;

(15) Bill Dally, NVIDIA;

(16) Laura Dang, NVIDIA;

(17) Parikshit Deshpande, NVIDIA;

(18) Siddhanth Dhodhi, NVIDIA;

(19) Sameer Halepete, NVIDIA;

(20) Eric Hill, NVIDIA;

(21) Jiashang Hu, NVIDIA;

(22) Sumit Jain, NVIDIA;

(23) Brucek Khailany, NVIDIA;

(24) George Kokai, NVIDIA;

(25) Kishor Kunal, NVIDIA;

(26) Xiaowei Li, NVIDIA;

(27) Charley Lind, NVIDIA;

(28) Hao Liu, NVIDIA;

(29) Stuart Oberman, NVIDIA;

(30) Sujeet Omar, NVIDIA;

(31) Sreedhar Pratty, NVIDIA;

(23) Jonathan Raiman, NVIDIA;

(33) Ambar Sarkar, NVIDIA;

(34) Zhengjiang Shao, NVIDIA;

(35) Hanfei Sun, NVIDIA;

(36) Pratik P Suthar, NVIDIA;

(37) Varun Tej, NVIDIA;

(38) Walker Turner, NVIDIA;

(39) Kaizhe Xu, NVIDIA;

(40) Haoxing Ren, NVIDIA.

Linktabelle

VIII. SCHLUSSFOLGERUNGEN

Die Autoren möchten sich bedanken bei: den NVIDIA-IT-Teams für ihre Unterstützung bei der NVBugs-Integration; dem NVIDIA-Hardware-Sicherheitsteam für ihre Unterstützung bei Sicherheitsproblemen; den NVIDIA-NeMo-Teams für ihre Unterstützung und Anleitung beim Training und der Inferenz von ChipNeMo-Modellen; den NVIDIA-Infrastrukturteams für die Unterstützung der GPU-Trainings- und Inferenzressourcen für das Projekt; den NVIDIA-Hardware-Designteams für ihre Unterstützung und Einblicke.