```html Συντάκτες: Mayank Mishra⋆, IBM Matt Stallone⋆, IBM Gaoyuan Zhang⋆, IBM Yikang Shen, IBM Aditya Prasad, IBM Adriana Meza Soria, IBM Michele Merler, IBM Parameswaran Selvam, IBM Saptha Surendran, IBM Shivdeep Singh, IBM Manish Sethi, IBM Xuan-Hong Dang, IBM Pengyuan Li, IBM Kun-Lung Wu, IBM Syed Zawad, IBM Andrew Coleman, IBM Matthew White, IBM Mark Lewis, IBM Raju Pavuluri, IBM Yan Koyfman, IBM Boris Lublinsky, IBM Maximilien de Bayser, IBM Ibrahim Abdelaziz, IBM Kinjal Basu, IBM Mayank Agarwal, IBM Yi Zhou, IBM Chris Johnson, IBM Aanchal Goyal, IBM Hima Patel, IBM Yousaf Shah, IBM Petros Zerfos, IBM Heiko Ludwig, IBM Asim Munawar, IBM Maxwell Crouse, IBM Pavan Kapanipathi, IBM Shweta Salaria, IBM Bob Calio, IBM Sophia Wen, IBM Seetharami Seelam, IBM Brian Belgodere, IBM Carlos Fonseca, IBM Amith Singhee, IBM Nirmit Desai, IBM David D. Cox, IBM Ruchir Puri†, IBM Rameswar Panda†, IBM Περίληψη Τα Μεγάλα Γλωσσικά Μοντέλα (LLMs) που εκπαιδεύονται σε κώδικα φέρνουν επανάσταση στη διαδικασία ανάπτυξης λογισμικού. Όλο και περισσότερο, τα LLMs κώδικα ενσωματώνονται σε περιβάλλοντα ανάπτυξης λογισμικού για τη βελτίωση της παραγωγικότητας των ανθρώπινων προγραμματιστών, και οι πράκτορες που βασίζονται σε LLM αρχίζουν να δείχνουν υποσχέσεις για τον αυτόνομο χειρισμό σύνθετων εργασιών. Η πραγματοποίηση του πλήρους δυναμικού των LLMs κώδικα απαιτεί ένα ευρύ φάσμα δυνατοτήτων, όπως η παραγωγή κώδικα, η διόρθωση σφαλμάτων, η εξήγηση και η τεκμηρίωση κώδικα, η συντήρηση αποθετηρίων, και πολλά άλλα. Σε αυτήν την εργασία, παρουσιάζουμε τη σειρά Granite μοντέλων αποκωδικοποιητή-μόνο για εργασίες παραγωγής κώδικα, εκπαιδευμένα με κώδικα γραμμένο σε 116 γλώσσες προγραμματισμού. Η οικογένεια μοντέλων Granite Code αποτελείται από μοντέλα που κυμαίνονται σε μέγεθος από 3 έως 34 δισεκατομμύρια παραμέτρους, κατάλληλα για εφαρμογές που κυμαίνονται από σύνθετες εργασίες εκσυγχρονισμού εφαρμογών έως περιπτώσεις χρήσης με περιορισμένη μνήμη στη συσκευή. Η αξιολόγηση σε ένα ολοκληρωμένο σύνολο εργασιών αποδεικνύει ότι τα μοντέλα Granite Code επιτυγχάνουν σταθερά κορυφαίες επιδόσεις μεταξύ των διαθέσιμων open-source LLMs κώδικα. Η οικογένεια μοντέλων Granite Code βελτιστοποιήθηκε για ροές εργασίας ανάπτυξης λογισμικού για επιχειρήσεις και αποδίδει καλά σε μια σειρά από εργασίες κωδικοποίησης (π.χ. παραγωγή, διόρθωση και εξήγηση κώδικα), καθιστώντας το ένα ευέλικτο "all around" μοντέλο κώδικα. Διαθέτουμε όλα τα μοντέλα Granite Code υπό άδεια Apache 2.0 τόσο για ερευνητική όσο και για εμπορική χρήση. https://github.com/ibm-granite/granite-code-models 1 Εισαγωγή Τις τελευταίες δεκαετίες, το λογισμικό έχει υφανθεί στην ύφανση κάθε πτυχής της κοινωνίας μας. Καθώς η ζήτηση για ανάπτυξη λογισμικού αυξάνεται, είναι πιο κρίσιμο από ποτέ να αυξηθεί η παραγωγικότητα της ανάπτυξης λογισμικού, και τα LLMs παρέχουν ένα ελπιδοφόρο μονοπάτι για την ενίσχυση των ανθρώπινων προγραμματιστών. Οι προεξέχουσες περιπτώσεις χρήσης για επιχειρήσεις για LLMs στην παραγωγικότητα ανάπτυξης λογισμικού περιλαμβάνουν την παραγωγή κώδικα, την εξήγηση κώδικα, τη διόρθωση κώδικα, την παραγωγή unit test και τεκμηρίωσης, τον εκσυγχρονισμό εφαρμογών, την ανίχνευση ευπαθειών, τη μετάφραση κώδικα, και πολλά άλλα. Τα τελευταία χρόνια έχουν σημειωθεί ραγδαίες εξελίξεις στην ικανότητα των LLMs να παράγουν και να χειρίζονται κώδικα, και σήμερα διατίθεται μια σειρά μοντέλων με εντυπωσιακές ικανότητες κωδικοποίησης. Τα μοντέλα κυμαίνονται σε μέγεθος από μερικά δισεκατομμύρια παραμέτρους (π.χ. Llama-7B (Touvron et al., 2023), Gemma-7B (Gemma-Team et al., 2024), κ.λπ.) έως εκατοντάδες δισεκατομμύρια: DBRX (Databricks), Arctic (Snowflake), Grok, Mixtral 8x22B (MistralAI), Command R+ (Cohere), και διαφέρουν στην γενικότητα της προοριζόμενης χρήσης, με ορισμένα μοντέλα να στοχεύουν στην κάλυψη μιας σειράς χρήσεων εκτός κώδικα, ενώ άλλα εστιάζουν κυρίως σε εργασίες σχετικές με τον κώδικα (π.χ. StarCoder (Li et al., 2023a; Lozhkov et al., 2024), CodeGen (Nijkamp et al., 2023), CodeLlama (Rozie`re et al., 2023), και CodeGemma (CodeGemma Team et al., 2024)). Ωστόσο, παραμένουν σημαντικά κενά στο τρέχον πεδίο των LLMs για κώδικα, ειδικά στο πλαίσιο της ανάπτυξης λογισμικού για επιχειρήσεις. Πρώτον, ενώ τα πολύ μεγάλα, γενικής χρήσης LLMs μπορούν να επιτύχουν εξαιρετική απόδοση κωδικοποίησης, το μέγεθός τους καθιστά δαπανηρή την ανάπτυξή τους. Μικρότερα μοντέλα εστιασμένα στον κώδικα ( , ; , ; , ; , ; , ) μπορούν να επιτύχουν εξαιρετική απόδοση παραγωγής κώδικα σε μικρότερη και πιο ευέλικτη μορφή, αλλά η απόδοση σε εργασίες κωδικοποίησης πέραν της παραγωγής (π.χ. διόρθωση και εξήγηση) μπορεί να υστερεί σε σχέση με την απόδοση παραγωγής κώδικα. Li et al. 2023a Lozhkov et al. 2024 Nijkamp et al. 2023 Rozie`re et al. 2023 CodeGemma Team et al. 2024 Σε πολλά εταιρικά περιβάλλοντα, η υιοθέτηση LLM κώδικα μπορεί να επιδεινωθεί περαιτέρω από παράγοντες πέραν της απόδοσης των μοντέλων. Για παράδειγμα, ακόμη και τα ανοιχτά μοντέλα συχνά μαστίζονται από έλλειψη διαφάνειας σχετικά με τις πηγές δεδομένων και τις μεθόδους επεξεργασίας δεδομένων που χρησιμοποιήθηκαν για τη δημιουργία του μοντέλου, κάτι που μπορεί να μειώσει την εμπιστοσύνη στα μοντέλα σε κρίσιμα και ρυθμιζόμενα περιβάλλοντα. Επιπλέον, οι όροι άδειας χρήσης στα σημερινά ανοιχτά LLMs μπορούν να επιβαρύνουν και να περιπλέξουν την ικανότητα μιας επιχείρησης να χρησιμοποιεί ένα μοντέλο. Εδώ, παρουσιάζουμε τα μοντέλα Granite Code, μια σειρά από ιδιαίτερα ικανά LLMs κώδικα, σχεδιασμένα για να υποστηρίζουν την ανάπτυξη λογισμικού για επιχειρήσεις σε ένα ευρύ φάσμα εργασιών κωδικοποίησης. Τα μοντέλα Granite Code έχουν δύο κύριες παραλλαγές που διαθέτουμε σε τέσσερα διαφορετικά μεγέθη (3B, 8B, 20B και 34B): βασικά μοντέλα θεμελίωσης για εργασίες σχετικές με τον κώδικα. Granite Code Base: μοντέλα παρακολούθησης οδηγιών, προσαρμοσμένα χρησιμοποιώντας έναν συνδυασμό από ζεύγη Git commits με ανθρώπινες οδηγίες και open-source συνθετικά δημιουργημένα σύνολα δεδομένων οδηγιών κώδικα. Granite Code Instruct: Τα βασικά μοντέλα της σειράς έχουν εκπαιδευτεί από την αρχή με μια στρατηγική εκπαίδευσης δύο φάσεων. Στη φάση 1, το μοντέλο μας εκπαιδεύεται σε 3 έως 4 τρισεκατομμύρια tokens που προέρχονται από 116 γλώσσες προγραμματισμού, διασφαλίζοντας ολοκληρωμένη κατανόηση των γλωσσών προγραμματισμού και της σύνταξης. Στη φάση 2, το μοντέλο μας εκπαιδεύεται περαιτέρω σε 500 δισεκατομμύρια tokens με ένα προσεκτικά σχεδιασμένο μίγμα δεδομένων υψηλής ποιότητας από τομείς κώδικα και φυσικής γλώσσας για να βελτιωθεί η ικανότητα του μοντέλου να συλλογίζεται. Χρησιμοποιούμε το αντικειμενικό μοντελοποίησης γλώσσας χωρίς επίβλεψη για την εκπαίδευση των βασικών μοντέλων και στις δύο φάσεις εκπαίδευσης. Τα μοντέλα instruct προκύπτουν από περαιτέρω fine-tuning των παραπάνω εκπαιδευμένων βασικών μοντέλων σε έναν συνδυασμό μιας φιλτραρισμένης παραλλαγής του CommitPack ( , ), συνόλων δεδομένων παρακολούθησης οδηγιών φυσικής γλώσσας (OASST ( , ), HelpSteer ( , )) και open-source συνόλων δεδομένων μαθηματικών (MathInstruct ( , ) και MetaMathQA ( , )), συμπεριλαμβανομένων συνθετικά παραγόμενων συνόλων δεδομένων κώδικα για τη βελτίωση της παρακολούθησης οδηγιών και των ικανοτήτων συλλογισμού. Muennighoff et al. 2023 Ko¨ pf et al. 2023 Wang et al. 2023 Yue et al. 2023 Yu et al. 2023 Διεξάγουμε εκτενείς αξιολογήσεις των LLMs κώδικά μας σε ένα ολοκληρωμένο σύνολο benchmarks, συμπεριλαμβανομένων των HumanEvalPack ( , ), MBPP(+) ( , ; , ), RepoBench ( , ), ReCode ( , ), και άλλα. Αυτό το σύνολο benchmarks περιλαμβάνει πολλούς διαφορετικούς τύπους εργασιών κωδικοποίησης πέραν της απλής σύνθεσης κώδικα στην Python, π.χ., διόρθωση κώδικα, εξήγηση κώδικα, επεξεργασία κώδικα, μετάφραση κώδικα, κ.λπ., σε πολλές κύριες γλώσσες προγραμματισμού (Python, JavaScript, Java, Go, C++, Rust, κ.λπ.). Muennighoff et al. 2023 Austin et al. 2021 Liu et al. 2023a Liu et al. 2023b Wang et al. 2022 Τα ευρήματά μας αποκαλύπτουν ότι μεταξύ των open-source μοντέλων, τα μοντέλα Granite Code εμφανίζουν συνολικά πολύ ισχυρή απόδοση σε όλα τα μεγέθη μοντέλων και benchmarks (συχνά ξεπερνώντας άλλα open-source μοντέλα κώδικα που είναι διπλάσια σε μέγεθος σε σύγκριση με το Granite). Ως ένδειξη, το σχήμα (επάνω) δείχνει μια σύγκριση του Granite-8B-Code-Base με άλλα open-source βασικά LLMs κώδικα, συμπεριλαμβανομένων πρόσφατων υψηλών επιδόσεων γενικής χρήσης βασικών LLMs όπως το Mistral ( , ) και το LLama-3 ( , ) στο HumanEvalPack ( , ). Ενώ το CodeGemma και το StarCoder2 αποδίδουν λογικά στην παραγωγή κώδικα, αποδίδουν σημαντικά χειρότερα στις παραλλαγές HumanEvalPack για διόρθωση και εξήγηση κώδικα. Κατά μέσο όρο, το Granite-8B-Code-Base ξεπερνά το πιο ανταγωνιστικό μοντέλο CodeGemma-8B κατά σχεδόν 12 μονάδες στο HumanEvalPack (33.2% έναντι 21.3%), παρά το γεγονός ότι εκπαιδεύτηκε σε σημαντικά λιγότερο αριθμό tokens (4.5T έναντι 7.5T tokens). Εκτός από τα βασικά μοντέλα, οι παραλλαγές instruction tuned των μοντέλων Granite Code μας εμφανίζουν επίσης ισχυρή απόδοση στο HumanEvalPack, ξεπερνώντας άλλα open-source (κώδικα) μοντέλα instruction, αποδεικνύοντας τα οφέλη σε ένα ευρύτερο σύνολο εργασιών κωδικοποίησης με οδηγίες φυσικής γλώσσας (βλέπε σχήμα (κάτω)). 1 Jiang et al. 2023b AI@Meta 2024 Muennighoff et al. 2023 1 Επιπλέον, καθώς ο συλλογισμός είναι κρίσιμος για την επίλυση σύνθετων ερωτήσεων και εργασιών, δοκιμάζουμε επίσης το μοντέλο Granite-8B-Code-Base μας σε έξι μαθηματικά benchmarks, συμπεριλαμβανομένων των MATH ( , ), GSM8K ( , ) και επίλυση προβλημάτων με πρόσβαση σε υπολογιστικά εργαλεία, όπου το μοντέλο Granite 8B μας επιτυγχάνει καλύτερη απόδοση σε σύγκριση με τα περισσότερα state-of-the-art LLMs 7B ή 8B. Για παράδειγμα, το Granite-8B-Code-Base ξεπερνά το Llama-3-8B-Base κατά ~12 μονάδες στο GSM8K και ~6 μονάδες στο MATH (βλέπε πίνακα ). Cobbe et al. 2021 Cobbe et al. 2021 15 Τα βασικά πλεονεκτήματα των μοντέλων Granite Code περιλαμβάνουν: : Τα μοντέλα Granite Code επιτυγχάνουν ανταγωνιστική ή κορυφαία απόδοση σε διάφορους τύπους εργασιών σχετικών με τον κώδικα, συμπεριλαμβανομένης της παραγωγής κώδικα, της εξήγησης, της διόρθωσης, της επεξεργασίας, της μετάφρασης, κ.λπ., αποδεικνύοντας την ικανότητά τους να επιλύουν ποικίλες εργασίες κωδικοποίησης. All-rounder Code LLM : Όλα τα μοντέλα μας εκπαιδεύονται σε δεδομένα με άδεια χρήσης που συλλέγονται σύμφωνα με τις αρχές ηθικής της Τεχνητής Νοημοσύνης της IBM και καθοδηγούνται από την Ομάδα Νομικών Υποθέσεων της IBM για αξιόπιστη χρήση σε επιχειρήσεις. Όλα τα μοντέλα Granite Code διατίθενται υπό την άδεια Apache 2.0. Trustworthy Enterprise-Grade LLM 1 Περιγράφουμε ολόκληρη τη διαδικασία συλλογής, φιλτραρίσματος και προεπεξεργασίας δεδομένων στην ενότητα . Η ενότητα περιγράφει τις λεπτομέρειες της αρχιτεκτονικής του μοντέλου, ακολουθούμενη από τις λεπτομέρειες εκπαίδευσης στην Ενότητα . Η ενότητα παρέχει τις λεπτομέρειες σχετικά με το instruction tuning, και η ενότητα περιγράφει τα πειράματα και τα αποτελέσματα συγκρίνοντας τα μοντέλα Granite Code με άλλα open-source LLMs. 2 3 4 5 6 2 Συλλογή Δεδομένων Σε αυτήν την ενότητα, περιγράφουμε τη διαδικασία crawling και φιλτραρίσματος (Ενότητα ), deduplication (Ενότητα ), φιλτραρίσματος HAP/PII (Ενότητα ) που χρησιμοποιήθηκαν για την προετοιμασία των δεδομένων κώδικα για την εκπαίδευση του μοντέλου. Παρέχουμε επίσης μια επισκόπηση των δεδομένων φυσικής γλώσσας υψηλής ποιότητας που χρησιμοποιήθηκαν για τη βελτίωση της κατανόησης της γλώσσας και των δεξιοτήτων μαθηματικού συλλογισμού του μοντέλου. 2.1 2.2 2.3 2.1 Crawling και Φιλτράρισμα Δεδομένων Τα δεδομένα προ-εκπαίδευσης κώδικα προήλθαν από έναν συνδυασμό δημόσια διαθέσιμων συνόλων δεδομένων όπως το Github Code Clean , το StarCoderdata , και επιπλέον δημόσια αποθετήρια κώδικα και θέματα από το GitHub. Φιλτράρουμε τα ακατέργαστα δεδομένα για να διατηρήσουμε μια λίστα 116 γλωσσών προγραμματισμού από τις 300+ γλώσσες, όπως αναφέρεται στο Παράρτημα . Η ανάθεση δεδομένων σε γλώσσες προγραμματισμού γίνεται αποκλειστικά με βάση την επέκταση του αρχείου, παρόμοια με το StarCoder ( , ). Μετά το φιλτράρισμα γλωσσών, εφαρμόζουμε τέσσερις βασικούς κανόνες φιλτραρίσματος για να εξαλείψουμε κώδικα χαμηλότερης ποιότητας ( , ): (1) αφαίρεση αρχείων με λιγότερο από 25% αλφαβητικούς χαρακτήρες, (2) εκτός από τη γλώσσα XSLT, φιλτράρισμα αρχείων όπου η συμβολοσειρά "<?xml version=” εμφανίζεται μέσα στους πρώτους 100 χαρακτήρες, (3) για αρχεία HTML, διατήρηση μόνο των αρχείων όπου το ορατό κείμενο αποτελεί τουλάχιστον το 20% του κώδικα HTML και έχει ελάχιστο μήκος 100 χαρακτήρες, (4) για αρχεία JSON και YAML, διατήρηση μόνο των αρχείων που έχουν έναν αριθμό χαρακτήρων από 50 έως 5000 χαρακτήρες. Επίσης, φιλτράρουμε τα θέματα του GitHub χρησιμοποιώντας ένα σύνολο μετρικών ποιότητας που περιλαμβάνει την αφαίρεση αυτόματα παραγόμενου κειμένου, το φιλτράρισμα μη αγγλικών θεμάτων, την εξαίρεση σχολίων από bots, και τη χρήση του αριθμού των χρηστών που συμμετέχουν στη συζήτηση ως δείκτη ποιότητας. Επιπλέον, επισημαίνουμε κάθε αρχείο κώδικα με πληροφορίες άδειας χρήσης που σχετίζονται με το αντίστοιχο αποθετήριο, που βρέθηκαν μέσω των API του Github, και διατηρούμε μόνο αρχεία με άδειες χρήσης που επιτρέπουν την περαιτέρω χρήση για την εκπαίδευση του μοντέλου. 2 3 Α Li et al. 2023a Li et al. 2023a 2.2 Ακριβής και Ασαφής Αφαίρεση Διπλοτύπων Υιοθετούμε μια επιθετική στρατηγική αφαίρεσης διπλοτύπων, συμπεριλαμβανομένης τόσο της ακριβούς όσο και της ασαφούς αφαίρεσης διπλοτύπων, για να αφαιρέσουμε έγγραφα που έχουν (σχεδόν) πανομοιότυπο περιεχόμενο κώδικα στο σύνολο εκπαίδευσης. Για την ακριβή αφαίρεση διπλοτύπων, πρώτα υπολογίζουμε το hash SHA256 στο περιεχόμενο του εγγράφου και αφαιρούμε εγγραφές με πανομοιότυπα hashes. Μετά την ακριβή αφαίρεση διπλοτύπων, εφαρμόζουμε ασαφή αφαίρεση διπλοτύπων με στόχο την αφαίρεση αρχείων κώδικα που ενδέχεται να έχουν μικρές παραλλαγές και έτσι να απο-μεροληπτεί περαιτέρω τα δεδομένα. Εφαρμόζουμε μια μέθοδο δύο βημάτων για αυτό: (1) υπολογίζουμε τα MinHashes όλων των εγγράφων και στη συνέχεια χρησιμοποιούμε το Locally Sensitive Hashing (LSH) για να ομαδοποιήσουμε έγγραφα με βάση τα MinHash fingerprints τους, (2) μετρούμε την ομοιότητα Jaccard μεταξύ κάθε ζεύγους εγγράφων στην ίδια ομάδα και επισημαίνουμε έγγραφα εκτός ενός ως διπλότυπα με βάση ένα όριο ομοιότητας 0.7. Εφαρμόζουμε αυτήν τη διαδικασία σχεδόν-αφαίρεσης διπλοτύπων σε όλες τις γλώσσες προγραμματισμού, συμπεριλαμβανομένων των θεμάτων του GitHub, για να βελτιώσουμε τον πλούτο και την ποικιλομορφία του συνόλου δεδομένων εκπαίδευσης. 2.3 Φιλτράρισμα HAP, PII, Malware Για να μειώσουμε την πιθανότητα παραγωγής ύβρεων, κατάχρησης ή βωμολοχίας (HAP) από τα μοντέλα, καταβάλλουμε επιμελείς προσπάθειες για να φιλτράρουμε το περιεχόμενο HAP από το σύνολο εκπαίδευσης. Πρώτα δημιουργούμε ένα λεξικό λέξεων-κλειδιών HAP και στη συνέχεια επισημαίνουμε κάθε έγγραφο κώδικα με τον αριθμό των εμφανίσεων τέτοιων λέξεων-κλειδιών στο περιεχόμενο, συμπεριλαμβανομένων των σχολίων. Φιλτράρουμε έγγραφα που υπερβαίνουν το όριο HAP, το οποίο υπολογίζεται βάσει ανάλυσης κατανομής, καθώς και χειροκίνητης επιθεώρησης αρχείων κώδικα. Επιπλέον, για την προστασία της ιδιωτικότητας, ακολουθούμε το StarCoder ( , ) και καταβάλλουμε επιμελείς προσπάθειες για την απόκρυψη Προσωπικά Αναγνωρίσιμων Πληροφοριών (PII) από το σύνολο εκπαίδευσης. Συγκεκριμένα, χρησιμοποιούμε το μοντέλο StarPII για να ανιχνεύσουμε διευθύνσεις IP, κλειδιά, διευθύνσεις email, ονόματα, ονόματα χρήστη και κωδικούς πρόσβασης που βρίσκονται στο περιεχόμενο. Το βήμα απόκρυψης PII αντικαθιστά το κείμενο PII με τα αντίστοιχα tokens NAME , EMAIL , KEY , PASSWORD και αλλάζει τη διεύθυνση IP με μια συνθετικά παραγόμενη διεύθυνση IP, όπως στο Li et al. (2023a). Επίσης, σαρώνουμε τα σύνολα δεδομένων μας χρησιμοποιώντας για να εντοπίσουμε και να αφαιρέσουμε περιπτώσεις malware στον πηγαίο κώδικα. Li et al. 2023a 4 2.4 Σύνολα Δεδομένων Φυσικής Γλώσσας Εκτός από τη συλλογή δεδομένων κώδικα για την εκπαίδευση μοντέλων, επιμελούμαστε διάφορα δημόσια διαθέσιμα σύνολα δεδομένων φυσικής γλώσσας υψηλής ποιότητας για τη βελτίωση της ευχέρειας του μοντέλου στην κατανόηση της γλώσσας και τις μαθηματικές ικανότητες συλλογισμού. Αντιπροσωπευτικά σύνολα δεδομένων υπό αυτήν την κατηγορία περιλαμβάνουν έγγραφα ιστού (Stackexchange, CommonCrawl), μαθηματικά κείμενα ιστού (OpenWeb-Math; ( ), StackMathQA; ( )), ακαδημαϊκά κείμενα (Arxiv, Wikipedia), και σύνολα δεδομένων instruction tuning (FLAN; ( ), HelpSteer ( , )). Δεν αφαιρούμε διπλότυπα από αυτά τα ήδη προ-επεξεργασμένα σύνολα δεδομένων φυσικής γλώσσας. Paster et al. 2023 Zhang 2024 Longpre et al. 2023 Wang et al. 2023 3 Αρχιτεκτονική Μοντέλου Εκπαιδεύουμε μια σειρά από μοντέλα κώδικα διαφόρων μεγεθών βασισμένα στην αρχιτεκτονική αποκωδικοποιητή transformer ( , ). Οι υπερπαράμετροι του μοντέλου για αυτά τα μοντέλα δίνονται στον Πίνακα . Για όλες τις αρχιτεκτονικές μοντέλων, χρησιμοποιούμε pre-normalization ( , ): κανονικοποίηση που εφαρμόζεται στην είσοδο των μπλοκ attention και MLP. Vaswani et al. 2017 1 Xiong et al. 2020 : Το μικρότερο μοντέλο στην οικογένεια μοντέλων Granite-code εκπαιδεύεται με RoPE embedding ( , ) και Multi-Head Attention ( , ). Αυτό το μοντέλο χρησιμοποιεί τη συνάρτηση ενεργοποίησης swish ( , ) με GLU ( , ) για το MLP, επίσης γνωστό ως swiglu. Για κανονικοποίηση, χρησιμοποιούμε RMSNorm ( , ) καθώς είναι υπολογιστικά πιο αποδοτικό από το LayerNorm ( , ). Το μοντέλο 3B εκπαιδεύεται με μήκος περιβάλλοντος 2048 tokens. 3B Su et al. 2023 Vaswani et al. 2017 Ramachandran et al. 2017 Shazeer 2020 Zhang & Sennrich 2019 Ba et al. 2016 : Το μοντέλο 8B έχει παρόμοια αρχιτεκτονική με το μοντέλο 3B, με τη διαφορά της χρήσης Grouped-Query Attention (GQA) ( , ). Η χρήση GQA προσφέρει καλύτερη ισορροπία μεταξύ της απόδοσης του μοντέλου και της αποδοτικότητας της εξαγωγής συμπερασμάτων σε αυτήν την κλίμακα. Εκπαιδεύουμε το μοντέλο 8B με μήκος περιβάλλοντος 4096 tokens. 8B Ainslie et al. 2023 : Το μοντέλο κώδικα 20B εκπαιδεύεται με απόλυτα positional embeddings που μαθαίνονται. Χρησιμοποιούμε Multi-Query Attention ( 20B Shazeer
