لیکوالان: می ین ک میشرا⋆، IBM میټ سټالون⋆، IBM ګاويوان ژیاو⋆، IBM ییکان شین، IBM اډیټیا پرساد، IBM اډریانا میزا سوریا، IBM میشل میرلر، IBM پارامیسورن سیلم، IBM سپتا سوریندران، IBM شیفدیپ سینګ، IBM منیش سیتی، IBM ژوان-هونګ ډانګ، IBM پینګیوان لي، IBM کن-لونګ وو، IBM سید زواد، IBM اندریو کولمن، IBM میتیو وایټ، IBM مارک لیوس، IBM راجو پاولوري، IBM یان کوفمن، IBM بوریس لوبلینسکي، IBM ماکسیملین دی بایسر، IBM ابراهیم عبدالعزیز، IBM کنجال باسو، IBM می ین ک اګروال، IBM یي ژو، IBM کریس جانسن، IBM انچل ګویل، IBM هیما پټیل، IBM یوسف شاه، IBM پتروس زیرفوس، IBM هیکو لوډویګ، IBM عاصم منور، IBM مکسویل کرووس، IBM پاوان کاپانیپتي، IBM شوتا سالاریا، IBM باب کلیو، IBM صوفیه وین، IBM سیترامی سیلم، IBM برین بیلګودیر، IBM کارلوس فونسیکا، IBM ا میت سینګی، IBM نرمیت ډیسای، IBM ډیویډ ډي. کوکس، IBM روچیر پوري†، IBM رامسوار پانډا†، IBM لنډیز د کوډ پر روزل شوي لویو ژباني ماډلونو (LLMs) د سافټویر پرمختیا پروسې ته انقلاب راوړي. په زیاتیدونکي توګه، د کوډ LLMs د انساني پروګرامرانو تولید زیاتولو لپاره د سافټویر پرمختیا چاپیریال کې مدغم شوي، او د LLM پر اساس اجنټان په خپلواکه توګه د پیچلو دندو اداره کولو لپاره ژمنې ښودلو پیل کوي. د کوډ LLMs بشپړ ظرفیت ترلاسه کولو لپاره پراخه وړتیاوې ته اړتیا لري، په شمول د کوډ تولید، بګ فکس کول، د کوډ تشریح کول او مستند کول، د ذخیره کولو ساتل، او نور. پدې کار کې، موږ د کوډ لپاره د ګرانیټ لړۍ د ډیکوډر-یوازې کوډ ماډلونه معرفي کوو، چې په 116 پروګرامینګ ژبو کې د کوډ لیکل شوي. د ګرانیټ کوډ ماډل کورنۍ له 3 څخه تر 34 ملیارد پیرامیټرو پورې ماډلونه لري، چې د پیچلو غوښتنلیکونو عصري کولو څخه نیولې تر پرمختللو حافظې محدود کارونې قضیو پورې د غوښتنلیکونو لپاره مناسب دي. د دندو په پراخه سیټ کې ارزونه ښیې چې ګرانیټ کوډ ماډلونه په دوامداره توګه د شته خلاصې سرچینې کوډ LLMs په مینځ کې دولتي-هنري فعالیت ته رسي. د ګرانیټ کوډ ماډل کورنۍ د تصدۍ سافټویر پرمختیا ورک فلوز لپاره غوره شوې او د کوډ دندو په پراخه لړۍ کې ښه ترسره کوي (د مثال په توګه ، د کوډ تولید ، فکس کول او تشریح کول) ، دا یو متنوع "ټول شاوخوا" کوډ ماډل جوړوي. موږ زموږ ټول ګرانیټ کوډ ماډلونه د څیړنې او سوداګریز کارونې لپاره د اپاچی 2.0 جواز لاندې خپروو. https://github.com/ibm-granite/granite-code-models 1 معرفي په تیرو لسیزو کې، سافټویر زموږ د ټولنې په هره برخه کې د فابریکې په څیر اوبدل شوی. لکه څنګه چې د سافټویر پراختیا غوښتنه لوړیږي، د سافټویر پراختیا تولید زیاتول خورا مهم دي، او LLMs د انساني پروګرامرانو د لوړولو لپاره ژمن لاره چمتو کوي. د سافټویر پراختیا په تولید کې د LLMs برجسته سوداګریز کارونې قضیې د کوډ تولید، کوډ تشریح، کوډ فکس کول، د واحد ازموینې او سند تولید، غوښتنلیک عصري کول، د زیان مننې کشف، د کوډ ژباړه، او نور شامل دي. په وروستیو کلونو کې د LLMs د کوډ تولید او اداره کولو وړتیا کې ګړندی پرمختګ لیدل شوی، او د اغیزمن کوډ وړتیاو سره ماډلونه نن ورځ شتون لري. ماډلونه د واحد-اعدادو ملیاردونو پیرامیټرو (د مثال په توګه Llama-7B (Touvron et al., 2023)، Gemma-7B (Gemma-Team et al., 2024)، او نور) څخه تر سلګونو ملیاردونو پورې دي: DBRX (Databricks)، Arctic (Snowflake)، Grok، Mixtral 8x22B (MistralAI)، Command R+ (Cohere)، او د موخې کارونې د عمومیت له مخې توپیر لري، ځینې ماډلونه د کوډ څخه بهر د پراخو کارونو پوښلو په نیت لري، پداسې حال کې چې نور په لومړي سر کې د کوډ پورې اړوند کارونو تمرکز کوي (د مثال په توګه ، StarCoder (Li et al., 2023a; Lozhkov et al., 2024)، CodeGen (Nijkamp et al., 2023)، CodeLlama (Rozie`re et al., 2023)، او CodeGemma (CodeGemma Team et al., 2024)). په هرصورت، د کوډ لپاره د LLMs په اوسني ساحه کې مهم تشې پاتې دي، په ځانګړي توګه د سوداګریز سافټویر پراختیا په شرایطو کې. لومړی، پداسې حال کې چې خورا لوی، عمومي LLMs کولی شي د کوډ غوره فعالیت ترلاسه کړي، د دوی اندازه د دوی د ځای پرځای کولو لپاره ګران کوي. کوچني کوډ-متمرکز ماډلونه ( ، ؛ ، ؛ ، ؛ ، ؛ ، ) کولی شي په کوچني او ډیر انعطاف وړ بسته کې د کوډ غوره تولید فعالیت ترلاسه کړي ، مګر د تولید څخه هاخوا کوډ دندو کې فعالیت (د مثال په توګه ، فکس کول او تشریح کول) ممکن د کوډ تولید فعالیت څخه وروسته پاتې شي. Li et al. 2023a Lozhkov et al. 2024 Nijkamp et al. 2023 Rozie`re et al. 2023 CodeGemma Team et al. 2024 د ډیری سوداګریزو شرایطو کې، د کوډ LLM adopté نور د ماډلونو له فعالیت څخه هاخوا پیچلي کیدی شي. د مثال په توګه، حتی خلاص ماډلونه کله ناکله د ډیټا سرچینو او ډیټا پروسس کولو میتودونو په اړه د شفافیت نشتوالي له امله زیانمن کیږي چې د ماډل په جوړولو کې تللي، کوم چې کولی شي د ماموریت په مهمو او تنظیم شوي شرایطو کې په ماډلونو باور کم کړي. برسېره پردې، د نن ورځې خلاص LLMs کې جواز شرایط کولی شي د ماډل کارولو لپاره د تصدۍ وړتیاوې خنډ او پیچلي کړي. دلته، موږ د ګرانیټ کوډ ماډلونه، خورا وړ کوډ LLMs لړۍ وړاندې کوو، چې د پراخو کوډ دندو په اوږدو کې د سوداګریز سافټویر پراختیا مالتړ لپاره ډیزاین شوي. د ګرانیټ کوډ ماډلونو دوه اصلي ډولونه لري چې موږ یې په څلورو مختلفو اندازو (3B، 8B، 20B، او 34B) کې خپروو: د کوډ پورې اړوند دندو لپاره د بنسټ ماډلونه؛ د ګرانیټ کوډ اساس: د لارښود پیروي ماډلونه د ګیټ کمټونو سره یوځای شوي د انساني لارښوونو او خلاصې سرچینې سینټیټیکلي تولید شوي کوډ لارښود ډیټاسیټونو ترکیب کاروي. د ګرانیټ کوډ لارښود: په لړۍ کې بنسټ ماډلونه له سره د دوه پړاوونو روزنې ستراتیژۍ سره روزل شوي. په مرحله 1 کې، زموږ ماډل د 116 پروګرامینګ ژبو څخه اخیستل شوي 3 څخه تر 4 ټریلیون ټوکنونو باندې روزل کیږي، د پروګرامینګ ژبو او نحو پراخه پوهه یقیني کوي. په مرحله 2 کې، زموږ ماډل د 500 ملیارد ټوکنونو سره د کوډ او طبیعي ژبې ډومینونو څخه د لوړ کیفیت ډیټا په احتیاط سره ډیزاین شوي مخلوط سره نور روزل کیږي ترڅو د ماډل د استدلال وړتیا ته وده ورکړي. موږ د روزنې په دواړو پړاوونو کې د بنسټ ماډلونو روزلو لپاره بې نظیره ژبې ماډلینګ هدف کاروو. د لارښود ماډلونه د CommitPack ( ، ) فلټر شوي ډول، د طبیعي ژبې لارښود پیروي ډیټاسیټونو (OASST ( ، )، HelpSteer ( ، )) او د خلاصې سرچینې ریاضی ډیټاسیټونو (MathInstruct ( ، ) او MetaMathQA ( ، ))، په شمول د لارښود پیروي او استدلال وړتیاو ښه کولو لپاره سینټیټیکلي تولید شوي کوډ ډیټاسیټونو ترکیب باندې د پورتني روزل شوي بنسټ ماډلونو د وروستي فین ټونینګ لخوا ترلاسه شوي. Muennighoff et al. 2023 Ko¨ pf et al. 2023 Wang et al. 2023 Yue et al. 2023 Yu et al. 2023 موږ زموږ د کوډ LLMs پراخه ارزونه د دندو په پراخه سیټ کې ترسره کوو، په شمول HumanEvalPack ( ، )، MBPP(+) ( ، ؛ ، )، RepoBench ( ، )، ReCode ( ، )، او نور. دا د دندو سیټ یوازې د Python په کوډ ترکیب څخه هاخوا د کوډ کولو مختلف ډولونه شاملوي ، د مثال په توګه ، کوډ فکس کول ، کوډ تشریح کول ، کوډ ایډیټ کول ، کوډ ژباړه ، او نور ، په ډیری لویو پروګرامینګ ژبو کې (Python، JavaScript، Java، Go، C++، Rust، او نور). Muennighoff et al. 2023 Austin et al. 2021 Liu et al. 2023a Liu et al. 2023b Wang et al. 2022 زموږ موندنې ښیې چې د خلاصې سرچینې ماډلونو په مینځ کې، د ګرانیټ کوډ ماډلونه په ټولیز ډول په ټولو ماډل اندازو او معیارونو کې خورا قوي فعالیت ښیې (اکثرا د نورو خلاصې سرچینې کوډ ماډلونو څخه غوره فعالیت کوي چې له ګرانیټ څخه دوه چنده لوی وي). د مثال په توګه، شکل (پورته) په HumanEvalPack ( ، ) باندې د ورته اندازې خلاصې سرچینې بنسټ کوډ LLMs، په شمول د وروستي لوړ فعالیت عمومي هدف بنسټ LLMs لکه Mistral ( ، ) او LLama-3 ( ، ) پرتله ښیې. پداسې حال کې چې CodeGemma او StarCoder2 د کوډ تولید کې په مناسبه توګه ښه ترسره کوي، دوی په HumanEvalPack کې د کوډ فکس کولو او تشریح کولو ډولونو باندې خورا بد ترسره کوي. په اوسط ډول، Granite-8B-Code-Base په HumanEvalPack (33.2% بمقابله 21.3%) باندې نږدې 12 نقطې د خورا سیالي CodeGemma-8B ماډل څخه غوره فعالیت کوي ، سره له دې چې د پام وړ لږ شمیر ټوکنونو (4.5T بمقابله 7.5T ټوکنونو) باندې روزل کیږي. د بنسټ ماډلونو څخه هاخوا، زموږ د ګرانیټ کوډ ماډلونو لارښود ټیون شوي ډولونه هم په HumanEvalPack باندې قوي فعالیت ښیې، نور خلاصې سرچینې (کوډ) لارښود ماډلونه له غوره فعالیت کوي، د طبیعي ژبې لارښوونو سره د کوډ دندو پراخه سیټ ته ګټې ښیې (لاندې شکل وګورئ (لاندې)). 1 Muennighoff et al. 2023 Jiang et al. 2023b AI@Meta 2024 1 برسېره پردې، ځکه چې استدلال د پیچلو پوښتنو او دندو حل کولو لپاره مهم دی، موږ د شپږو ریاضیاتي معیارونو، په شمول MATH ( ، )، GSM8K ( ، ) او د محاسبې وسیلو ته د لاسرسي سره د ستونزو حل کولو باندې زموږ د Granite-8B-Code-Base ماډل هم ازموو، چیرې چې زموږ د ګرانیټ 8B ماډل د ډیری سټیټ-آف-دی-هنر 7B یا 8B LLMs په پرتله غوره فعالیت ترلاسه کوي. د مثال په توګه، Granite-8B-Code-Base په GSM8K باندې Llama-3-8B-Base له 12 نقطو څخه او په MATH باندې له 6 نقطو څخه (لاندې جدول وګورئ ) غوره کوي. Cobbe et al. 2021 Cobbe et al. 2021 15 د ګرانیټ کوډ ماډلونو کلیدي ګټې شاملې دي: : د ګرانیټ کوډ ماډلونه د کوډ کولو دندو په پراخه لړۍ کې سیالي یا سټیټ-آف-دی-هنر فعالیت ترلاسه کوي، په شمول د کوډ تولید، تشریح، فکس کول، ایډیټ کول، ژباړه، او نور، د دوی د مختلفو کوډ دندو حل کولو وړتیا ښیې؛ ټول شاوخوا کوډ LLM : زموږ ټول ماډلونه د IBM د AI اخلاقو اصولو په تعقیب د جواز وړ ډیټا باندې روزل شوي او د IBM کارپورټي قانوني ټیم لخوا د باور وړ تصدۍ کارونې لپاره لارښود شوي. ټول ګرانیټ کوډ ماډلونه د اپاچی 2.0 جواز لاندې خپاره شوي. باور لرونکی تصدۍ-درجه LLM 1 موږ زموږ د ټول ډیټا راټولولو، فلټر کولو، او مخکیني پروسس کولو پایپ لاین په برخه کې تشریح کوو . برخه د ماډل جوړښت توضیحات تشریح کوي، وروسته د برخې کې د روزنې توضیحات. برخه د لارښود ټونینګ توضیحات وړاندې کوي، او برخه زموږ د ګرانیټ کوډ ماډلونو د نورو خلاصې سرچینې LLMs سره پرتله کولو لپاره تجربې او پایلې تشریح کوي. 2 3 4 5 6 2 ډاټا راټولونه پدې برخه کې، موږ د کوډ ډیټا د ماډل روزنې لپاره چمتو کولو لپاره د کرول کولو او فلټر کولو (Sec. )، ډیپلیکیشن (Sec. )، HAP/PII فلټر کولو (Sec. ) پروسه تشریح کوو. موږ د ماډل د ژبې پوهه او رياضي استدلال مهارتونو ته وده ورکولو لپاره کارول شوي لوړ کیفیت طبیعي ژبې ډیټا یوه کتنه هم وړاندې کوو. 2.1 2.2 2.3 2.1 ډاټا کرول کول او فلټر کول د مخکینۍ روزنې کوډ ډیټا د عامه شته ډیټاسیټونو لکه ګیټ هب کوډ کلین ، سټارکوډرډاټا ، او اضافي عامه کوډ ریپوزیتوریز او له ګیټ هب څخه مسلو څخه اخیستل شوی. موږ خام ډیټا فلټر کوو ترڅو د 300+ ژبو څخه د 116 پروګرامینګ ژبو لیست وساتو، لکه څنګه چې په ضمیمه کې لیست شوي. د پروګرامینګ ژبو ته د ډیټا تخصیص د فایل غزونې پراساس ترسره کیږي، د سټارکوډر ( ، ) سره ورته. د ژبې له فلټر کولو وروسته، موږ د ټیټ کیفیت کوډ فلټر کولو لپاره څلور کلیدي فلټرینګ قواعد پلي کوو ( ، ): (1) د 25% څخه کم الفبایي حروف لرونکي فایلونه لرې کړئ، (2) د XSLT ژبې پرته، فایلونه فلټر کړئ چیرې چې لومړیو 100 حروفونو کې "<?xml version=" تار شتون لري، (3) د HTML فایلونو لپاره، یوازې هغه فایلونه وساتئ چیرې چې د لید وړ متن د HTML کوډ 20% لږترلږه جوړوي او لږترلږه 100 حروف اوږدوالی لري، (4) د JSON او YAML فایلونو لپاره، یوازې هغه فایلونه وساتئ چې د 50 څخه تر 5000 حروفونو ترمنځ د کرکټر شمیره لري. موږ همدارنګه د کیفیت میتریکونو سیټ په کارولو سره د ګیټ هب مسلې فلټر کوو چې د اتوماتیک تولید شوي متن لرې کول، غیر انګلیسي مسلې فلټر کول، د بوټانو څخه نظرونه خارج کول، او د کیفیت نښه په توګه په خبرو اترو کې د ښکیلو کاروونکو شمیر کارول شامل دي. موږ د جواز معلوماتو سره هر کوډ فایل د جواز معلوماتو سره هم انوټیټ کوو چې د اړوند ریپوزیتوري سره تړاو لري، د ګیټ هب APIs له لارې موندل کیږي او د ماډل روزنې لپاره یوازې جواز لرونکي جواز لرونکي فایلونه ساتو. 2 3 A Li et al. 2023a Li et al. 2023a 2.2 دقیق او ګونګډیپلیکیشن موږ د روزنې سیټ کې (نږدې) ورته کوډ مینځپانګې لرونکي اسناد لرې کولو لپاره دواړه دقیق او ګونګډیپلیکیشن شاملولو لپاره یوه فعاله ډیپلیکیشن ستراتیژي غوره کوو. د دقیق ډیپلیکیشن لپاره، موږ لومړی د دستاویز مینځپانګې باندې SHA256 هش محاسبه کوو او د ورته هش لرونکي ریکارډونه لیرې کوو. د دقیق ډیپلیکیشن وروسته، موږ د ګونګډیپلیکیشن پلي کوو د هدف سره د کوډ فایلونو لرې کولو لپاره چې ممکن لږ توپیرونه ولري او پدې توګه ډاټا نور بې طرفه کړي. موږ د دې لپاره دوه پړاو میتود پلي کوو: (1) د ټولو اسنادو MinHashes محاسبه کړئ او بیا د دوی د MinHash فینګر پرنټونو پراساس اسناد ګروپ کولو لپاره ځایی حساس هشینګ (LSH) وکاروئ، (2) د ورته بالټي کې د اسنادو هر جوړه ترمنځ د جیکارډ مشابهت اندازه کړئ او د 0.7 مشابهت حد په اساس د یو پرته نور اسناد د ډوپلیکیټ په توګه انوټیټ کړئ. موږ دا نږدې-ډیپلیکیشن پروسه د روزنې سیټ بډاینت او تنوع ته وده ورکولو لپاره د ټولو پروګرامینګ ژبو په شمول د ګیټ هب مسلو ته پلي کوو. 2.3 HAP، PII، مالویر فلټر کول له ماډلونو څخه د نفرت، ناوړه، یا بدعتي (HAP) ژبې تولید احتمال کمولو لپاره، موږ په روزنې سیټ کې د HAP مینځپانګې فلټر کولو لپاره هوښیارې هڅې کوو. موږ لومړی د HAP کلیدي کلمو قاموس جوړوو او بیا هر کوډ سند د مینځپانګې او تبصرو په شمول د ورته کلیدي کلمو د پیښو شمیر سره انوټیټ کوو. موږ هغه اسناد فلټر کوو چې د HAP حد څخه تجاوز کوي، چې د توزیع تحلیل او همدارنګه د کوډ فایلونو لاسي تفتیش پراساس محاسبه کیږي. برسېره پردې، د محرمیت ساتلو لپاره، موږ د سټارکوډر ( ، ) تعقیب کوو او د روزنې سیټ څخه د شخصي پیژندلو وړ معلوماتو (PII) د لرې کولو لپاره هوښیارې هڅې کوو. په ځانګړې توګه، موږ د IP پتې، کیلي، بریښنالیک پتې، نومونه، د کاروونکي نومونه، او پاسورډونه په مینځپانګه کې موندل شوي کشفولو لپاره د StarPII ماډل کاروو. د PII لرې کولو مرحله PII متن د اړونده ټوکنونو سره بدلوي NAME ، EMAIL ، KEY ، PASSWORD او د IP پته د سینټیټیکلي تولید شوي IP پته سره بدلوي، لکه څنګه چې په Li et al. (2023a) کې. موږ د مالویر instances په سرچینې کوډ کې د پیژندلو او لرې کولو لپاره زموږ ډیټاسیټونه هم سکین کوو. Li et al. 2023a 4 2.4 طبیعي ژبې ډیټاسیټونه د ماډل روزنې لپاره د کوډ ډیټا راټولولو سربیره، موږ د ماډل د ژبې پوهه او رياضي استدلال مهارتونو ته وده ورکولو لپاره څو عامه شته لوړ کیفیت لرونکي طبیعي ژبې ډیټاسیټونه کیوریټ کوو. په دې کټګورۍ کې استازي ډیټاسیټونه په انټرنیټ اسناد (Stackexchange, CommonCrawl)، رياضي انټرنیټ متن (OpenWeb-Math; ( )، StackMathQA; ( ))، علمي متن (Arxiv، Wikipedia)، او لارښود ټونینګ ډیټاسیټونه (FLAN; ( )، HelpSteer ( ، )) شامل دي. موږ دا دمخه پروسس شوي طبیعي ژبې ډیټاسیټونه نه ډیپلیکېټ کوو. Paster et al. 2023 Zhang 2024 Longpre et al. 2023 Wang et al. 2023 3 د ماډل جوړښت موږ د ټرانسفارمر ډیکوډر جوړښت ( ، ) پراساس د مختلفو اندازو د کوډ ماډلونو لړۍ روزو. د دې ماډلونو لپاره ماډل هایپر پیرامیټرونه په جدول کې ورکړل شوي. د ټولو ماډل جوړښتونو لپاره، موږ دمخه د مخکیني وړاندوینې ( ، ) کاروو: د پام او MLP بلاکونو ان پټ ته پلي شوي نورمالیزیشن. Vaswani et al. 2017 1 Xiong et al. 2020 : د ګرانیټ-کوډ ماډل کورنۍ ترټولو کوچنی ماډل د RoPE ایمبیډینګ ( ، ) او ملټي هیډ اټینشن ( ، ) سره روزل شوی. دا ماډل د MLP لپاره د GLU ( ، ) سره د سویچ فعالولو فنکشن ( ، ) کاروي، چې معمولا د سویګلو په نوم هم پیژندل کیږي. د نورمالیزیشن لپاره، موږ RMSNorm ( ، ) کاروو ځکه چې دا د لییرنورم ( ، ) څخه په محاسبه کې ډیر موثر دی. 3B ماډل د 2048 ټوکنونو په دوامداره اوږدوالي سره روزل شوی. 3B Su et al. 2023 Vaswani et al. 2017 Shazeer 2020 Ramachandran et al. 2017 Zhang & Sennrich 2019 Ba et al. 2016 : 8B ماډل د 3B ماډل سره ورته جوړښت لري پرته له دې چې د ګروپ شوي-کويري اټینشن (GQA) ( ، ) کارولو استثنا. د GQA کارول پدې پیمانه کې د ماډل فعالیت او استنسا موثریت ترمنځ یو ښه سوداګري وړاندې کوي. موږ 8B ماډل د 4096 ټوکنونو په دوامداره اوږدوالي سره روزو. 8B Ainslie et al. 2023 : 20B کوډ ماډل د زده شوي مطلق موقعیت ایمبیډینګ سره روزل شوی. موږ د اغیزمن وروستي استنسا لپاره د روزنې پرمهال د ملټي کويري اټینشن ( ، ) کاروو. د MLP بلاک لپاره، موږ GELU فعالولو فنکشن ( ، ) کاروو. د فعالولو نورمال کولو لپاره، موږ LayerNorm ( ، ) کاروو. دا ماډل د 8192 ټوکنونو په دوامداره اوږدوالي سره روزل شوی. 20B Shazeer 2019 Hendrycks & Gimpel 2023 Ba et al. 2016 : د 34B ماډل روزلو لپاره، موږ د 20B ماډل د ژورتیا د توسعې لپاره د د میتود تعقیب کوو. په ځانګړې توګه، موږ لومړی د 20B کوډ ماډل د 52 پرتونو سره ډپلیکیټ کوو او بیا د اصلي ماډل څخه وروستۍ 8 پرتونه او د دې ډوپلیکیټ څخه لومړنۍ 8 پرتونه لیرې کوو ترڅو دوه ماډلونه جوړ کړو. 34B Kim et al. په پایله کې، موږ دواړه ماډلونه د 88 پرتونو سره د ګرانیټ-34B-Code ماډل جوړولو لپاره سره نښلوو (د مثال په توګه، د 12 لپاره یو انځور وګورئ). د ژورتیا توسعې وروسته، موږ ګورو چې فعالیت د 20B ماډل په پرتله خورا لږ کم شوی، د لخوا لیدل شوي برعکس. دا فعالیت د پورته شوي 34B ماډل مخکینۍ روزنې په دوام وروسته په چټکۍ سره بیا رغیدلی. د 20B سره ورته، موږ د مخکینۍ روزنې پرمهال 8192 ټوکن دوامداره اوږدوالی کاروو. Kim et al.
