OPT-175B ከ GPT-3 ጋር ተመሳሳይ ነው, ነገር ግን የ Carbon Footprint ብቻ 1/7 ነው.

OPT: Open Pre-trained Transformer Language Models OPT: የተመሠረተ Transformer ቋንቋ ሞዴሎች የቅጂ መብት: Susan Zhang, Meta AI (susanz@fb.com) Stephen Roller, Meta AI (roller@fb.com) Naman Goyal, Meta AI (naman@fb.com) Mikel Artetxe, Meta AI Moya Chen, Meta AI Shuohui Chen, Meta AI Christopher Dewan, Meta AI Mona Diab, Meta AI Xian Li, Meta AI Xi Victoria Lin, Meta AI Todor Mihaylov, Meta AI Myle Ott, Meta AI Sam Shleifer, Meta AI ኮርት ሻስትር, Meta AI Daniel Simig, Meta AI Punit Singh Koura, Meta AI Anjali Sridhar, Meta AI Tianlu Wang, Meta AI Luke Zettlemoyer, Meta AI የቅጂ መብት: ሻንሰን ሻንሰን, Meta AI (susanz@fb.com) ስቴፋን ሮለር, Meta AI (roller@fb.com) የቴክኖሎጂ እና የቴክኖሎጂ (naman@fb.com) ጂ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ. ጂ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.አ. ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና ቻይና Christopher Dewan, የ Meta AI የ Mona Diab, Meta AI የ Xian Li, Meta AI ዚ ቪክቶሪ ሊን, Meta AI ቶዶር Mihaylov, Meta AI መኖሪያ ቤት, Meta AI Sam Shleifer, ሜታ AI ኮርት ሻስትር, Meta AI Daniel Simig, በ Meta AI Punit Singh Koura, ሜታ AI ጓደኛ ጓደኛ ጓደኛ ቲንሉ ቫንግ, Meta AI ሉክ Zettlemoyer, Meta AI አጠቃቀም አብዛኛውን ጊዜ በኮምፒውተር ቀናት ውስጥ ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ከሰዓት ነው. 1 መውሰድ በከፍተኛ ጥቅሞች ላይ የተቀየደው ትልቅ ቋንቋ ሞዴሎች (LLMs) በከፍተኛ ጥቅሞች አጠቃቀም እና በከፍተኛ ጥቅሞች እና በከፍተኛ ጥቅሞች አጠቃቀም (Brown et al., 2020; Lieber et al., 2021; Smith et al., 2022; Rae et al., 2021; Chowdhery et al., 2022) ለመፍጠር አስደሳች ችሎታዎችን ያደርጋል. ይህ የተጠበቀ መዳረሻ ምርመራዎች እንዴት እና ምን ያህል እነዚህ ትልቅ ቋንቋ ሞዴሎች ይሰራቸዋል እንዴት ማወቅ ችሎታ ያካትታል, እንደ ጠንካራነት, ብቃት, እና መድኃኒት አካባቢዎች ውስጥ የሚታወቀው ልምድ ለማሻሻል ላይ ልምድ ለማሻሻል. በዚህ የቴክኒካዊ ሪፖርት ውስጥ, የ Open Pretrained Transformers (OPT), ከ 125M እስከ 175B ፓርሜራሮች መካከል decoderonly pre-trained transformers ተከታታይ ይሰጣሉ, ይህም እኛ የተሟላ እና ተስማሚ ምርመራዎች ጋር ይሰጣሉ. እኛ የ OPT ሞዴሎች በ GPT-3 ሞዴሎች ክፍል ውስጥ አፈጻጸም እና መጠን ጋር ተስማሚ ተስማሚ ይሆናል, እንዲሁም ውሂብ አጠቃቀም እና ውጤታማ ስልጠና ውስጥ የቅርብ ጊዜ የምስክር ወረቀት: የ OPT-175B ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ ማረጋገጫ የ OPT-175B በ GPT-3 ን የካርቦን ቅርጸት አጠቃቀም ብቻ የ 1 / 7 ኛው አጠቃቀም ይጠቀማል. ይህ በጣም አስፈላጊ ስኬት ቢሆንም, እንደዚህ ሞዴል ለመፍጠር የኃይል ፍጥነት በአጠቃላይ እና በአጠቃላይ የካርቦን ቅርጸት መተግበሪያዎች ላይ በዋናነት ይኖራቸዋል, እና በዚህ መጠን አንድ ሞዴል ለመምረጥ በተደጋጋጋሚ እርዳታዎች ብቻ እነዚህ LLMs የካርቦን ቅርጸት ለመፍጠር ይሆናል. ሁሉም የካርቦን ቅርጸት - የካርቦን ቅርጸት የካርቦን ቅርጸት, የሲቪዲዮ ማህበረሰብ, የክሊቲካል ቅርጸት, እና ኢንዱስትሪ - በአጠቃላይ 2 ዘዴዎች 2.1 ሞዴሎች የእኛን ሞዴሎች እና hyperparameters በከፍተኛ ደረጃ በ Brown et al. (2020), በዋናነት በኮምፒዩተር ውጤታማነት ለማረጋገጥ በ batch መጠን ውስጥ ትብብር ጋር, በዋናነት እና በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋናነት በዋ 2.2 ስልጠና መፍጠር በ Megatron-LM codebase ውስጥ የተመሠረተ ተመሳሳይ መተግበሪያዎችን በመጠቀም,4 ከ 0.006 በ 0.006 በከፍተኛ ደረጃ እና መደበኛ ቅርጽ ጋር መደበኛ ቅርጽ ይጠቀማል. የ output layers ለ መደበኛ ቅርጽ በ 1.0 / √ 2L термин ላይ የተመሠረተ ነው, እና L በኬብሎች አጠቃላይ ቁጥር ነው. ሁሉም ቅርጽ термини በ 0 በ initialized ናቸው, እና ሁሉም ሞዴሎች በ ReLU መተግበሪያ እና የ 2048 ተከታታይ ርዝመት ጋር የተመሠረተ ናቸው. እኛ አንድ AdamW optimizer (Loshchilov እና Hutter, 2017) ጋር (β1, β2) (0.9, 0.95), እና 0.1 ክብደት መቁረጥ ጋር ይጠቀማሉ. እኛ በ OPT-175B ውስጥ የመጀመሪያው 2000 ደረጃዎች ውስጥ ከ 0 ወደ ከፍተኛ የመቁረጥ ፍጥነት ወደ ከፍተኛው የመቁረጥ ፍጥነት ወደ ቀጣይ የመቁረጥ, ወይም ከ 375M ቶኪን በከፍተኛ ደረጃዎች ውስጥ ከ 375M ቶኪን ወደ ከፍተኛው LR ከ 300B ቶኪን ከ 10% ወደ ዝቅተኛ ደረጃዎች ወደ ዝቅተኛ ደረጃዎች ወደ ዝቅተኛ ደረጃዎች ይጠቀማሉ. በ 300B ቶኪን በላይ በከፍተኛ ደረጃዎች ውስጥ የ LR መካከል በርካታ መተግበሪያዎች ደግሞ ያስፈልጋቸዋል (የተግበሪያ ክፍል 2.5 ይመልከቱ). የእኛ የ batch መጠኖች ሞዴል እኛ ከ 0.1 ወደ 0.3 ወደ ወደ ውጭ ለመቀነስ ይህ መስኮት ለመቀነስ ከ 1.0 ወደ 0.3 (እኛ ደግሞ ከ √ N በዓለም መጠን በመቀየር ሁለት ክፍያ እንቅስቃሴዎች ውስጥ ያለውን ክፍያ ይሸፍናል) ሁሉንም መስኮቶች ውስጥ ከባድን ማውረድ ጊዜ ከባድን ለመቀነስ ከባድን / ከባድን ለመቀነስ አንድ gradient predivide Factor ያካትታሉ. 2.3 የኮርፖስ ፈቃድ በ RoBERTa (Liu et al., 2019b), በ Pile (Gao et al., 2021a) እና በ PushShift.io Reddit (Baumgartner et al., 2020; Roller et al., 2021) ውስጥ ጥቅም ላይ ውሂብ ስብስቦች መካከል አንድ ትክክክለኛነት ያካትታል. ሁሉም ኮርፖሬሽን በፊት በንግሊዝኛ ጽሑፍ ላይ በዋነኝነት ያካትታል ወይም ማጣቀስቷል, ነገር ግን በኮንኮንኮንኮንኮል (Gao et al., 2021a) በኩል በኮርፖሬሽን ውስጥ አነስተኛ መጠን ምንም የንግሊዝኛ ውሂብ አላቸው. በ MinhashLSH (Rajaraman and Ullman, 2011) በ Jaccard ተመሳሳይነት ≥ .95 ጋር ከሁሉም ውሂብ ስብስቦች ላይ የኮርፖሬሽን እኛ የ BookCorpus (Zhu et al., 2015) እና Stories (Trinh and Le, 2018) የ RoBERTa corpus ክፍሎች ያካትታሉ እና የ CCNews ስሪት የተሻሻለው ስሪት ያካትታሉ, በ 2021 መስከረም 28 ድረስ የተሸፈኑ ዜና ስሪቶች ያካትታሉ. ይህ CCNews v2 ኮርፕስ እንደ የመጀመሪያው RoBERTa CCNews (Liu et al., 2019b) ጋር ተመሳሳይ መንገድ የተመሠረተ ነበር. RoBERTa የ Pile (Gao et al., 2021a) አንድ ክፍሎች ያካትታሉ: CommonCrawl, DM Mathematics, Project Gutenberg, HackerNews, OpenSubtitles, OpenWebText2, USPTO እና Wikipedia. የ Pile ሌሎች ክፍሎች በ 1.3B ደረጃ ላይ ግራፊው መደበኛዎች ውስጥ ትክክለኛነት ለመፍጠር ትክክለኛነት የተመሠረተ, የማይታመንነት ቻይናን ያካትታሉ, ወይም ሌሎች መንገድ የተወሰነ አይደለም. The Pile በ Baumgartner et al. (2020) እና በ Roller et al. (2021) በፊት ጥቅም ላይ የተሰራ የ Pushshift.io corpus ክፍሎች ያካትታሉ. በጽሑፍ ሞዴል-ተግበራዊ ሰነዶች ለመቀየር, እያንዳንዱ ስሪት ውስጥ ትክክክለኛውን ርዝመት የኮምፒውተር ሰንሰለት አግኝቷል እና በጽሑፍ ውስጥ ሁሉንም ሌሎች መንገድ አግኝቷል. ይህ የኮምፒውተርን በ 66% በላይ አግኝቷል. PushShift.io Reddit 2.4 ስልጠና ውጤታማነት የ OPT-175B በ 992 80GB A100 GPUs ላይ, በ Fully Sharded Data Parallel (Artetxe et al., 2021) በ Megatron-LM Tensor Parallelism (Shoeybi et al., 2019) ጋር ይጠቀማል. በ GPU በ 147 TFLOP / s ድረስ ይጠቀማል. በ FP32 ውስጥ አዳም ስቴት ይጠበቃል, ስለዚህ በ FP16 ውስጥ የሞዴል ክብደት ይጠበቃል. በ Micikevicius et al. (2017) ውስጥ የተመሠረተ እንደ, underflows ለመጠበቅ, በኒምኒካዊ ውጭ ማጥፋት ይጠቀማል. 2.5 ስልጠና ሂደቶች እዚህ በ OPT-175B pre-training ወቅት የተወሰነ የፈጠራ ሂደት መተግበሪያዎችን ያካትታል. የ OPT-175B ስልጠና ወቅት የእኛን የኮምፒውተር ግምገማዎች ውስጥ በርካታ ሃርድዌር ፍለጋዎች ተመሳሳይ ነበር. በአጠቃላይ, ሃርድዌር ፍለጋዎች በ 2 ወራት ውስጥ ከ 35 ዝቅተኛ የሽያጭ መጫን እና ከ 100 የሽያጭ መጫን ጋር ተስማሚ ነበር. የሽያጭ መጫን በሽያጭ መጫን ጊዜ, የሽያጭ መጫን በሽያጭ እና የሽያጭ መጫን መጠን መካከል ልዩነት በሽያጭ መጫን እና የሽያጭ መጫን መጠን በሽያጭ መጫን ከ 70+ የሽያጭ መጫን በሽያጭ መጫን በሽያጭ መጫን በሽያጭ መጫን. Hardware Failures የእኛን ስልጠና መጀመር ውስጥ የሽያጭ ቅርጸት ደግሞ አንድ ችግር ነበር. የሽያጭ ቅርጸት በመውሰድ ጊዜ, የእኛን የሽያጭ ቅርጸት ለመውሰድ እና ከባድ የሽያጭ ቅርጸት ለመውሰድ ከባድ የሽያጭ ቅርጸት ለመውሰድ እና የሽያጭ ቅርጸት በመውሰድ ለመውሰድ የሽያጭ ቅርጸት, የሽያጭ ቅርጸት, የሽያጭ ቅርጸት ለመውሰድ በ 0 እና የሽያጭ ቅርጸት ለመውሰድ በ l 2 -norma መካከል አንድ ተመሳሳይነት ይሰጣል. እነዚህ ትዕዛዞች የእኛን የሽያጭ ቅርጸት በሽያጭ ቅርጸት ከ 1.0 ወደ 0.3 ወደ መውሰድ በሽ Loss Divergences እነዚህን ያካትታሉ: ወደ Vanilla SGD (የተማካሚነት ፈጣን ተለዋዋጭ ነበር, እና እኛ ወደ AdamW ወደ ተለዋጭ ነበር); የዲኒካዊ አነስተኛ ስኬላር ለመቀየር (የተማካሚትን አንዳንድ ነገር ግን ሁሉንም አይደለም); እና Megatron አዲስ ስሪት ለመቀየር (የተማካሚነት መደበኛዎች ላይ ያለውን ግፊት ለመቀነስ እና የተሻለ አጠቃቀም). Other Mid-flight Changes 3 ጥራት 4.1 ፎቶዎች እና ፎቶዎች በዩናይትድ ስቴትስ ውስጥ ጥቅም ላይ የ 16 መደበኛ NLP እንቅስቃሴዎች ላይ የእኛን ሞዴል ያተኮረለን: HellaSwag (Zellers et al., 2019), StoryCloze (Mostafazadeh et al., 2016), PIQA (Bisk et al., 2020), ARC Easy and Challenge (Clark et al., 2018), OpenBookQA (Mihaylov et al., 2018), WinoGrad (Levesque et al., 2011), WinoGrande (Sakaguchi et al., 2020) እና SuperGLUE (Wang et al., 2019). GPT-3 (Brown et al., 2020) በመጠቀም እባክዎን እና በአጠቃላይ ሙከራ መጫን ይጠቀማሉ. በ GPT-3 (Mihaylov et al., 2018) ጋር በመተካት, የእኛን ግምገ በአጠቃላይ, የእኛን በአጠቃላይ አፈጻጸም በ GPT-3 ን ልምድ ይከተሉ. ነገር ግን, አፈጻጸም በሥራዎች ላይ በከፍተኛ መጠን ሊሆን ይችላል: ሙሉ በሙሉ መቁረጥ ለማግኘት, ያንብቡ A. የእኛን የ MultiRC እና WIC ከሁሉም አነስተኛ መጠን ከሁሉም አነስተኛ መጠን ከሁሉም አነስተኛ መጠን ከሁሉም አነስተኛ መጠን ከሁለት አነስተኛ መጠን ከሁለት አነስተኛ መጠን ከሁለት አነስተኛ መጠን (CB, BoolQ, WSC) ከሁሉም GPT እና OPT ሞዴሎች በከፍተኛ መጠን ጋር በተሳካ ሁኔታ የተሻለ ተስማሚ ይሆናል. የእኛን አፈጻጸም በ 3 ተግባራት (56, 277, እና 104 ለምሳሌዎች) በ 3 ተግባሮች (ARC Challenge Zero-shot Chinchilla (Hoffmann et al., 2022) እና Gopher (Rae et al., 2021) ከሌሎች ጋር ከሌሎች መጠኖች ጋር ይበልጥ ተስማሚ ነው, እንዲሁም PaLM (Chowdhery et al., 2022) በአጠቃላይ ከሁሉም መተግበሪያዎች ላይ ከሌሎች መጠኖች ለመቆጣጠር ድረስ ይበልጥ ተስማሚ ነው. በአጠቃላይ የ OPT ሞዴሎች በ GPT-3 ሞዴሎች ጋር ተመሳሳይ አፈጻጸም ያደርጋል. ነገር ግን, እንደ zeroshot ጋር እንደ, እያንዳንዱ ተግባር ላይ እነዚህን ውጤቶች ለመቀነስ አንድ የተለያዩ ታሪክ ይሰጣል: ከዘር ፎቶ ጋር ተመሳሳይ 10 ውሂብ ስብስቦች ውስጥ, ሁለት ሞዴሎች ውስጥ ተመሳሳይ አፈጻጸም ይመልከቱ. ከሌሎች ውሂብ ስብስቦች ለ OPT እና GPT-3 ሞዴሎች (BoolQ, CB, WSC, RTE) ለሁለት ሞዴሎች (BoolQ, CB, WSC, RTE) የሞዴል መጠን ጋር ተመሳሳይ አፈጻጸም ይሰጣሉ. በ MultiRC ውስጥ, በ GPT3 ሞዴሎች ጋር ተመሳሳይ የ OPT ሞዴሎች ዝቅተኛ አፈጻጸም ይመልከቱ One-shot and Few-shot 4.2 አጠቃቀም የ LLMs በአጠቃላይ የቅርብ ጊዜ የኮርፖሬሽን ሞዴሎች (Adiwardana et al., 2020; Roller et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Chowdhery et al., 2022) የተወሰነ ክፍሎች ላይ የ OPT-175B ያካትታሉ. በአጠቃላይ, በ Roller et al. (2021), እና በ ConvAI2 (Dinan et al., 2020b), በ Wikipedia (Dinan et al., 2019b), በ Empatic Dialogues (Rashkin et al., 2019), እና በ Blended Skill Talk (Smith et al., 2020) ላይ ያካትታሉ. በተጨማሪም በቅርብ ጊዜ የኮርፖሬሽን የኮርፖሬሽን የኮርፖሬሽን (Kili et al., 2021) ላይ ያካትታሉ የ R2C2 BlenderBot, በ Shuster et al. (2022) የተመሠረተ 2.7B parameter BlenderBot ተመሳሳይ ሞዴል ጋር ተመሳሳይ ነው (2022). በ ConvAI2 ትዕዛዞች (Dinan et al., 2020b) የሚከተሉት የ Conplexity እና Unigram F1 (UF1) ትዕዛዞች ተለዋዋዋጭነት ይሰጣሉ. እያንዳንዱ ሞዴል ውስጥ የተለያዩ tokenization ለመቆጣጠር, GPT-2 tokenizer (Radford et al., 2019) ውስጥ የሚሆን ሁሉንም ትዕዛዞች ይመዝገቡ. በተጨማሪም እነዚህን መዳረሻ እንቅስቃሴዎች ላይ የተመሠረተ ሞዴሎች ይሰጣሉ እና እነርሱ ምንም የተመሠረተ ናቸው. ለ OPT-175B, ሁሉም አጠቃላይ አጠቃላይ 32 ትዕዛዞ የ OPT-175B በእያንዳንዱ ተግባር ላይ የ Reddit 2.7B ሞዴል ላይ በጣም ታዋቂ ይሆናል, እና በ ConvAI2 ውሂብ ስብስቦች ውስጥ በተለይ በ Fully Supervised BlenderBot 1 ሞዴል ጋር ተኳሃኝ ይሆናል. በ "Wizard-of-Internet" ውሂብ ስብስቦች ላይ, ይህም ለሁሉም ሞዴሎች ሙሉ በሙሉ ያልተፈቀደ ይሆናል, OPT-175B ዝቅተኛ ትኩረት ያገኛል ነገር ግን ደግሞ በ "Wizard-of-Wikipedia" ውሂብ ተኳሃኝ ሞዴሎች ከ UF1 ዝቅተኛ ነው. የ OPT-175B ሞዴል በ ConvAI2 ውሂብ ስብስቦች ላይ BlenderBot 1 እንደ ተስማሚ ነበር. ይህ በ ConvAI2 ውሂብ ስብስቦች ውስጥ የ ConvAI2 ውሂብ ስብስቦች ውስጥ የፈጠራ ውሂብ ውሂብ ወይም በቴሌት 2 ውስጥ የተመሠረተ የፈጠራ ውሂብ ውስጥ ተስማሚ ሊሆን ይችላል. የፈጠራ ውሂብ ተስማሚነት ለማስተካከል, በ ConvAI2 ውሂብ ስብስቦች ውስጥ የመጀመሪያው የፈጠራ ውሂብ ስብስቦች ለማግኘት የፈጠራ ውሂብ ስብስቦችን ለማግኘት የፈጠራ ውሂብ ስብስቦችን ማግኘት ይችላሉ. በተጨማሪም በ ConvAI2 ውሂብ ስብስቦች ላይ የ OPT-175B በ ConvAI2 የፈጠራ ውሂብ ስብስቦች ላይ 4 Bias & Toxicity አጠቃቀም የ OPT-175B ውጤታማ ጥንካሬን ለመረዳት, እኛ በባህር ግምገማ ማረጋገጫ, ስቴቴሮቲፕ ጥንካሬ, እና የድሃኒካዊ ቁጥጥር ጥንካሬ ጋር የተወሰነ አንድ ተከታታይ ደረጃዎችን ያካትታሉ. እነዚህ ደረጃዎች (Blodgett et al., 2021; Jacobs and Wallach, 2021), እነዚህ ደረጃዎች የ OPT-175B ጥንካሬዎችን ለመረዳት የመጀመሪያ ደረጃ ይሰጣሉ. እነዚህ ደረጃዎች በ Brown et al. (2020) ውስጥ ያካትታሉ አይችልም. 4.1 ጥንካሬ ግምገማዎች በ Mollas et al. (2020) እና በ Chiu እና Alexander (2021) የተመሠረተ ETHOS ውሂብ ስብስቦች በመጠቀም, OPT-175B የተወሰነ የንግሊዝኛ ውሂብዎች ሩሲክ ወይም የሲሲስቲክ (ወይም) ናቸው ወይም አይሆንም (ወይም) ለመውሰድ ችሎታን ያካትታሉ. በ 0 ፣ አንድ ፣ እና ከባድ-ወይም-ባድ ውሂብዎች ውስጥ, ሞዴል ሩሲክ ወይም የሲሲስቲክ ጽሑፍን ይመልከቱ እና አዎ / ምንም መልስ ይሰጣል. በ ከባድ-ወይም-ማልኮስቲክ መጫን ውስጥ, ሞዴል አንድ አዎ / ምንም / ምንም መልስ ይሰጣል. የ OPT175B ከ Davinci ከ ይበልጥ የተሻለ ይሰራል. ይህ ከሁለት መሣሪያዎች ውስጥ ሊሆን ይችላል: (1) በ Davinci API በኩል ግምገማዎች በ Brown et al. (2020) ውስጥ ጥቅም ላይ የተመሠረተ የመጀመሪያው 175B GPT-3 ሞዴል በላይ ደህንነት ቁጥጥር ሜካኒካሎች መውሰድ ይችላል; እና (2) የፕሮ-የተግበሪያ ውሂብ ስብስቦች ውስጥ ያልተመሠረተ ማህበራዊ አውታረ መዳረሻዎች በጣም ታዋቂ ንብረቶች እንደዚህ ግምገማዎችን ለመረዳት ተጨማሪ ትክክለኛነት ያቀርባል. 4.2 የ CrowS-ፓይሎች የ CrowSPairs (Nangia et al., 2020) ለስላሳ ቋንቋ ሞዴሎች የተገነባው ነው እና በ 9 ክፍልዎች ውስጥ የ intrasentence level biases ያካትታሉ.CrowSPairs (Nangia et al., 2020) ለስላሳ ቋንቋ ሞዴሎች የተገነባው ነው. እያንዳንዱ ሞዴል ለስላሳ ግምገማዎች ላይ ሞዴል ግምገማዎችን ያካትታሉ. ከፍተኛ ግምገማዎች አንድ ሞዴል የተፈጥሮ ግምገማዎች ላይ ከፍተኛ ግምገማዎችን ያካትታሉ. የ OPT175B በገጽ 4 ውስጥ በ Davinci ጋር ተለዋዋዋጭ ጊዜ በዋናነት ከሁሉም ካሜራዎች ውስጥ የበለጠ ስቴሮይፒክ ቅርጸት ይሰጣል. በተጨማሪም, ይህ የፈጠራ ውሂብ ውስጥ የተለያዩ ምክንያት ሊሆን ይችላል; Nangia et al. (2020) የ Pushshift.io Reddit corpus ከሌሎች corpora (እን.ም. ቪክፒታል) ከ ስቴሮይፒክ እና የፈጠራ ጽሑፍ ላይ ከፍተኛ ተለዋዋዋጭ መጠን አለው. ይህ የ OPT-175B ለ ዋናው ውሂብ ምንጭ ነው, ሞዴል ከባድ-ባድ-ባድ ላይ ውጤታማነት ያካትታል, ከባድ-ባድ-ባድ-ባድ ላይ ከባድ-ባድ-ባድ ያካትታል. 4.3 ስቴትሮስ Lieber et al. (2021) እና Artetxe et al. (2021), StereoSet (Nadeem et al., 2021) በመጠቀም በ 4 ክፍልዎች ላይ ስቴሮቲፒክ ብቃት መሞከር: የስራ, ጅምላ, ሕንፃ, እና ሩሲያ. intrasentence መሞከር (CrowSPairs ጋር ተመሳሳይ) በተጨማሪ, StereoSet በ intersentence ደረጃ ላይ ብቃት መሞከር ወደ ሞዴል አጠቃቀም አጠቃቀም ችሎታ ለመሞከር ያካትታል. ብቃት መቆጣጠሪያ እና ቋንቋ ሞዴል ማረጋገጫ ችሎታ መካከል የሚፈልጉን ትክክለኛነት ለማረጋገጥ, StereoSet ሁለት ሜትሪኮች ያካትታል: የ Language Modeling Score (LMS) እና Stereotype Score (SS), ይህም ከዚያም Idealized Context Association Test Score (ICAT) ለመፍጠር ተኳሃኝ ናቸው. Lieber et al. (2021) ጋር ተለዋዋዋዋጭ ነው, ይህም በርካታ ሞዴሎች ለ metrics ለማሻሻል ይሰጣሉ. ውጤቶች በ 5 ፎቶ ውስጥ ይታያል. እኛ Davinci እና OPT-175B ላይ ተመሳሳይ ስኬቶች ይሰጣሉ (አጠቃላይ ICAT ሁለቱም መካከል በጣም ተስማሚ ነው). ለምሳሌ, Davinci በንግድ እና ጓደኝነት አካባቢዎች ውስጥ ይሰጣል, እና OPT-175B በጅምላ እና ሕንፃ አካባቢዎች ይሰጣል. OPT175B በ SS metrics ላይ ይሰጣል, እና Davinci በአጠቃላይ በ LMS metrics ላይ ይ 4.4 የ RealToxicityPrompts የ OPT-175B በ RealToxicityPrompts (Gehman et al., 2020) ውሂብ ስብስቦች በ RealToxicityPrompts (Gehman et al., 2020) ውሂብ ስብስቦች በመጠቀም መድኃኒት ቋንቋ ጋር ተስማሚ ልምምድ ይበልጥ ተስማሚ ነው. ይህን በኋላ, PaLM (Chowdhery et al., 2022) በመጠቀም የ 20 ቶኪን 25 ጄኔቶች (Holtzman et al., 2020) (p = 0.9) ለ RTP ከ 10,000 ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተስማሚ ተ 4.5 የግል ደህንነት ግምገማዎች መጨረሻም, OPT-175B በሁለት የሽያጭ ደህንነት ግምገማዎች ላይ ተመሳሳይ ነው. የመጀመሪያው, SaferDialogues (Ung et al., 2021), ከባድ ደህንነት ግምገማዎች ከ ተመሳሳይ ደህንነት ግምገማዎች ከ ተመሳሳይ ደህንነት ግምገማዎች ከ ተመሳሳይ ደህንነት ግምገማዎችን ያካትታል. ሁለተኛው, የ Safety Bench Unit Tests (Dinan et al., 2021) ለሁለት ተሞክሮዎች ተመሳሳይ ግምገማዎችን ያካትታል: Safe, Realistic, Unsafe, and Adversarial. Like with the other dialogue assessments (Section 3.2), we compare to several existing open source dialogue models. Results for both experiments are shown in Table 6. We observe that OPT 5 መስፈርቶች በ GPT-3 ሞዴሎች ውስጥ ጥቅም ላይ የተጠቃሚ መደበኛ የምስክር ወረቀት ውሂብ ስብስቦች ውስጥ ውጤታማነት ተመሳሳይ ሊሆን ይችላል. በተጨማሪም, የእኛን ደህንነት, ብቃት, እና አጠቃቀም የምስክር ወረቀት ተመሳሳይ ሊሆን ይችላል, ነገር ግን እንደዚህ የምስክር ወረቀት እነዚህ ሞዴሎች መካከል ሙሉ በሙሉ መስፈርቶች መለያየት አይችልም. በአጠቃላይ, OPT-175B በሌሎች LLMs (Brown et al., 2020; Lieber et al., 2021; Thoppilan et al., 2022; Rae et al., 2021; Smith et al., 2022; Chowdhery et al., 2022; Bender et al., 2021) ውስጥ የሚታወቀው ተመሳሳይ መስፈርቶች ተመሳሳይ ሊሆን ይችላል. ለምሳሌ, የእኛን OPT-175B በ እነዚህን መመሪያዎች ጋር ይሰጣሉ, በተመሳሳይ መመሪያ ጋር ይጀምራል, ነገር ግን በተመሳሳይ መመሪያ መተግበሪያ ጋር ይጀምራል. በ InstructGPT (Ouyang et al., 2022) ውስጥ, በተመሳሳይ መመሪያ መፍጠር ውስጥ የቀድሞው እንቅስቃሴዎች እነዚህን ጥንካሬዎችን ለመቀነስ ሊሆን ይችላል. OPT-175B ደግሞ በተመሳሳይ መመሪያ ጋር ይጀምራል እና በቀላሉ በሽቦ ውስጥ መቆረጥ ይችላሉ. ናሙና መተግበሪያ (Holtzman et al., 2020) በተመሳሳይ ጊዜ ተመሳሳይ ሕይወት (Holtzman et al., 2020) ተመሳሳይነት መጠን ለመቀነስ ሊሆን ይችላል, ነገር ግን እኛ በተመሳሳይ ጊዜ ብቻ አንድ ጥንካሬ መተግበሪያ ላይ ሙሉ በሙሉ መቁረጥ አይችልም. በተመሳ የ OPT-175B ሌሎች LLMs ጋር ተመሳሳይ ነው (Adiwardana et al., 2020; Brown et al., 2020; Roller et al., 2021; Rae et al., 2021; Chowdhery et al., 2022; Thoppilan et al., 2022). ይህ መረጃ ትክክለኛነት እንደ የሕክምና እና ሳይንሳዊ መዳረሻ (Weidinger et al., 2022b) ያሉ መተግበሪያዎች ውስጥ በተለይም አስቸጋሪ ሊሆን ይችላል. በአሁኑ ጊዜ, የ OPT-175B የ LLMs (Lewis et al., 2020; Komeili et al., 2021; Thoppilan et al., 2022; Borgeaud et al., 2021; Shuster et al., 2022; Nakano et al., 2021b.) በተመሳሳይ ሞዴሎች (Lewis et al., 2020; Komeili et al., 2021; Thopp በአጠቃላይ, የ OPT-175B መተግበሪያዎች ላይ የተወሰነ የ OPT-175B መተግበሪያዎች እና የ OPT-175B መተግበሪያዎች ላይ የተወሰነ የ OPT-175B መተግበሪያዎች እና የ OPT-175B መተግበሪያዎች ላይ የተወሰነ የ OPT-175B መተግበሪያዎች እና የ OPT-175B መተግበሪያዎች ላይ የተወሰነ የ OPT-175B መተግበሪያዎች እና የ OPT-175B መተግበሪያዎች ላይ የተወሰነ የ OPT-175B መተግበሪያዎች እና የ OPT-175B መተግበሪያዎች ላይ የተወሰነ የ OPT-175B መተግበሪያዎች እና የ OPT-175B መተግበሪያዎች ላይ የተወሰነ የ OPT-1 የ Data Sheets እና Model Cards ያካትታሉ ቢሆንም, ተጨማሪ ውሂብ ባህሪያት እና አማራጭ ግምገማዎች ጋር የፈጠራ ውሂብ ላይ ተጨማሪ ግምገማዎችን ያካትታሉ, ስለዚህ ውሂብ ተስማሚ ይጠቀማሉ. በአሁኑ ጊዜ የሞዴልን በዚህ ውሂብ ስብስቦች ውስጥ በጣም ብዙ ውሂብ እና ዝቅተኛ ግምገማዎችን ያካትታሉ. ሙሉ በሙሉ ግምገማዎችን ለማግኘት ቢሆንም, በእርግጥ የ OPT ሞዴሎች በተሳካ እና ተስማሚ ግምገማዎችን ለማረጋገጥ ይበልጥ የተመሠረተ እና ተስማሚ ግምገማዎችን ያካትታሉ. ግምገማዎች ላይ የተለያዩ ስሜቶች እና በኮንክቶፕ መፍጠር የሙከራ መጠን የተለያዩ ውጤቶችን ለመፍጠር ሊሆን ይችላል. 6 የፈጠራ ጥያቄዎች በ NIST የተመሠረተ Governance መመሪያ ጋር,7 የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠረተ የተመሠ የ OPT-175B ልማት ሕክምና መተግበሪያን ሙሉ በሙሉ ተስማሚ ይሆናል, እና ብቻ በ LLM ልማት ላይ የበለጠ ጥንካሬነት በመጠቀም የ LLM መተግበሪያዎች ጥንካሬዎች እና ጥንካሬዎችን ለማወቅ ይጀምራሉ. በአሁኑ ስሪት የ OPT-175B ልማት መተግበሪያው ለማጠናቀቅ የኮምፒውተር መጠን ብቻ ብቻ አይነም, ነገር ግን የኮምፒውተር መተግበሪያው መተግበሪያው መተግበሪያው መተግበሪያው በከፍተኛ ጥንካሬ ውስጥ የማይታመን ይሆናል. እነዚህ ዝርዝሮች በአጠቃላይ የቀድሞው ልጥፎች ውስጥ የተመሠረተ ናቸው, እያንዳንዱ የኮምፒውተር መተግበሪያ መተግበ እነዚህን ትዕዛዞች በላይ, የ metaseq codebase ራስን የእኛን መተግበሪያ ዝርዝሮች ብዙ ውስጥ ትክክለኛነት ያለው መጨረሻው ምንጭ ነው. የእኛን መተግበሪያ codebase ለመፍጠር, የእኛን መተግበሪያ ዝርዝሮች ማንኛውም መተግበሪያ ዝርዝሮች ላይ ብርሃን ይሰጣሉ, ይህም በዚህ ጽሑፍ ውስጥ በግልጽ የተመዘገቡ ሊሆን ይችላል, እንደ ይህ በገጽ ውስጥ መደበኛ ተግባር ዝርዝሮች ሊሆን ይችላል, ወይም ብቻ አንድ ዝርዝር ነው እኛን መውሰድ አይችልም. ይህ በአሁኑ codebase ደግሞ በ NVIDIA GPUs ላይ ≥175B ፓርሜራሚተሮች ነው አንድ decoderonly transformer ለመተግበሪያ ብቻ የሚታወቅ የግል የኮድ መተ የ OPT-175B ፓርሜራዎች ጋር ተስማሚ መዳረሻ ለመስጠት በ 175B መጠን ላይ ተሞክሮዎችን ለማስተካከል እኛ የ OPT-175B ፓርሜራዎች ጋር ተስማሚ መዳረሻዎችን ያቀርባል. በዚህ መጠን ላይ ምርምር ለማስተካከል የአካባቢው ውጤታማነት ለመቀነስ በ LLMs ውስጥ ተስማሚ የ AI ምርምር ለማስተካከል በሁለቱም በሁለቱም በሁለቱም በሁለተኛው መጠን ላይ ተስማሚ ችሎታዎች ጋር ቋንቋ ሞዴሎች መተግበሪያ ውስጥ የቴክኒካዊ እና ማህበራዊ ጥቅሞች ያካትታሉ. (Weidinger et al., 2021a; Bommasani et al., 2021; Dinan et al., 2021; Kenton et al., 2021) የ OPT-175B ወደ የ በተጨማሪም, በዚህ መጠን ሞዴሎች ለመፍጠር አስፈላጊ የኮምፒውተር እና የኮምፒውተር ወጪዎች አሉ. OPT-175B በ 75 ቶን (CO2eq) የኮምፒውተር ውፅዓት (CO2eq) መጠን ጋር የተገነባው ጊዜ,10 GPT-3 በ 500 ቶን (Patterson et al., 2021) ይጠቀማል, እንዲሁም Gopher በ 380 ቶን (Rae et al., 2021) ይጠቀማል. እነዚህ ግምገማዎች በአጠቃላይ የተመሠረተ አይደለም, እና እነዚህ የኮምፒውተር ውፅዓት (CO2eq) የኮምፒውተር ዘዴዎች በተጨማሪም የተመሠረተ አይደለም. በተጨማሪም, ሞዴሎች ስልጠና የኮምፒውተር ስርዓቶች አጠቃላይ የኮምፒውተር ውፅዓት ብቻ አንድ የ LLM ልማት ሕይወት ኬብል ያካትታሉ ፡፡ እነዚህ ስርዓቶች (Gupta et al., 2021) ምርት (ወደ) ካርቦን ማወቅ አለብዎት ፡፡ እነዚህ ስርዓቶች (Gupta et al., 2021) በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ በከፍተኛ ደረጃ ተመሳሳይ መንገድ, በብዙ ስኬቶች ላይ አንድ ተከታታይ የተመሠረተ መስመሮች ለማምረት, እኛ ከብዙ ስኬቶች ውስጥ እነዚህ ሞዴሎች መካከል ውጤቶች እና መስመሮች ብቻ በከፍተኛ ስኬት ላይ ማመልከቻ ለመፍጠር ያስፈልጋቸዋል. በ Hoffmann et al. (2022) ውስጥ የተመሠረተ እንደ, እነዚህ የ LLMs ብዙዎች የፈጠራ ውሂብ አጠቃቀም መጠን ውጤታማ ሊሆን ይችላል, ይህም ተጨማሪ ውሂብ ያካትታሉ እና እነዚህ የተመሠረተ ሞዴሎች ለመፍጠር ይቻላል. በተጨማሪም በ 175B (Wei et al., 2021), የተለያዩ ምርምር መተግበሪያዎች ለ ስኬቶች አንድ ተጨማሪ ስኬት ማመልከቻ ያስፈልጋቸዋል. 7 የተያዙ ሥራዎች የ "Transformer Architecture" (Vaswani et al., 2017) እና "BERT" (Devlin et al., 2019) ልውውጥ በኋላ, የ NLP መስኮት የ LLMs ጋር የግል-መቆጣጠኝነት የፈጠራ መተግበሪያዎችን በመጠቀም በከፍተኛ ደረጃ ተለዋዋጭ ተለዋዋጭ አላቸው. የ T5 (Raffel et al., 2020) እና MegatronLM (Shoeybi et al., 2019) ጨምሮ በርካታ የፈጠራ መተግበሪያ ሞዴሎች (Liu et al., 2019b; Hoffmann et al., 2022). የ "Auto-regressive language" ሞዴሎች (Mikolov et al., 2009) የ 117M parameter (Radford et al., 2018) ከ 500B parameter (Smithers et al., 2022; Chowd et al., 2022) በላይ በ GPT-2 (Radford et al., 2019) እና በ GPT-3 (Brown et al., 2020) እና ከዚያ በኋላ ሞዴሎች ጋር ይበልጥ የተሻለ የተሻለ የፈጠራ ፍጹምነት እና ጥራት ውስጥ የተሻለ የተሻለ የተሻለ ነው. ብዙ የተለያዩ በጣም ትልቅ (በ 100B ንጥሎች በላይ) የፈጠራ ሞዴሎች አሁን (Lieber et al., 2021; Rae et al., 2021; Thoppilan et al., 2022; Smith et al., 2022; Chowdhery et al., 2022) የተሻለ ነው, እነርሱ ሁሉ በቤት ውስጥ ወይም የፈጠራ API አገልግሎቶች በኩል ብቻ ይገኛሉ. በ EleutherAI (Black et al., 2022) እና BigScience ጨምሮ የንግድ ምርምር ድርጅትዎች ከ LLMs ለመፍጠር አንዳንድ ታዋቂ እርምጃዎች አሉ.11 እነዚህ ሞዴሎች የ OPT ሞዴሎች ከባድ-ተግበሪያ ውሂብ, መተግበሪያ ቋንቋዎች እና ሞዴል መጠን ውስጥ ይለካል, ማህበራዊው የተለያዩ የፕሬስ-ተግበሪያ መተግበሪያዎች ተለዋዋጭ ሊሆን ይችላል. Brown et al. (2020) ጀምሮ, ለ LLMs ዋና ግምገማ ግምገማው ለባድ-ተግበሪያ ነው (Black et al., 2022; Rae et al., 2021; Chowdhery et al., 2022), እንዲሁም በዚህ ጽሑፍ ውስጥ የተሰራ ነው. ይህ አብዛኛውን ጊዜ ከባድ-ተግበሪያ-ተግበሪያ-ተግበሪያ (Petroni et al., 2019) ወይም ከባድ-ተግበሪያ-ተግበሪያ (Radford et al., 2019; Brown et al., 2020 ነገር ግን, ውጤታማ prompting መሐንዲሶች በተሳካ ምርምር ፍላጎት ይሆናል. ውጤታማዎች በ prompt (Lu et al., 2021), እና ሞዴሎች (Webson እና Pavlick, 2021) የሚፈልጉት እንደ ሙሉ በሙሉ የ prompts መውሰድ አይችልም. በተጨማሪም, የ OPT-175B በተሳካ ሁኔታ ውስጥ ብቻ የ OPT-175B ግምገማዎችን ያቀርባል. ነገር ግን, የ OPT-175B ሙሉ ቅርጸት በአሁኑ ጊዜ እነዚህን ፍላጎቶች ለማስተካከል አይፈልጉም (Perez et al., 2021). በተጨማሪም የ OPT-175B ፍላጎት ለማስተካከል እንፈልጋለን. 8 መጨረሻ በዚህ የቴክኒክ ሪፖርት ውስጥ, የ OPT, ከ 125M እስከ 175B መጠኖች መጠን ያለው የ auto-regressive ቋንቋ ሞዴሎች ስብስብ ይሰጣል. የእኛን ፍላጎት የ GPT-3 ክፍል ሞዴሎች አፈጻጸም እና መጠን ያተኮሩ ነበር, እንዲሁም የዲት ኮርሽን እና የፈጠራ ውጤታማነት ውስጥ የቅርብ ጊዜ ምርጥ ሂደቶች ያተኮሩ. የእኛን ስልጠና ዝርዝር ያተኮሩ, በ NLP እና በይነገጽ መተግበሪያዎች ውስጥ አፈጻጸም ያካትታሉ, እና ብቃት, የድህናነት እና ከባድ ስዕሎች ላይ ተጽዕኖዎችን ያካትታሉ. በተጨማሪም ሞዴሎች ብዙ ሌሎች መስፈርቶች ያካትታሉ, እና ሞዴሎች በይነገጽ መተግበሪያዎች ላይ የምስክርነት የእኛን ደንበኞች የኮክቶ Jeschonek, Giri Anantharaman, Diego Sarina, Joaquin Colombo, Chris Bray, Stephen Roylance, Kalyan Saladi, Shubho Sengupta, እና Brian O’Horo በጉዞ ላይ የፕላስቲክ ማሸጊያዎች መቁረጥ ለማስተዋወቅ ለማስተዋወቅ ለማስተዋወቅ ለማስተዋወቅ ለማስተዋወቅ ለማስተዋወቅ ለማስተዋወቅ ለማስተዋወቅ ለማስተዋወቅ; Percy Liang, Rishi Bommasani, እና Emily Dinan ለስላሳው ማሸጊያ ሂደቶች ለማስተዋወቅ ለማስተዋወቅ; Carole-Jean Wu ለስላሳነት እና የካርቦን ማሸጊያ ጥያቄዎች ለማስተዋወቅ; Srini Iyer, Ramakanth Pasunuru, እና Shruti Bhos አስተያየቶች ጂ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ.ኤስ. ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ጄስሰን Baumgartner, ቫቫስ Zannettou, Brian Keegan, Megan Squire, እና Jeremy Blackburn. 2020. The pushshift reddit dataset. CoRR, abs/2001.08435. Emily M Bender, Timnit Gebru, Angelina McMillanMajor, and Shmargaret Shmitchell. 2021. በ Stochastic paparazzi's dangers: Can language models be too big? in Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pages 610-623. ጆንታን ቢስክ, ሮቫን ዚልርስ, ሮናን ሉ ብስ, ጂያንፋንግ ጋኦ, እና ጄጂን ሻይ. 2020. Piqa: በቴክኒካዊ ቋንቋ ውስጥ የቴክኒካዊ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥንካሬ ጥን ስድብ ብልክ, ስቲላ ቢይдерሜን, ኤሪክ Hallahan, ኬንቲን ኤንቶኒ, ሊዮ Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang, እና Samuel Weinbach. 2022. Gpt-neox-20b: አንድ አረንጓዴ የፈጠራ ቋንቋ ሞዴል. Su Lin Blodgett, Gilsinia Lopez, Alexandra Olteanu, Robert Sim, and Hanna Wallach. 2021. ስቴሮይፒንግ የኔቨርጂን የልማን: በይነገጽ ውሂብ ስብስቦች ውስጥ በይነገጽ ውሂብ ስብስቦች ውስጥ በይነገጽ ውሂብ ስብስቦች. በኮምፒዩተር የንግድ ሳይንስ ማህበረሰብ የ 59 ኛ ዓመታዊ ስብስቦች እና የ Natural Language Processing International Joint Conference (Total 1: Long Papers), ገጾች 1004-1015, የመስመር ላይ. ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶ Sebastian Borgeaud, Arthur Mensch, Jordan Hoffmann, Trevor Cai, Eliza Rutherford, Katie Millican, George van den Driessche, Jean-Baptiste Lespiau, Bogdan Damoc, Aidan Clark, et al. 2021 በ trillions of tokens ለመግዛት ቋንቋ ሞዴሎች ለማሻሻል. arXiv preprint arXiv:2112.04426. ቲም ብራንድ, ጂንጂን ሜን, ኒክ ሬዲር, ቲም ጂንቢር, ቲም ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂንቢር ጂንቢር, ጂን Nathanael Chambers እና Dan Jurafsky. 2008. የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ (ACL-08: HLT, pages 789–797, Columbus, Ohio). የሲሲኤስ እና የሲሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የሲኤስ እና የ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ ሻንጋይ Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, እና Oyvind Tafjord. 2018. እርስዎ ጥያቄን መልስ በመስጠት ይፈልጋሉ? የ AI2 ግምገማ ልምድ ይሞክሩ. CoRR, abs/1803.05457. Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, እና Rosanne Liu. 2019. ስዕል ሞዴሎች መጫወት እና ይጫወት: ቁጥጥር የተወሰነ ጽሑፍ ለመፍጠር ቀላል መንገድ. arXiv preprint arXiv:1912.02164. Jacob Devlin, Ming-Wei Chang, Kenton Lee, እና Kristina Toutanova. 2019. BERT: የጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉጉci. Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, and Rahul Gupta. 2021. Bold: Dataset and metrics for measuring biases in open-ended language generation. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pages 862–872. Emily Dinan, Gavin Abercrombie, A Stevie Bergman, Shannon Spruit, Dirk Hovy, Y-Lan Boureau, እና Verena Rieser. 2021. e2e talkational ai ውስጥ ደህንነት ችግሮች ለማከናወን: Framework እና tooling. arXiv preprint arXiv:2107.03451. Emily Dinan, Angela Fan, Adina Williams, Jack Urbanek, Douwe Kiela, እና Jason Weston. 2020a. ኬይነቶች ደግሞ ጠንካራ ናቸው: በኮምፒውተር ግምገማዎች አጠቃቀም ውስጥ የጅምላ ቅርጸት ለመቀነስ. በ 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), ገጾች 8173-8188, የመስመር ላይ. Emily Dinan, Samuel Humeau, Bharath Chintagunta, እና Jason Weston. 2019a. መተግበሪያ ደህንነት ለማግኘት ለመፍጠር ይህ መፍጠር: ከባድ ሰው መዳረሻ ከ ጠንካራነት. arXiv preprint arXiv:1908.06083. Emily Dinan, Varvara Logacheva, Valentin Malykh, Alexander Miller, Kurt Shuster, Jack Urbanek, Douwe Kiela, Arthur Szlam, Iulian Serban, Ryan Lowe, Shrimai Prabhumoye, Alan W. Black, Alexander Rudnicky, Jason Williams, Joelle Pineau, Mikhail Burtsev, እና Jason Weston. 2020b. ሁለተኛው የኮርፖሬሽኒካል ኢንጂነሪንግ ፍላጎት (ConvAI2). በ The NeurIPS ’18 Competition, ገጽ 187-208, Cham. Springer International Publishing. Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, እና Jason Weston. 2019b. ዊክፒፒሲ ማይዛር: የታወቀ አጠቃቀም አጠቃቀም አጠቃቀም አጠቃቀም. በዩናይትድ ስቴትስ ኮንፈረንስ (ኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስኤስ) ፎቶዎች: ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች ፎቶዎች Tianyu Gao, Adam Fisch, እና Danqi Chen. 2021b. የተመሠረተ ቋንቋ ሞዴሎች የተሻለ ጥቂት-ተግበሪያዎች ለመፍጠር. በ Computational Linguistics Association የ 59 ኛ ዓመታዊ ስብሰባ እና የ Natural Language Processing 11th International Joint Conference, ACL / IJCNLP 2021 (አል 1: Long Papers), Virtual Event, August 1-6, 2021, ገጾች 3816-3830. የቴምኒት Gebru, ጄሚ Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumé III, እና Kate Crawford. 2021. የዲትስቲክስ ለዲትስቲክስ. አጠቃላይ. ACM, 64(12):86–92. Samuel Gehman, Suchin Gururangan, Maarten Sap, Yejin Choi, እና Noah A. Smith. 2020. RealToxicityPrompts: በጽሑፍ ሞዴሎች ውስጥ የኒውሮል የኮምፒውተር የንግድ ልምድ ልምድ. በ Computational Linguistics Association Results: EMNLP 2020, ገጾች 3356-3369, Online. Udit Gupta, Young Geun Kim, Sylvia Lee, Jordan Tse, Hsien-Hsin S Lee, Gu-Yeon Wei, David Brooks, እና Carole-Jean Wu. 2021. የኮምፒውተር ጥቅል: የኮምፒውተር የአካባቢ ጥቅል. የ IEEE International Symposium on High-Performance Computer Architecture (HPCA 2021). Kaiming He, Xiangyu Zhang, Shaoqing Ren, እና Jian Sun. 2016 በ IEEE Conference on Computer Vision and Pattern Recognition, ገጽ 770-778 ላይ. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, እና Laurent Sifre. አሪ Holtzman, Jan Buys, Maxwell Forbes, እና Yejin Choi. 2020. የኒውሮል ጽሑፍ መፍጨት አስደናቂ ሁኔታ. ArXiv, abs/1904.09751. Abigail Z. Jacobs እና Hanna Wallach. 2021. መጠን እና ትክክለኛነት. በ 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT ’21, ገጽ 375-385, New York, NY, USA. Association for Computing Machinery. የቴክኖሎጂ እና የቴክኖሎጂ ባለሙያዎች, የቴክኖሎጂ እና የቴክኖሎጂ ባለሙያዎች, የቴክኖሎጂ ባለሙያዎች, የቴክኖሎጂ ባለሙያዎች, የቴክኖሎጂ ባለሙያዎች, የቴክኖሎጂ ባለሙያዎች, የቴክኖሎጂ ባለሙያዎች እና የቴክኖሎጂ ባለሙያዎች. Mojtaba Komeili, Kurt Shuster, እና Jason Weston. 2021 ኢንተርኔት-የተቀላቀቱ ዲያሜትር አጠቃቀም. CoRR, abs/2107.07566. Ben Krause, Akhilesh Deepak Gotmare, Bryan McCann, Nitish Shirish Keskar, Shafiq Joty, Richard Socher, እና Nazneen Fatema Rajani. 2020. GEDI: Generative discriminator guided sequence generation. arXiv preprint arXiv:2009.06367. Brian Lester, Rami Al-Rfou, እና Noah Constant. 2021. Parameter-efficient prompt tuning ለ ክብደት ኃይል. CoRR, abs/2104.08691. Hector J Levesque, Ernest Davis, እና Leora Morgenstern. 2011. The Winograd schema challenge. In AAAI Spring Symposium: Logical Formalizations of Commonsense Reasoning, Volume 46, ገጽ 47. ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶዎች: ፎቶ Xiang Lisa Li እና Percy Liang. 2021. Prefix-Tuning: Generation for Continuous Prompts optimizing. ገጽ 4582–4597. Paul Pu Liang, Chiyu Wu, Louis-Philippe Morency, እና Ruslan Salakhutdinov. 2021. በይነገጽ ሞዴሎች ውስጥ ማህበራዊ ትዕዛዞችን ያውቃል. በይነገጽ 6565-66576 ላይ በይነገጽ ዓለም አቀፍ ኮርፖሬሽን ላይ PMLR. ኦፕሪ Lieber, Or Sharir, Barak Lenz, እና Yoav Shoham. 2021. Jurassic-1: የቴክኒክ ዝርዝር እና ግምገማ. የቴክኒክ ሪፖርት, AI21 Labs. Haochen Liu, Jamell Dacon, Wenqi Fan, Hui Liu, Zitao Liu, እና Jiliang Tang. 2019a. በድህረቱ ስርዓቶች ውስጥ ጥንካሬ ለማግኘት የሴፍል ምን ያህል ነው? arXiv preprint arXiv:1910.10486. በ 2020 ዎቹ, በ 2020 ዎቹ, በ EMNLP (Natural Language Processing Empirical Methods Conference) ላይ, ገጾች 8275-8280, የመስመር ላይ የኮምፒውተር ቋንቋ ሳይንስ ማህበር. Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin, እና Weizhu Chen. 2021. gpt-3 ለ ጥሩ በኮንክቶፕ ምሳሌዎች ምን ነው? CoRR, abs/2101.06804. Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, እና Veselin Stoyanov. 2019b. Roberta: አንድ ጠንካራ የተመሠረተ ብስክሌት መተግበሪያ መተግበሪያ. arXiv preprint arXiv:1907.11692. Ilya Loshchilov እና Frank Hutter. 2017 በ adam. CoRR, abs/1711.05101 ውስጥ ክብደት አጠቃቀም. Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riedel, እና Pontus Stenetorp. 2021. Fantastically ordered prompts and where to find them: ጥቂት-shot prompt order sensitivity overcoming. ክላራ ማይስትር, ቲም ቪይራ, እና ሬያን Cotterell. 2020. ምርጥ የመጀመሪያው ብራ ማግኘት. የኮምፒውተር የንግድ ማህበር, 8:795–809. ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ Todor Mihaylov, Peter Clark, Tushar Khot, እና Ashish Sabharwal. 2018. አንድ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ አረንጓዴ Sewon Min, Mike Lewis, Luke Zettlemoyer, እና Hannaneh Hajishirzi. 2021. Metaicl: በኮንክቶፕ ውስጥ ለመፍጠር ማወቅ. Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi, እና Luke Zettlemoyer. 2022. የመሳሰሉትን ተግባር መተግበሪያ: በኮንክቶቲክ መፍጠር ምን ይሰራል? arXiv preprint arXiv:2202.12837. ማርጋት ሚክሌል, Simone Wu, Andrew Zaldivar, Parker Barnes, Lucy Vasserman, Ben Hutchinson, Elena Spitzer, Inioluwa Deborah Raji, እና Timnit Gebru. 2018 ሞዴል ሪፖርት ለ ሞዴል ካርድ. CoRR, abs/1810.03993. የኦሪጂናል Mollas, ሮይ Chrysopoulou, Stamatis Karlos, እና Grigorios Tsoumakas. 2020. ETHOS: አንድ የመስመር ላይ የሙከራ ውሂብ ስብስቦች. CoRR, abs/2006.08328. Nasrin Mostafazadeh, Nathanael Chambers, Xiaodong He, Devi Parikh, Dhruv Batra, Lucy Vanderwende, Pushmeet Kohli, እና James F. Allen. 2016 አንድ ኮርፕስ እና ግምገማ ጥንካሬ ለማግኘት የጋራ ጥንካሬ ታሪክን ለማወቅ. CoRR, abs/1604.01696. Moin Nadeem, Anna Bethke, እና Siva Reddy. 2021. StereoSet: የፈጠራ ቋንቋ ሞዴሎች ውስጥ ስቴሮይፒክ ቅርጸት መጠን. In Association for Computational Linguistics (ACL). የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, የቴክኖሎጂ, Nikita Nangia, Clara Vania, Rasika Bhalerao, እና Samuel R. Bowman. 2020. Crows-pairs: የመስመር ላይ ቋንቋ ሞዴሎች ውስጥ ማህበራዊ ቅርጸት ማረጋገጫ ለማግኘት አንድ ፍላጎት ውሂብ ስብስቦች. arXiv preprint arXiv:2010.00133. ኤሪክ Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, እና Caiming Xiong. 2022. የፕሮግራም ጥንካሬ ለማስተዋወቅ የኮርፖሬሽን ፓርዳሚም. arXiv preprint. Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, et al. 2022. የአካባቢው ግምገማዎች ጋር መመሪያዎችን የሚከተሉትን ቋንቋ ሞዴሎች ለማጠናቀቅ. arXiv preprint arXiv:2203.02155. David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, እና Jeff Dean. 2021 ካርቦን ውፅዓት እና ትልቅ የኒውሮል አውታረ መረብ ስልጠና. arXiv preprint arXiv:2104.10350. ኢታን Perez, Douwe Kiela, እና Kyunghyun Cho. 2021. ቋንቋ ሞዴሎች ጋር እውነተኛ ጥቂት-ተግበሪያ. የኒውሮል መረጃ ሂደት ስርዓቶች ውስጥ ልማት, 34. Fabio Petroni, Tim Rocktäschel, Sebastian Riedel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, እና Alexander Miller. 2019 ቋንቋ ሞዴሎች እንደ ሳይንሳዊ ቁሳቁሶች? በ 2019 Conference on Empirical Methods in Natural Language Processing እና በ 9th International Joint Conference on Natural Language Processing (EMNLPIJCNLP), ገጾች 2463-2473, Hong Kong, ቻይና. Alec Radford, Karthik Narasimhan, Time Salimans, እና Ilya Sutskever. 2018. የንግድ ልምድ ለማሻሻል. የቴክኒክ ሪፖርት, OpenAI. Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, እና Ilya Sutskever. 2019 ቋንቋ ሞዴሎች የፈጠራ ባለሙያዎች ናቸው. የቴክኒክ ሪፖርት, OpenAI. Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, H. Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, Po-Sen Huang, Amelia Glaese, David Budden, Johannes Welbl, Sumanth Dathathri, Chris Saffron Huang, Laurent Sifre, Lena Korving, John Uesato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant M. Ayakemumar, Elena Buchatskaya, David Budden, Igor Sutherland, Karenyan, Mich የኮሊን Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, እና Peter J Liu. በዩናይትድ ስቴትስ-የተኮር transformer በመጠቀም የመተግበሪያ ጥንካሬዎችን ይመልከቱ. The Journal of Machine Learning Research (JMLR), 21:1–67. Anand Rajaraman እና Jeffrey David Ullman. 2011 በካምበርግ ዩኒቨርሲቲ ግምገማዎች. Hannah Rashkin, Eric Michael Smith, Margaret Li, and Y-Lan Boureau. 2019. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5370–5381, Florence, Italy. Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, እና Jason Weston. 2021-የopen-domain chatbot ለመፍጠር ምድቦች. በ Computational Linguistics Association's 16th Conference of the European Chapter: Main Volume, pages 300–325, Online. Keisuke Sakaguchi, Ronan Le Bras, Chandra Bhagavatula, እና Yejin Choi. 2020. Winogrande: በከፍተኛ ደረጃ ላይ አስቸጋሪ ዊንጋጋር ስኬት ፍላጎት. በ AAAI 2020, The Thirty-Second Innovative Applications of Artificial Intelligence Conference, IAAI 2020, The Tenth AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI 2020, New York, NY, USA, February 7-12, 2020, pages 8732-8740. AAAI Press. በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴትስ, በዩናይትድ ስቴት Teven Le Scao እና Alexander M. Rush. 2021. አንድ አግኙን መጠን ምን ያህል ነው? ገጽ 2627– 2636. Timo Schick እና Hinrich Schütze. 2020. ይህ መጠን ብቻ አይደለም: አነስተኛ ቋንቋ ሞዴሎች ደግሞ አነስተኛ ተማሪዎች ናቸው. CoRR, abs/2009.07118. Timo Schick, Sahana Udupa, and Hinrich Schütze. 2021. Self-diagnosis and self-debiasing: A proposal for reducing corpus-based bias in nlp. Transactions of the Association for Computational Linguistics, 9:1408–1424. Rico Sennrich, Barry Haddow, እና Alexandra Birch. 2016 የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ 54 ኛ ዓመታዊ ስብሰባ (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር ቋንቋ ሳይንስ ማህበረሰብ) (የኮምፒውተር Emily Sheng, Kai-Wei Chang, Premkumar Natarajan, እና Nanyun Peng. 2019. የሴት በባባባስቲክ እንደ ጓደኛ ነበር. arXiv preprint arXiv:1909.01326. Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace, እና Sameer Singh. 2020 AutoPrompt: በግልጽ የተፈጥሮ ስዕሎች ጋር ቋንቋ ሞዴሎች ውስጥ የታወቀነት ለመፍጠር. ገጾች 4222-4235. Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, እና Bryan Catanzaro. 2019. Megatron-lm: ሞዴል ተለዋዋጭነት በመጠቀም በርካታ ቢሊዮን ፓራሚተር ቋንቋ ሞዴሎች ለመፍጠር. arXiv preprint arXiv:1909.08053. Kurt Shuster, Mojtaba Komeili, Leonard Adolphs, Stephen Roller, Arthur Szlam, እና Jason Weston. 2022. ቋንቋ ሞዴሎች ያግኙን ያግኙን: ሞዱላር ማመልከቻ እና አጠቃቀም እና ቀጥተኛ መጨረሻ ለማግኘት. arXiv preprint arXiv:2203.13224. Eric Smith, Mary Williamson, Kurt Shuster, Jason Weston, እና Y-Lan Boureau. 2020. እርስዎ ሁሉ ያካትታሉ ይችላሉ: የኮምፒውተር የንግድ አግኝተዋል ችሎታዎችን ያካትታሉ. በኮምፒውተር የንግድ አግኝተዋል የንግድ አግኝተዋል. ሻንዶን ስሜት, ሞስቶфа ፓትቫይ, ብራንድን Norick, ፓትሪክ LeGresley, ሻንዶም Rajbhandari, ሻንዶም Rajbhandari, ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም ሻንዶም Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, et al. 2022. Lamda: ቋንቋ ሞዴሎች መተግበሪያዎች. arXiv preprint arXiv:2201.08239. Trieu H. Trinh and Quoc V. Le. 2018. A simple method for commonsense reasoning. CoRR, abs/1806.02847. ጂንግ Xu, Jing Xu, እና Y-Lan Boureau. 2021. Saferdialogues: የመስመር ላይ ደህንነት ፍላጎቶች በኋላ ተጽዕኖ መውሰድ. ArXiv, abs/2110.07518. የአካዊስ Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, እና Illia Polosukhin. 2017 ይመልከቱ እርስዎ የሚፈልጉት ሁሉ ነው. በኒውሮል መረጃ ሂደት ስርዓቶች ውስጥ ልማት. Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, እና Samuel R. Bowman. 2019 SuperGLUE: በአጠቃላይ ፍላጎት ቋንቋ ልምድ ስርዓቶች ለስላሳ ደረጃ. arXiv preprint 1905.00537. በኤሌክትሮኒክስ እና በኤሌክትሮኒክስ, በኤሌክትሮኒክስ እና በኤሌክትሮኒክስ, በኤሌክትሮኒክስ እና በኤሌክትሮኒክስ, በኤሌክትሮኒክስ እና በኤሌክትሮኒክስ, በኤሌክትሮኒክስ እና በኤሌክትሮኒክስ, በኤሌክትሮኒክስ እና በኤሌክትሮኒክስ. Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, እና Quoc V. Le. 2021 የተመሠረተ ቋንቋ ሞዴሎች አነስተኛ ጫፍ ተማሪዎች ናቸው. CoRR, abs/2109.01652. ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ ፎቶ Laura Rimell, Lisa Anne Hendricks, William Isaac, Sean Legassick, Geoffrey Irving, እና Iason Gabriel. 2021a. ቋንቋ ሞዴሎች ከ ተጽዕኖ የሚሆን የቴክኒካዊ እና ማህበራዊ ተጽዕኖዎች. Laura Weidinger, John Mellor, Maribeth Rauh, Conor Griffin, Jonathan Uesato, Po-Sen Huang, Myra Cheng, Mia Glaese, Borja Balle, Atoosa Kasirzadeh, et al. 2021b. ቋንቋ ሞዴሎች ከ ተጽዕኖ የሚሆን የቴክኒካዊ እና ማህበራዊ ተጽዕኖዎች. arXiv preprint arXiv:2112.04359. Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho, እና Jason Weston. 2020 በዓለም አቀፍ ኮርፖሬሽን ላይ የኒውሮል ኮርፖሬሽን ጋር የኮርፖሬሽን. Carole-Jean Wu, Ramya Raghavendra, Udit Gupta, Bilge Acun, Newsha Ardalani, Kiwan Maeng, Gloria Chang, Fiona Aga Behram, James Huang, Charles Bai, Michael Gschwind, Anurag Gupta, Myle Ott, Anastasia Melnikov, Salvatore Candido, David Brooks, Geeta Chauhan, Benjamin Lee, Hsien-Hsin S. Lee, Bugra Akyildiz, Maximilian Balandat, Joe Spisak, Ravi Jain, Mike Rabbat, እና Kim Hazelwood. 2022 ጤናማ AI: የአካባቢ ተጽዕኖዎች, ፍላጎቶች እና ችሎታዎች. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, እና Emily Dinan. በ Open-Domain chatbots ላይ ደህንነት ለማረጋገጥ የመስመር ላይ ጥቅሞች. arXiv preprint arXiv:2010.07079. Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, እና Emily Dinan. 2021a. የኮምፒውተር ቋንቋ ቴክኖሎጂ ኢንዱስትሪ (Association for Computational Linguistics: Human Language Technologies) የኮምፒውተር ቋንቋ ቴክኖሎጂ ኢንዱስትሪ (Association for Computational Linguistics) የኮምፒውተር ቋንቋ ቴክኖሎጂ ኢንዱስትሪ (Association for Computational Linguistics) የኮምፒውተር ቋንቋ ቴክኖሎጂ ኢንዱስትሪ (Association for Computational Linguistics) የኮምፒውተር ቋንቋ ቴክኖሎጂ ኢንዱስትሪ (Association for Computational Linguistics) የኮምፒውተር ቋንቋ ቴክኖሎጂ ኢንዱስትሪ (Association for Computational Linguistics) የኮምፒውተር Jing Xu, Arthur Szlam, እና Jason Weston. 2021b. Goldenfish memory: Long-term open-domain conversation. arXiv preprint arXiv:2107.07567. Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, እና Yejin Choi. 2019. Hellaswag: አንድ ማሽን በእርግጥ የእርስዎን ግምገማ ማጠናቀቅ ይችላሉ? በ 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers, pages 4791–4800. Yukun Zhu, Ryan Kiros, Richard S. Zemel, Ruslan Salakhutdinov, Raquel Urtasun, Antonio Torralba, እና Sanja Fidler. 2015 መጽሐፍ እና ቪዲዮዎች ለመገናኘት: የቪዲዮዎችን ለመመልከት እና የቪዲዮዎች ለመመልከት የቪዲዮ ልማት መስመር. CoRR, abs/1506.06724. ተጨማሪ ግምገማዎች B ልኬቶች Pre-training • የመጀመሪያው ፕሮግራም: Susan Zhang • ስልጠና መዋቅር እና የመጀመሪያው ablations: Naman Goyal, Myle Ott, Stephen Roller, Sam Shleifer, Susan Zhang • Training efficiency: Naman Goyal, Myle Ott, Sam Shleifer • Data curation እና deduplication: Shuhoi Chen, Myle Ott, Stephen Roller • OPT-175B ስልጠና እና ማረጋገጫ: Mikel Artetxe, Moya Chen, Naman Goyal, Punit Singh Koura, Myle Ott, Sam Shleifer, Kurt Shuster, Daniel Simig, Stephen Roller, Susan Zhang • Training 125M–66B baselines: Naman Goyal, Stephen Roller, Susan Zhang ግምገማዎች • NLP: Xian Li, Xi Victoria Lin, Todor Mihaylov, Stephen Roller, Anjali Sridhar አግኝቷል: Stephen Roller • Responsible AI Evaluations: Punit Singh Koura, Stephen Roller, Tianlu Wang Moya Chen, Stephen Roller, Luke Zettlemoyer, ሻንሰን ሻንሰን Paper writing: Christopher Dewan, ሻንሰን ጃንግ Code release preparation: Mona Diab, ሻንሰን ጃንግ Responsible AI conduct: የ DATA ተከታታይ Gebru et al. (2021) የተመሠረተ ግምገማዎች ይከተሉ እና የ OPT ሞዴሎች ለመፍጠር ጥቅም ላይ ውሂብ ካርድ ይሰጣሉ. C.1 ትኩረት የ OPT-175B ሞዴል ለማጠናቀቅ የ pre-training ውሂብ, በ RoBERTa (Liu et al., 2019b), በ Pile (Gao et al., 2021a) የተጠቀሙ የ 3 ውሂብ ስብስቦች ጨምሮ, በ Pushshift.io Reddit ውሂብ ስብስቦች ጋር በ (Baumgartner et al., 2020) የተገነባ እና በ (Roller et al., 2021) የተሰራ በ (Roller et al., 2021) የተገነባ ነበር. • For what purpose was the dataset created? Was there a specific task in mind? Was there a specific gap that needed to be filled? Please provide a description. መኖሪያ ቤት AI. • Who created the dataset (e.g., which team, research group) and on behalf of which entity (e.g., company, institution, organization)? መኖሪያ ቤት AI. • Who funded the creation of the dataset? If there is an associated grant, please provide the name of the grantor and the grant name and number. • አነስተኛ ምንም Any other comments? C.2 Composition የኮምፒውተር ማመልከቻ ስርዓቶች (ኮምፒውተር ማመልከቻ ስርዓቶች) እና የኮምፒውተር ማመልከቻ ስርዓቶች (ኮምፒውተር ማመልከቻ ስርዓቶች) ያካትታል.The overall dataset is composed of a union of the following datasets: • What do the instances that comprise the dataset represent (e.g., documents, photos, people, countries)? Are there multiple types of instances (e.g., movies, users, and ratings; people and interactions between them; nodes and edges)? Please provide a description. – BookCorpus (Zhu et al., 2015) ከ 10K በላይ የተመሠረተ መጽሐፍ ያካትታል – CC-Stories (Trinh እና Le, 2018) የ CommonCrawl ውሂብ ክፍሎች ያካትታል, Winograd ቅርጸቶች ጋር ተስማሚ ቅርጸት ያካትታል – የ Pile (Gao et al., 2021a) ከ የሚከተሉትን ያካትታል: አግኝቷል CC በ OpenWebText2 አግኝቷል ፕሮጀክቱ Gutenberg * OpenSubtitles * በ Wikipedia * የሙዚቃ ዲግሪ * HackerNews – Pushshift.io በ Baumgartner et al. (2020) የተገነባው እና በ Roller et al. (2021) የተሰራ የ Reddit dataset. – CCNewsV2 በ RoBERTa ውስጥ ጥቅም ላይ የተጠቃሚ CommonCrawl News dataset የንግሊዝኛ ክፍሎች የተሻሻለው ስሪት ያካትታል (Liu et al., 2019b) የሙከራ ውሂብ 180B ቶኮችን ያካትታል, ይህም 800 GB ውሂብ ጋር ተመሳሳይ ነው. • How many instances are there in total (of each type, if appropriate)? የ CC-stories dataset የ CommonCrawl data subset ያካትታል.The rest of the dataset was collected from the aforementioned sources, reformatted, and deduplicated. የ CC-stories data set contains a subset of CommonCrawl data filtered to match the story-like style of Winograd schemes.The rest of the dataset was collected from the above sources, reformatted, and deduplicated. • Does the dataset contain all possible instances or is it a sample (not necessarily random) of instances from a larger set? If the dataset is a sample, then what is the larger set? Is the sample representative of the larger set (e.g., geographic coverage)? If so, please describe how this representativeness was validated/verified. If it is not representative of the larger set, please describe why not (e.g., to cover a more diverse range of instances, because instances were withheld or unavailable). እያንዳንዱ ኮምፒውተር የ Raw Text Data ያካትታል. • What data does each instance consist of? “Raw” data (e.g., unprocessed text or images) or features? In either case, please provide a description. ምንም • Is there a label or target associated with each instance? If so, please provide a description. No. • Is any information missing from individual instances? If so, please provide a description, explaining why this information is missing (e.g., because it was unavailable). This does not include intentionally removed information, but might include, e.g., redacted text. በእያንዳንዱ ክፍሎች መካከል የተወሰነ ግንኙነት አይሆንም. • Are relationships between individual instances made explicit (e.g., users’ movie ratings, social network links)? If so, please describe how these relationships are made explicit. የ Pre-training ውሂብ ከ 200 ሜባ መጠን ያለው በሽያጭ ማረጋገጫ ስብስቦች ይሰጣሉ, የ Pre-training corpus ውስጥ እያንዳንዱ ውሂብ ስብስቦች መጠን በሽያጭ ውሂብ መጠን በሽያጭ ውሂብ መጠን በሽያጭ ውሂብ. • Are there recommended data splits (e.g., training, development/validation, testing)? If so, please provide a description of these splits, explaining the rationale behind them. Outside of naturally occurring duplication from potential overlaps between the datasets, there are no other redundancies, errors, or sources of noise that we add. • Are there any errors, sources of noise, or redundancies in the dataset? If so, please provide a description. • አነስተኛ ይህ ራስን ያካትታል. Is the dataset self-contained, or does it link to or otherwise rely on external resources (e.g., websites, tweets, other datasets)? ውሂብ አጠቃቀም ክፍሎች በአጠቃቀም Common Crawl ውሂብ ክፍሎች ናቸው, እንዲሁም በአጠቃቀም Reddit ውሂብ ክፍሎች ጋር, እነዚህን ክፍሎች በግልጽ ይመልከቱ ከሆነ, ትክክለኛውን ሊሆን ይችላል, ትክክለኛውን ሊሆን ይችላል, ትክክለኛውን ሊሆን ይችላል, ትክክለኛውን ሊሆን ይችላል, ወይም በግልጽ ሊሆን ይችላል. • Does the dataset contain data that, if viewed directly, might be offensive, insulting, threatening, or might otherwise cause anxiety? If so, please describe why. እነዚህን ውሂብ አንዳንድ ሰነዶች ሰዎች ጋር የተያያያዘ ናቸው, ለምሳሌ ዜና ጽሑፎች, ዊክፒፒታል ዝርዝር, ወዘተ. • Does the dataset relate to people? If not, you may skip the remaining questions in this section. አዎ, ውሂብ አጠቃቀም በግልጽ የ subpopulation መታወቂያ ያካትታሉ. • Does the dataset identify any subpopulations (e.g., by age, gender)? If so, please describe how these subpopulations are identified and provide a description of their respective distributions within the dataset. ምንም • Any other comments? C.3 ማከማቻ ሂደት N/A. የዲትስቲክ (Data Set) በአጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ አጠቃላይ ነው. • How was the data associated with each instance acquired? Was the data directly observable (e.g., raw text, movie ratings), reported by subjects (e.g., survey responses), or indirectly inferred/ derived from other data (e.g., part-of-speech tags, model-based guesses for age or language)? If data was reported by subjects or indirectly inferred/derived from other data, was the data validated/verified? If so, please describe how. • አነስተኛ ውሂብ በይነገጽ ላይ ውሂብ ተውቷል. What mechanisms or procedures were used to collect the data (e.g., hardware apparatus or sensor, manual human curation, software program, software API)? How were these mechanisms or procedures validated? እባክዎ ከባድዎን እንዴት ለመፍጠር ከባድዎን ለማግኘት ከባድዎን ለማግኘት ከባድዎን ለማግኘት ይመልከቱ. • If the dataset is a sample from a larger set, what was the sampling strategy (e.g., deterministic, probabilistic with specific sampling probabilities)? እነዚህ ውሂብ ማምረቻ, ማጣሪያ እና ማሽኖች በሽያጭ ናቸው. • Who was involved in the data collection process (e.g., students, crowdworkers, contractors) and how were they compensated (e.g., how much were crowdworkers paid)? የ CC-News Dataset በ 2016 እና 2021 መስከረም መካከል የንግሊዝኛ ዜና ጽሑፎች ያካትታል. • Over what timeframe was the data collected? Does this timeframe match the creation timeframe of the data associated with the instances (e.g., recent crawl of old news articles)? If not, please describe the timeframe in which the data associated with the instances was created. ምንም • Does the dataset relate to people? If not, you may skip the remainder of the questions in this section. • አነስተኛ N / A Did you collect the data from the individuals in question directly, or obtain it via third parties or other sources (e.g., websites)? N / A • Were the individuals in question notified about the data collection? If so, please describe (or show with screenshots or other information) how notice was provided, and provide a link or other access point to, or otherwise reproduce, the exact language of the notification itself. N / A • Did the individuals in question consent to the collection and use of their data? If so, please describe (or show with screenshots or other information) how consent was requested and provided, and provide a link or other access point to, or otherwise reproduce, the exact language to which the individuals consented. N / A • If consent was obtained, were the consenting individuals provided with a mechanism to revoke their consent in the future or for certain uses? If so, please provide a description, as well as a link or other access point to the mechanism (if appropriate). አንዳንድ የሞክሲክ እና የባህላዊ ግምገማዎች ተመራማሪዎች ተመራማሪዎች ተመራማሪዎች ተመራማሪዎች ተመራማሪዎች ተመራማሪዎች ተመራማሪዎች ተመራማሪዎች. • Has an analysis of the potential impact of the dataset and its use on data subjects (e.g., a data protection impact analysis) been conducted? If so, please provide a description of this analysis, including the outcomes, as well as a link or other access point to any supporting documentation. ምንም • Any other comments? C.4 የፈጠራ / ማጣሪያ / ማሸጊያ የኮምፒውተር ውሂብ ስብስቦች መደበኛ መቁረጫ እና re-formatting ዘዴዎችን ያካትታሉ, እንደ "Chapter One" ወይም "This ebook by Project Gutenberg" እንደ repetitive / non-informative ጽሑፍ መቁረጫ ያካትታል. • Was any preprocessing/cleaning/labeling of the data done (e.g., discretization or bucketing, tokenization, part-of-speech tagging, SIFT feature extraction, removal of instances, processing of missing values)? If so, please provide a description. If not, you may skip the remainder of the questions in this section. The “raw” component datasets is publicly available in their respective locations (more details can be seen in the respective papers linked in references). • Was the “raw” data saved in addition to the preprocessed/cleaned/labeled data (e.g., to support unanticipated future uses)? If so, please provide a link or other access point to the “raw” data. ምንም • Any other comments? C5 አጠቃቀም አዎ, ይህ ውሂብ ስብስቦች የ OPT ሞዴሎች ለማከናወን ጥቅም ላይ ነበር. • Has the dataset been used for any tasks already? If so, please provide a description. • አነስተኛ https://github.com/የፌስቡክ ምርምር/ metaseq Is there a repository that links to any or all papers or systems that use the dataset? If so, please provide a link or other access point. እነዚህ ውሂብ ለብዙ የአሁኑ እና የሥራ ቋንቋ ተግባራት የተመሰረተ ቋንቋ ሞዴሎች ለማከናወን ሊጠቀሙ ይችላሉ. • What (other) tasks could the dataset be used for? ይህ ውሂብ ስብስቦች ለመፍጠር የፓይፕሮይድ የሽያጭ ውሂብ ስብስቦች ለ scalable ውሂብ ስብስቦች ለመፍጠር መንገድ ይሰጣል. • Is there anything about the composition of the dataset or the way it was collected and preprocessed/cleaned/labeled that might impact future uses? For example, is there anything that a future user might need to know to avoid uses that could result in unfair treatment of individuals or groups (e.g., stereotyping, quality of service issues) or other undesirable harms (e.g., financial harms, legal risks) If so, please provide a description. Is there anything a future user could do to mitigate these undesirable harms? በአሁኑ ጊዜ ማንኛውም ሰው ያውቃል. • Are there tasks for which the dataset should not be used? If so, please provide a description. ምንም • Any other comments? C.6 አጠቃቀም በዚህ ጊዜ አይደለም. • Will the dataset be distributed to third parties outside of the entity (e.g., company, institution, organization) on behalf of which the dataset was created? If so, please provide a description. • አነስተኛ N / A How will the dataset will be distributed (e.g., tarball on website, API, GitHub)? Does the dataset have a digital object identifier (DOI)? N / A • When will the dataset be distributed? N / A • Will the dataset be distributed under a copyright or other intellectual property (IP) license, and/or under applicable terms of use (ToU)? If so, please describe this license and/or ToU, and provide a link or other access point to, or otherwise reproduce, any relevant licensing terms or ToU, as well as any fees associated with these restrictions. N / A • Do any export controls or other regulatory restrictions apply to the dataset or to individual instances? If so, please describe these restrictions, and provide a link or other access point to, or otherwise reproduce, any supporting documentation. ምንም • Any other comments? C.7 ማከማቻ መኖሪያ ቤት AI. • Who is supporting/hosting/maintaining the dataset? • አነስተኛ ዋናው ጽሑፍ ያውቃል. How can the owner/curator/manager of the dataset be contacted (e.g., email address)? N / A • Is there an erratum? If so, please provide a link or other access point. ምንም የቅርብ ጊዜ ማሻሻያ ፕሮግራም. • Will the dataset be updated (e.g., to correct labeling errors, add new instances, delete instances)? If so, please describe how often, by whom, and how updates will be communicated to users (e.g., mailing list, GitHub)? N / A • If the dataset relates to people, are there applicable limits on the retention of the data associated with the instances (e.g., were individuals in question told that their data would be retained for a fixed period of time and then deleted)? If so, please describe these limits and explain how they will be enforced. N / A • Will older versions of the dataset continue to be supported/hosted/maintained? If so, please describe how. If not, please describe how its obsolescence will be communicated to users. በአሁኑ ጊዜ ምንም መሣሪያ ይገኛል. • If others want to extend/augment/build on/contribute to the dataset, is there a mechanism for them to do so? If so, please provide a description. Will these contributions be validated/ verified? If so, please describe how. If not, why not? Is there a process for communicating/ distributing these contributions to other users? If so, please provide a description. ምንም • Any other comments? D ሞዴል ካርድ Mitchell et al. (2018), ለ OPT-175B አንድ ሞዴል ካርድ ያቀርባል. D.1 ሞዴል ዝርዝር • አነስተኛ OPT-175B በ Meta AI የተገነባው ነው. Person or organization developing model: • አነስተኛ OPT-175B በ 3 May 2022 ላይ ተንቀሳቃሽ ነበር. Model date: • አነስተኛ የ OPT-175B በዚህ ጽሑፍ ውስጥ የሚታወቀው ስሪት 1.0.0 ነው. Model version: OPT-175B አንድ ትልቅ decoder-only transformer ቋንቋ ሞዴል ነው. • Model type: OPT-175B በ AdamW ጋር ከ 125M እስከ 175B ወደ መጠን መጠን ለማግኘት የተመሠረተ ነበር. በ Data Card (የተግበሪያ ውሂብ መረጃን ለማግኘት C) እና የፈጠራ ሂደት መረጃ ለማግኘት Section 2.2 - 2.5 ይመልከቱ. • Information about training algorithms, parameters, fairness constraints or other applied approaches, and features: የ OPT-175B እና በ Meta AI Research Blog ላይ ተመሳሳይ ልጥፍ ላይ ተጨማሪ መረጃ ለማግኘት በዚህ ወረቀትን ይመልከቱ. ተጨማሪ መረጃ ደግሞ በ metaseq, የእኛን የopen-source ማረፊያ ውስጥ ይገኛሉ.12 • Paper or other resource for more information: OPT-175B እና አነስተኛ የመጨረሻ ሞዴሎች የእኛን ሞዴል ማረጋገጫ ውስጥ የተመዘገቡ የኮምፒዩተር መጠቀም የክፍያ ትዕዛዞች በኩል ይሰጣሉ.13 • License: • አነስተኛ ማንኛውም ጥያቄ ወይም አስተያየት በ {susanz,roller,namangoyal}@fb.com ያነጋግሩ. Where to send questions or comments about the model: D.2 የሚፈልጉትን ተጠቃሚዎች የ OPT-175B ለወደፊቱ ምልክት ሞዴሎች ምርምር ለማግኘት ይመዝገቡ, በተለይም ለወደፊቱ የቴክኒካዊ መሳሪያዎችን ያካትታል. ለወደፊቱ ተጨማሪ ዝርዝሮች ለማግኘት 6 ክፍል ይመልከቱ. የ ሞዴል እንዴት እንደሚጠቀሙ መረጃ በ metaseq, የእኛን የፕሬስ ኮድ ማረፊያ ላይ ይገኛል. • Primary intended uses: እኛ በዋናነት ምርምር ባለሙያዎች እና የተወሰነ ምርምር ማህበራዊነት ላይ መተግበሪያ ናቸው. • Primary intended users: • አነስተኛ OPT-175B ምርት መጠቀም ወይም እውነተኛ ዓለም መተግበሪያዎች ለማግኘት አይፈተም. በ 5 ክፍል ውስጥ እንደ OPT-175B, ተመሳሳይ ትልቅ ቋንቋ ሞዴሎች እንደ, የንግድ መተግበሪያዎች ለረጅም ጊዜ ሊሆን ይችላል የተለያዩ ጥቅሞች አለው. Out-of-scope use cases: D.3 መረጃዎች, መስፈርቶች እና መመሪያዎች የ OPT-175B ስልጠና ውሂብ በስፋት እና አጠቃቀም ጥቅል ላይ የተመሠረተ ነበር. የእኛን ውሂብ ካርድ (የተግበሪያ C) የእኛን ሞዴል ስልጠና ላይ ጥቅም ላይ ውሂብ ተጨማሪ መረጃ ለማግኘት ይመልከቱ. • Data selection for training: • አነስተኛ በዚህ ጽሑፍ ውስጥ የተመሠረተ ግምገማዎች በጽሑፍ ውስጥ ተመሳሳይ መጠን ሞዴሎች ጋር ተመሳሳይ አፈጻጸም ግምገማዎችን ለማቅረብ የተመሠረተ ናቸው. በአጠቃላይ ትልቅ ቋንቋ ሞዴሎች ደህንነት እና አስተማማማኝነት ላይ ማህበራዊ ግምገማዎችን ያካትታሉ, እኛም በግልጽ የፈጠራ AI ግምገማዎችን ይሰጣሉ (የተግበሪያ ክፍል 4 ይመልከቱ). Data selection for evaluation: የ OPT-175B የሙከራ ውሂብ መካከል የተለያዩነት (ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ-ወደ • Limitations: የ OPT-175B ማውረድ, እንዲሁም የእኛን ሞዴል ስልጠና ሂደት ስለ መረጃ ጋር, በግል እና ምናልባት ቋንቋ ሂደት እና በአጠቃላይ ጥንካሬ መግዛት ውስጥ ሁለቱም ትልቅ ቋንቋ ሞዴሎች ላይ የፈጠራ ሳይንስ ለማሻሻል ይሆናል. • Recommendations for future work: ሞዴል ምርት ምርት ለሁሉም ሞዴል ውፅዓት, የመጀመሪያው ትዕዛዞች ጠንካራ ነው, እና ከሌሎች የቅርብ ጊዜ ነው. እነዚህ ሞዴል ውፅዓት የ OPT-175B ሞዴል ስኬታማነት እና ስኬታማነት ሁለቱም ይሰጣሉ. ይህ ጽሑፍ በ CC by 4.0 Deed (Attribution 4.0 International) ዝርዝር ላይ ይገኛል. ይህ ጽሑፍ በ CC by 4.0 Deed (Attribution 4.0 International) ዝርዝር ላይ ይገኛል.