MIT-ийн судалгаа нь AI-ийн бусад AI-ийн загварыг суралцах боломжтой гэж үздэг

AI загвар, хүний мозг хооронд хамгийн их янз бүрийн юу вэ? Өнгөрсөн үед, олон тооны хариултууд өгдөг байна - биеийн эрчим хүчний үр ашигтай, илүү янз бүрийн хэв маягтай, химийн тоног төхөөрөмж, цахилгаан байх гадна - гэхдээ хүний биеийн хамгийн чухал шинж чанар нь гайхалтай хуванцартой юм. Хэрвээ тунгийн биеийн хэсэг (жишээ нь дор, рук, эсвэл түүнээс дээш бүгд) хавсаргаж байгаа бол, биеийн энэ хэсэгт харьцуулахад мэдрэгчнэл хөдөлгүүрийн бүс, одоо холбогдсон нервгүй байгаа бол, нейроны "шуулгах" нь бусад нерв төвүүд хянах тусалдаг. Биерийн эд анги. Пластицид нь хүндийн санаа, чадварыг олж туслахыг туслахын тулд туслах болно. Энэ хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэрийн хэлбэ Энэ нийтлэлд бид алдартай хэлний загвар (SEAL) гэж нэрлэдэг, дэлхийд анхны алдартай AI-ийн мораль, технологийн нөлөө үзэж байна. Өнгөрсөн Өөрөө гүйцэтгэл сайжруулах Эдүүлбэр / Imperfect Learning Ямар ч, Трансформер архитектур ашиглан AI загварыг ашиглах загварууд нь зарим үйл явдлыг суралцах боломжтой байсан боловч энэ нь маш автоном, үр ашигтай биш юм. Морилно уу загварууд нь тодорхой чадварыг гүйцэтгэхийн тулд хамгийн алдартай арга юм. Энэ загварууд нь англи хэлний хэлний хэлний хэл хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлний хэлбэрээр ашиглаж байсан юм. Хэрэв та SFT-ийг гүйцэтгэхийн тулд хүсэж байгаа томоохон үйл явцыг тодорхойлох. Жишээ нь, орчин үеийн дууны текст үүсгэхийн тулд жишээ гэж үзнэ үү. Бидний жишээ нь, энэ хийх явжтай боловч асуултуудтай арга нь зүгээр л интернет-аас хуваалцсан дууны текст ашиглаж, дууны агуулга, шинж чанарыг харьцуулах. загвар дээр SFT хийх. Энэ нь ихэвчлэн Gradient Descent гэж нэрлэдэг үйл явцыг дамжуулан хийж байгаа бөгөөд энэ нийтлэлд техникийн ач холбогдолтой тайлбарлагдаж чадахгүй байна. Судалгааны олон удаагийн хувьд энэ үйл явцыг загварын жинүүд өөрчилж, энэ нь харьцуулахад харьцуулахад (зөвлөгөөний тодорхой тодорхой тодорхойлолт) output-тай харьцуулах боломжтой юм. Нийтэлсэн Бүх зорилгоор, зорилгоор, SFT ажиллаж байсан, AI хөгжүүлэгчдийн репертуар дотор тусгай аюулгүй байдлын хязгаарлалыг олж авах, эсвэл тусгай үйл явц дээр AI-ийн гүйцэтгэлийг сайжруулах хэрэгсэл юм. Үнэндээ, SFT-ийн байгалийн нь үйл явц нь хялбар, үнэтэй байсан бөгөөд ихэвчлэн тохируулсан хариу талтай өндөр чанартай өгөгдөл (жишээ нь Математик асуултууд, Грамматик хэлбэр). Олон судалгааны өгөгдөл нь синтетик, AI-ийн үүсгэсэн өгөгдлийг ашиглаж болохыг харуулсан боловч SFT нь давуу талтай ашиглах хэрэгсэл юм, загварыг өөрчлөх загварууд нь бусад төрлийн туршилтын загварын загварууд дахь загварын үр дүнтэй нөлөөлж болно (математик Эволюцийн Inklings Ангилал: Энэ хэсэгт мэдээллийг ихэвчлэн MIT-ийн June-ийн судалгаа "Self-Adapting Large Language Models" нь Zweiger et al. Self-Adapting том хэлний загварууд Self-Adapting том хэлний загварууд Тээвэртэй SFT-ийн хязгаарлалт нэг нь үргэлж хүний үйл ажиллагаатай байсан—SFT-ийн хоолой нь ихэвчлэн хүний AI-ийн судлаачид хийх ёстой байсан боловч энэ нь тодорхой загвар нь зарим төрлийн үйл явдлыг багасгахын тулд үр дүнтэй арга юм. Синтетик өгөгдлийн хамгийн сүүлийн үеийн дэвшилтэттай хандахын тулд судлаачид AI-ийн үүсгэсэн SFT-ийн өгөгдлийг зүгээр л ашиглах талаархи мэдрэмжийг хуваалцсан, хүний SFT хоолой нь бүрэн гаралтай байж болохыг хүсч байна. Тэдний хариу, Self-Adapting Language Model (SEAL) -ийг үнэхээр урьдчилан боловсруулсан SFT-ийн өгөгдлийн нэг хэсэг юм. (Энэ судалгаа нь тусгай туршилтын тохиолдолд LLaMa-3.2 болон Qwen-2.5B, хоёр нээлттэй эх сурвалж загварыг ашигладаг), "инструмент гүйцэтгэлийн" програм хангамж, SEAL сүлжээний тусгаарлагдмал зорилготой хэд хэдэн бенчмаркинг асуултуудыг хариулах ( SEAL сүлжээ нь үнэхээр асуултуудын хариу урьдчилан сэргийлэх, үүсгэх биш юм - Үүнээс гадна, энэ нь зөвхөн декодер дээр трансформатор загвар дээр SFT-ийг гүйцэтгэхийн тулд төвлөрсөн юм. Эдгээр үйл явдлын хувьд, SEAL сүлжээнд хоёр гол хэрэгсэл олгоно: Decoder-only трансформатор загвар Баримтлал загвар Decoder-only трансформатор загвар Синтетик өгөгдлийн үүсгэх: Энэ хэрэгсэлээр зочлохын тулд бусад сүлжээнд контекст (хэдийгээр суралцаж) олж авах, SFT-ийн хуудсуудыг үүсгэх болно. Жишээ нь, нисэх онгоцны хөгжүүлэх түүхэн талаар нэг хуудсуудтай бол нэг тунинг хуудсууд байж болох юм (“Хэдийгээр анхны арилжааны Jet Airliner байсан вэ?”, “De Havilland Comet”). Хэдийгээр асуултууд, хариултууд хэлбэрээр ихэвчлэн ашиглаж байсан боловч энэ хэрэгсэл нь тодорхой асуултуудын хэрэгцээг илүү тохиромжтой бусад төрлийн агуулгыг үүсгэдэг. Hyperparameter tuning: Өмнөх хэлбэрийн дагуу, SFT нь хэд хэдэн итертацид өөрчилсөн үйл явц юм; сургалтын шатанд нарийвчлалтай тохируулга нь Hyperparameter tuning гэж нэрлэдэг үйл явцд өөрчилж болно. Эдгээр хэрэгсэл гэж нэрлэдэг үед, SEAL нь тодорхой тохируулгатай SFT-ийг эхлүүлэх боломжтой (жишээ нь Learning Rate, # of Epochs (итертацид), эсвэл Gradient Descent-ийн хуудсууд), үр дүн нь декодер хэрхэн тохируулсан юм. Hyperparameter Туннинг SEAL-ийн AI загвар суралцахад туслахын тулд хоёр хүчтэй арга хэрэгсэл байдаг. Энэ нь тэднийг ашиглах талаар сургах хэрэгтэй. Сургалтын эхлэхэд SEAL-ийн бүрийн бенчмаркинг асуултанд хязгаарлалттай хоёр арга хэрэгсэл ашигладаг. Эдгээр self-edits (SEs, судлаачид тэднийг нэрлэдэг гэж нэрлэдэг) үйл явцад контекст, гэхдээ хэлбэрийн биш, тохиргооны өгөгдлийг үүсгэх, эхний decoder-only загвар ашигладаг. Хамгийн алдартай hyperparameter tuning шатанд ашиглаж, сүлжээний өмнөээс өөр өөр output үйлдвэрлэдэг. Гэсэн хэдий ч, энэ нь хязгаарлалттай байдаг. судлаачид зүгээр л эхний загвар ( θ гэж нэрлэдэг) шууд SEAL нь θ. Сургалтын үйл явц одоо шинэ загвар θ' болон анхны бенчмаркинг асуултанд агуулсан "төрвөн хоолой" хоосон байна. Хэрэв загвар, энэ бенчмаркинг асуултанд хариу, Эхний загвар θ-ээс дээш нарийвчлалтай, "дүүнээс дээш дугуй" нь идэвхтэй урамшуулалтай сигнал өгдөг. Хэрэв тавтай морилно уу, энэ нь ямар ч урамшуулал өгдөг. Хэрэв θ' нь бенчмаркинг асуултанд суурилсан богино гэж үзэж байгаа бол энэ үйл явц нь негатик урамшуулал өгдөг. Одоо энэ үйл явцад Reinforcement Learning-ийн класик жишээ нь зүгээр л өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр Зөвлөгөө Илүү Шинэ загвар бүтэц хөгжүүлэх нь хязгааргүй үйл явдал юм, ихэвчлэн энэ нь суралцаж байх ёстой нь суралцаж, суралцах хооронд "сигналуулах" -д байгалийн мэдлэг, алдааны шатанд хязгааргүй байх ёстой. Суралцажчид decoder-only трансформатор загварууд ашиглан эдгээр эрсдлийг хатуу талтай. Тэд хэрэглэгддэг бенчмаркинг туршид сургалттай байсан бөгөөд энэ нь туршилтын туршилтаас анх удаа тэд бүрийн асуудалтай байдаг гэж хэлсэн бөгөөд загвар нь зүгээр л "хэвч туршилтаас суралцах" боломжийг бууруулж байна. Үүнээс гадна, загвар θ' дээрх туршилтаас θ-аас бүрэн байгалийн бөгөөд анхны загвар нь өөрчилж чадахгүй байсан бөгөөд SEAL-ийн θ-ийн шинэ инстанцийг бий болгохын тулд SFT-ийг хийх үед бүх удаа энэ нь эцсийн θ дээр суурилсан байх болно. Үнэгүй Бүтээгдэхүүний үр дүнд гайхамшигтай байсан; шинжлэх ухааны судлаачид ажиллуулсан нэг янз бүрийн бенчмаркинг туршид, загвар нь 72.5% -ийг амжилттай, 0% -ийг SEAL-ийн тохиргоог тохиргооггүйгээр нэмэгдэж, тэдний framework-ийн гайхамшигтай потенциалыг харуулдаг. Хэрэв энэ framework-ийг боловсруулсан, холист integrated, энэ framework-ийг тусгай чиглэлээр эсвэл ерөнхийдөө AI-ийн гүйцэтгэлийг сайжруулах нь шинэ аж үйлдвэрийн стандартыг бий болгож болно. Энэ нийтлэл Бидний AI, оюутнуудын байгуулагдсан, оюутнуудын удирдах AI Ethics байгууллага нь оюутнуудын талаархи үзүүлэлтүүд нь орчин үеийн хэвлэл мэдээллийн талаарх талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи Энэ нийтлэл нь оюутнуудад суурилсан, оюутнуудад суурилсан АИ-ийн этикийн байгууллага, оюутнуудын оюутнуудад оюутнуудад харьцуулагддаг. Хэрэв та энэ нийтлэлтэй дуртай бол бидний сарын нийтлэл, эксклюзив нийтлэл дээр үзнэ үү. ! https://www.our-ai.org/ai-nexus/read Одоогоор суралцах, эсвэл суралцахгүй? Ямар ч техникийн үр дүнд судалгааны багны үр дүнг ямар ч гайхалтай юм, энэ олборлолт нь өргөн хүрээтэй нийгмийн, философ хэлбэрийн үр дүнг ихээхэн хэмнэх болно. Биологийн компьютерийн эх сурвалжуулалтууд нь бичлэгийн критик байсан юм. Энэ нь ) Биологийн компьютерийн хэрэглэгддэг шиг нейрон цуглуулаг нь байгалийн эрхтэй байдаг, учир нь тэд одоо ч байтугай суралцаж чадвартай байдаг, гэхдээ тэр ч байтугай plasticity-ийн үр дүнд байгалийн хөгжилтэй байж болох гэж бодож байна. SEAL нь бенчмаркинг ажиллагаанд загварыг сайжруулдаг загварыг сайжруулдаг. Энэ нь анхны тохиромжтой AI сургалтын бүтэц юм. Энэ нь AI-ийн загвар нь өөр нэг AI-ийг шууд боловсруулсан чадвартай юм. Энэ нь бид AGI-ийн нэгтгэлтийг боловсруулсан эцсийн арга зам дээр байж болохыг харуулж байна. Энэ нь AI-ийн энэ загваруудтай боловсруулах чадвартай гэж бодож байна. Эпизод May хувилбар Энэ нь Nexus Magazine May хувилбар Энэ нь Nexus Magazine Энэ нь Nexus Magazine Адаптацид, мэдлэгдэх талаар янз бүрийн онцлог байдаг. Бид зүрхний шүршүүр дээр шахах боломжийг олгодог гэж бид мэддэг бөгөөд энэ нь үр нөлөөтэй байж болох боловч энэ нь нервгүй байгаа тул бодисуулын эмийн мэдрэмжийг мэддэггүй. Гэсэн хэдий ч, зүрхний шүршүүр Бид, Гэсэн хэдий ч, жинхэнэ жинхэнэ, тэд өөрсдийн байлгах нь тэдний байлгах нь байлгах нь тэдний байлгах нь гайхамшигтай чадварыг харуулж байна. Бид жинхэнэ, тэд жинхэнэ мэдэж байгаа тул энэ нь жинхэнэ юм гэж бодис мэдэрч байна - жинхэнэ байлгах, морилно уу - жинхэнэ байлгах нь маш их харьцуулахад - жинхэнэ байлгах, морилно уу - хүн, жинхэнэ байлгах нь харьцуулахад харьцуулахад жинхэнэ. Жишээ нь, жинхэнэ байлгах - тэд жинхэнэ байлгах, ихэнх үндсэн эрхтэй гэж нэрлэдэг. Гэсэн хэдий ч, Биологийн эволюцийн үндсэн байлгах нь маш их байлгах; AI загварууд Энэ нь 70% гаруй тохиолдолд хүний юм. Бүртгүүлэх Хүний асуултыг амжилттай хангах Хэрэв AI загварын бүх аспектд хүн шиг ажилладаг бол энэ нь хэзээ ч хүн гэж нэрлэдэг вэ? AI-ийн эволюцийн үзүүлэлт нь тавтай морилно уу, тохиолдолд тавтай морилно уу загварууд нь "хувийн" байх эмчилгээний хязгаарлалыг харуулдаг вэ? Зохиогчийн эрх Thomas Yin