OpenAI 2022 оны сүүлээр ChatGPT-г эхлүүлэхэд баяр баясгалан, түгшүүр төрүүлэв. Генератив хиймэл оюун ухаан нь эссэ бичих, кодлох асуудлыг шийдвэрлэх, тэр ч байтугай урлагийг бүтээх гайхалтай боломжийг харуулсан. Гэхдээ энэ нь байгаль орчны мэргэжилтнүүд, судлаачид, технологичдын дунд түгшүүр төрүүлэв. Хамгийн их санаа зовоосон зүйл? Том хэлний загваруудыг (LLMs) сургаж, ажиллуулахад шаардагдах асар их эрчим хүчний хэрэглээ нь тэдний урт хугацааны тогтвортой байдлын талаар асуултуудыг төрүүлдэг. LLM-ууд боловсрол, эрүүл мэнд зэрэг салбаруудыг өөрчлөн шинэчилсээр байгаа тул тэдний нөлөөг үл тоомсорлож болохгүй. Энэхүү баримт бичиг нь нэг чухал асуултыг дэвшүүлж байна: Эдгээр ухаалаг системүүд эрчим хүчний хэрэглээг багасгаж, хүрээлэн буй орчны ул мөрийг багасгахын тулд өөрсдийгөө оновчтой болгож чадах уу? Хэрэв тийм бол энэ нь хиймэл оюун ухааны ландшафтыг хэрхэн өөрчлөх вэ? Бид сургалтаас авахуулаад дүгнэлт гаргах хүртэлх LLM-ийн эрчим хүчний сорилтуудыг задалж, хиймэл оюун ухааныг илүү тогтвортой болгох шинэлэг өөрийгөө тохируулах стратегиудыг судлах болно. AI эрчим хүчний сорилтыг ойлгох Сургалт vs. Дүгнэлт Google-ийн GPT-4 эсвэл PaLM зэрэг том хэлний загваруудыг сургах нь асар их хэмжээний тооцооллын нөөц шаарддаг. Жишээлбэл, GPT-3-ыг сургахад хэдэн мянган GPU-г долоо хоног ажиллуулж, АНУ-ын хэдэн зуун айлын нэг жилийн эрчим хүчийг зарцуулсан. Нүүрстөрөгчийн ул мөр нь мэдээллийн төвүүдийг тэжээж буй эрчим хүчний хольцоос хамаарна. Сургалтын дараа ч гэсэн дүгнэлтийн үе шат буюу загвар нь бодит ажил үүргийг гүйцэтгэдэг бөгөөд эрчим хүчний хэрэглээг нэмэгдүүлдэг. Хэдийгээр нэг асуулгад шаардагдах эрчим хүч бага боловч бид өдөр бүр янз бүрийн платформ дээр олон тэрбум ийм харилцан үйлчлэл явагддаг гэж үзвэл энэ нь чухал асуудал болж хувирдаг. LLM яагаад ийм их эрчим хүч хэрэглэдэг вэ? Өнөөдрийн LLM нь параметрийн мэдрэмжтэй байдаг; тэдгээр нь боловсруулах, шинэчлэх, хадгалахад асар их нөөц шаарддаг хэдэн тэрбум, бүр их наяд параметртэй. Загварын хэмжээ: Цахиурт суурилсан чипүүдийн хэрэглээ нь тэдгээрийн боловсруулах хүчин чадлаар хязгаарлагддаг бөгөөд ингэснээр эрчим хүчний хэрэглээг экспоненциалтайгаар нэмэгдүүлэхийн тулд GPU эсвэл TPU-ийн кластер шаардлагатай байдаг. Техник хангамжийн хязгаарлалт: Өндөр тооцооллын ажлын ачааллыг дэмждэг дата төвүүд нь дулаан байдаг бөгөөд хөргөлтийн систем нь эрчим хүчний хэмнэлттэй биш бол эрчим хүчний 40% хүртэл зарцуулдаг. Хөргөх хэрэгцээ: Байгаль орчин, эдийн засгийн хохирол Байгаль орчны зардалд нүүрстөрөгчийн ялгаралт, хөргөлтийн усны хэрэглээ багтдаг бол үйл ажиллагааны зардал нь хиймэл оюун ухааны жижиг компаниудын хувьд асуудал болдог. Жилийн зардал хэдэн тэрбумд хүрч магадгүй бөгөөд энэ нь тогтвортой байдлыг зөвхөн байгаль орчны төдийгүй эдийн засгийн чухал асуудал болгодог. AI загвар эрчим хүчний хэрэглээний задаргаа LLM-үүд хэрхэн эрчим хүч зарцуулдгийг ойлгохын тулд үүнийг задалж үзье: AI үйл ажиллагаа Эрчим хүчний хэрэглээ (%) Сургалтын үе шат 60% Дүгнэлт (Ажиллаж буй асуулга) 25% Дата төвийн хөргөлт 10% Техник хангамжийн үйл ажиллагаа 5% Сургалтын үе шат нь эрчим хүчний хэрэглээнд хамгийн их хувь нэмэр оруулсан хэвээр байна. Гол арга хэмжээ: Өөрийгөө оновчтой болгох стратегиуд Судлаачид LLM нь програм хангамжийн ажлыг техник хангамжийн өөрчлөлттэй хослуулан эрчим хүчний хэрэглээгээ хэрхэн оновчтой болгох талаар судалж байна. Загвар тайрах ба тоо хэмжээ Нарийвчлалд хязгаарлагдмал хэмжээгээр нөлөөлдөг илүүдэл параметрүүдийг арилгаж, нарийвчлалыг алдагдуулахгүйгээр загварын хэмжээг багасгадаг. Тайрах: Энэ нь өгөгдлийн нарийвчлалыг (жишээ нь 32 битээс 8 бит хүртэл) бууруулж, санах ой болон тооцооллын шаардлагыг бууруулдаг. Квантчлал: Хэмжээ тогтоох, тайрах нь ашигтай боловч загвар нь аль хэсэг нь чухал болохыг, аль хэсгийг тоолж болохыг тодорхойлох боломжтой бол санал хүсэлтийн гогцоотой ашиглах үед энэ нь нэлээд үр дүнтэй болно. Энэ бол шинэ газар боловч өөрийгөө оновчтой болгох сүлжээнүүдэд боломж бий. Динамик дүгнэлт (нөхцөлт тооцоолол) Нөхцөлт тооцооллын санаа нь загваруудад зөвхөн өгөгдсөн даалгаварт хамаарах нейрон эсвэл давхаргыг ашиглах боломжийг олгодог. Жишээлбэл, Google-ийн мэргэжилтнүүдийн холимог (МЭ) арга нь сүлжээг идэвхтэй параметрүүдийн тоог хязгаарлах замаар сургалтыг сайжруулж, эрчим хүчний хэрэглээг бууруулдаг тусгай дэд сүлжээнд хуваадаг. Тааруулахад зориулсан сургалтыг бэхжүүлэх Загваруудыг үр ашигтай ажиллуулахын тулд сургалтын хурд, багцын хэмжээ, нарийвчлал, эрчим хүчний зарцуулалтыг тэнцвэржүүлэх зэрэг гиперпараметрүүдийг оновчтой болгох боломжтой. Олон зорилтот оновчлол LLM нь нарийвчлалыг оновчтой болгохоос гадна Google Vizier эсвэл Ray Tune зэрэг хэрэгслийг ашиглан нарийвчлал, хоцролт, эрчим хүчний зарцуулалт зэрэг бусад зорилтуудыг оновчтой болгож чадна. Сүүлийн үед эрчим хүчний хэмнэлт нь эдгээр хүрээнд шийдвэрлэх зорилт болоод байна. Техник хангамжийн шинэчлэл ба хиймэл оюун ухааны хамтарсан дизайн AI даалгавруудыг гүйцэтгэх үр ашгийг дээшлүүлэх тусгай зориулалтын чипүүд. Хэрэглээний нэгдсэн хэлхээ (ASICs): Мэдрэлийн сүлжээний тооцоолол хийх үед эрчим хүчний хэрэглээг багасгахын тулд тархинаас сэдэвлэсэн чипүүдийг боловсруулж байна. Нейроморф тооцоолол: Гэрлийг ашиглан тооцоолох нь системийн эрчим хүчний хэрэглээг багасгахын тулд цахим системийн хязгаарлалтыг даван туулж чадна. Оптик тооцоолол: Техник хангамжийг програм хангамжтай хослуулан бүтээсэн хиймэл оюун ухааны системүүд нь програм хангамжийн алгоритм болон техник хангамжийн нөөцийг нэгэн зэрэг тохируулах боломжийг олгодог. AI эрчим хүчний оновчтой арга техникийг харьцуулах Техник Эрчим хүчний бууралт (%) Үндсэн ашиг тус Загвар тайрах 30% Шаардлагагүй загварын параметрүүдийг багасгадаг Квантжуулалт 40% Тооцооллын нарийвчлалыг бууруулдаг Нөхцөлт тооцоолол (МЭ) 25% Зөвхөн шаардлагатай загварыг идэвхжүүлнэ Бататгах сургалт 15% Эрчим хүчний хэрэглээг динамикаар тохируулна Нейроморфик тооцоолол 50% Тархины үр ашгийг дуурайдаг Техник хангамжийн хамтын дизайн (ASIC, оптик чип) 35% Хамгийн их үр ашигтай байхын тулд хиймэл оюун ухаанд зориулсан техник хангамжийг хөгжүүлдэг Ирээдүйн AI загварууд нь нийт эрчим хүчийг 60-70% бууруулахын тулд олон арга техникийг хослуулах магадлалтай. AI-г өөрөө оновчтой болгоход тулгарч буй бэрхшээлүүд : Тайрах, тоон тогтоох зэрэг зарим онцлог нь нарийвчлалыг бага зэрэг бууруулж болзошгүй. Нарийвчлалын зөрүү Бид үр ашиггүй цахиурын чип дээр тулгуурладаг гэсэн таамаглалаар ажиллаж байна. Дата төвийн дэд бүтцийн хязгаарлалт: Одоогоор эрчим хүчний үр ашгийг хянах бүх нийтийн стандарт байдаггүй. Эрчим хүчний гүйцэтгэлийн хэмжүүрийн зөрүү: Тогтвортой байдлын хатуу дүрмүүд нь үр ашигтай загваруудыг нэвтрүүлэхийг албаддаг. Засгийн газрын зохицуулалт: Ирээдүйн үр дагавар Өөрийгөө оновчтой болгох LLM нь олон тэрбум асуулгад зориулж эрчим хүчний хэрэглээг 20 ба түүнээс дээш хувиар бууруулж, асар их зардал, ялгаруулалтыг хэмнэх болно. Энэ нь дэлхийн цэвэр тэг зорилттой нийцэж байгаа бөгөөд хэд хэдэн салбарт нөлөөлж байна: : Эрчим хүчний хэмнэлттэй LLM нь харилцагчийн үйлчилгээ болон аналитикийн хэрэглээг нэмэгдүүлэх боломжтой. Аж ахуйн нэгж : "Тэврэх нүүр" зэрэг нээлттэй эхийн санаачилгууд нь инновацийг улам хурдасгаж чадна. Судалгаа : Эрчим хүчний ил тод байдлын стандартууд нь өөрийгөө оновчтой болгохыг жишиг болгон хувиргаж чадна. Бодлого Дүгнэлт LLM нь хэлний боловсруулалтын шинэ түвшний боловсронгуй байдлыг авчирсан боловч тэдний эрчим хүчний хэрэглээний асуудал хамгийн их анхаарал татаж байна. Гэсэн хэдий ч эдгээр загварыг бий болгосон оюун ухаан нь шийдлийг өгдөг. Тайрах, хэмжигдэхүүн, нөхцөлт тооцоолол, техник хангамжийн хамтарсан дизайн зэрэг техникүүд нь өөрсдийн эрчим хүчний хэрэглээг удирддаг LLM-ийг зохион бүтээх боломжтойг харуулж байна. Судалгааны ажил ахих тусам тогтвортой хиймэл оюун ухаан боломжтой эсэх, технологийн салбар хүрээлэн буй орчны төлөө инновацийг золиослохгүйгээр хэр хурдан нэгдэж чадах вэ гэдэг асуудал багасч байна. Лавлагаа Браун, Т., нар. (2020). "Хэлний загварууд бол цөөн суралцагчид юм." , 33, 1877-1901. (GPT-3 сургалтын мэдээллийн таамагласан эх сурвалж.) Мэдрэлийн мэдээлэл боловсруулах системийн дэвшил Strubell, E., Ganesh, A., & McCallum, A. (2019). "NLP-д гүнзгий суралцахын тулд эрч хүч, бодлогод анхаарах зүйлс". , 3645-3650. (AI-ийн эрчим хүчний зардлын талаархи тайлбар эх сурвалж.) ACL-ийн 57 дахь удаагийн хурлын эмхэтгэл Fedus, W., et al. (2021). "Трансформаторыг сэлгэх: Энгийн бөгөөд үр ашигтай сийрэгжилт бүхий триллион параметрийн загварт хүргэх". . (Мэргэжилтнүүдийн холимог хэлэлцүүлгийн үндэслэл.) arXiv preprint arXiv:2101.03961 Паттерсон, Д., нар. (2021). "Нүүрстөрөгчийн ялгарал ба том мэдрэлийн сүлжээний сургалт." . (Сургалтын эрчим хүчний тооцооны эх сурвалж.) arXiv preprint arXiv:2104.10350 Google судалгаа. (2023). "Vizier: Хар хайрцгийг оновчтой болгох үйлчилгээ." . (Зураглах хэрэгслийн лавлагаа.) Google AI блог
