2022 අගභාගයේදී OpenAI ChatGPT දියත් කළ විට, එය සතුට සහ කනස්සල්ල යන දෙකම ඇති කළේය. රචනා නිර්මාණය කිරීම, කේතීකරණ ගැටළු විසඳීම සහ කලාව නිර්මාණය කිරීම වැනි විශිෂ්ට විභවයන් උත්පාදන AI විසින් පෙන්නුම් කරන ලදී. නමුත් එය පරිසරවේදීන්, පර්යේෂකයින් සහ තාක්ෂණවේදීන් අතර අනතුරු ඇඟවීම් ද ඇති කළේය. විශාලතම කනස්සල්ල? විශාල භාෂා ආකෘති (LLMs) පුහුණු කිරීමට සහ ක්රියාත්මක කිරීමට අවශ්ය දැවැන්ත බලශක්ති පරිභෝජනය, ඒවායේ දිගුකාලීන තිරසාරභාවය පිළිබඳ ප්රශ්න මතු කරයි. LLMs අධ්යාපනය සහ සෞඛ්ය සේවා වැනි කර්මාන්ත නැවත හැඩගැස්වීම දිගටම කරගෙන යන විට, ඒවායේ බලපෑම නොසලකා හැරිය නොහැකිය. මෙම පත්රිකාව වැදගත් ප්රශ්නයක් මතු කරයි: මෙම බුද්ධිමත් පද්ධතිවලට බලශක්ති පරිභෝජනය අඩු කිරීමට සහ ඔවුන්ගේ පාරිසරික පියසටහන අවම කිරීමට තමන්වම ප්රශස්ත කළ හැකිද? එසේ නම්, මෙය AI භූ දර්ශනය පරිවර්තනය කරන්නේ කෙසේද? පුහුණුවේ සිට අනුමාන කිරීම දක්වා LLM වල බලශක්ති අභියෝග අපි විශ්ලේෂණය කර, AI වඩාත් තිරසාර කළ හැකි නව්ය ස්වයං-සුසර කිරීමේ උපාය මාර්ග ගවේෂණය කරන්නෙමු. AI බලශක්ති අභියෝගය අවබෝධ කර ගැනීම පුහුණුව එදිරිව අනුමානය GPT-4 හෝ PaLM වැනි විශාල භාෂා ආකෘති පුහුණු කිරීම සඳහා Google හි පරිගණක සම්පත් විශාල ප්රමාණයක් අවශ්ය වේ. උදාහරණයක් ලෙස, GPT-3 පුහුණුව සඳහා සති ගණනක් ක්රියාත්මක වන GPU දහස් ගණනක් ගත වූ අතර, වසරකට එක්සත් ජනපද නිවාස සිය ගණනක් පරිභෝජනය කරන තරම් ශක්තියක් වැය විය. කාබන් පියසටහන බලශක්ති මිශ්රණය බලගන්වන දත්ත මධ්යස්ථාන මත රඳා පවතී. පුහුණුවෙන් පසුව පවා, අනුමාන අවධිය - ආකෘති සැබෑ ලෝක කාර්යයන් හසුරුවන - බලශක්ති භාවිතයට එකතු වේ. තනි විමසුමකට අවශ්ය ශක්තිය කුඩා වුවද, සෑම දිනකම විවිධ වේදිකා හරහා එවැනි අන්තර්ක්රියා බිලියන ගණනක් සිදුවන බව අප සලකන විට, එය සැලකිය යුතු ගැටළුවක් බවට පත්වේ. LLM මෙතරම් ශක්තියක් පරිභෝජනය කරන්නේ ඇයි? අද LLM පරාමිති සංවේදී ය; ඒවාට සැකසීමට, යාවත්කාලීන කිරීමට සහ ගබඩා කිරීමට විශාල සම්පත් ප්රමාණයක් අවශ්ය වන පරාමිතීන් බිලියන ගණනක් හෝ ට්රිලියන ගණනක් ඇත. මාදිලි ප්රමාණය: සිලිකන් මත පදනම් වූ චිප් භාවිතය ඒවායේ සැකසුම් ධාරිතාව අනුව සීමා වේ, එබැවින් බලශක්ති භාවිතය ඝාතීය ලෙස වැඩි කිරීම සඳහා GPU හෝ TPU පොකුරු අවශ්ය වේ. දෘඪාංග සීමාවන්: ඉහළ පරිගණකමය වැඩ බරක් සඳහා සහාය වන දත්ත මධ්යස්ථාන උණුසුම් වන අතර සිසිලන පද්ධති බලශක්ති කාර්යක්ෂම නොවේ නම් බලයෙන් 40% ක් පමණ පරිභෝජනය කළ හැකිය. සිසිලන අවශ්යතා: පාරිසරික හා ආර්ථික ගාස්තුව පරිසරය සම්බන්ධයෙන් ගත් කල, සිසිලනය සඳහා කාබන් විමෝචනය මෙන්ම ජල භාවිතය ද පිරිවැයට ඇතුළත් වන අතර මෙහෙයුම් වියදම් කුඩා AI සමාගම් සඳහා ගැටලුවකි. වාර්ෂික පිරිවැය බිලියන ගණනක් කරා ළඟා විය හැකි අතර, එමඟින් තිරසාරභාවය පාරිසරික පමණක් නොව ආර්ථික ගැටලුවක් ද වැදගත් වේ. AI මාදිලියේ බලශක්ති පරිභෝජනය බිඳවැටීම LLMs ශක්තිය පරිභෝජනය කරන ආකාරය තේරුම් ගැනීමට, අපි එය කොටස් දෙකකට බෙදා ගනිමු: AI මෙහෙයුම බලශක්ති පරිභෝජනය (%) පුහුණු අදියර 60% අනුමානය (විමසුම් ක්රියාත්මක කිරීම) 25% දත්ත මධ්යස්ථාන සිසිලනය 10% දෘඪාංග මෙහෙයුම් 5% පුහුණු අවධිය තවමත් බලශක්ති පරිභෝජනයට විශාලතම දායකත්වය සපයයි. වැදගත් කරුණ: ස්වයං-ප්රශස්තිකරණය සඳහා උපාය මාර්ග මෘදුකාංග ක්රියාකාරිත්වය දෘඩාංග වෙනස්කම් සමඟ ඒකාබද්ධ කිරීමෙන්, LLMs තම බලශක්ති භාවිතය ප්රශස්ත කරන්නේ කෙසේදැයි පර්යේෂකයෝ සොයා බලමින් සිටිති. ආදර්ශ කප්පාදු කිරීම සහ ප්රමාණකරණය සීමිත ප්රමාණයකට නිරවද්යතාවයට බලපාන අතිරික්ත පරාමිතීන් ඉවත් කරනු ලබන අතර, එහි ප්රතිඵලයක් ලෙස නිරවද්යතාවයට හානියක් නොවන පරිදි ආකෘතියේ ප්රමාණය අඩු වේ. කප්පාදු කිරීම: මෙය දත්තවල නිරවද්යතාවය (උදා: 32-bit සිට 8-bit දක්වා) අඩු කරයි, එමඟින් මතකය සහ පරිගණක අවශ්යතා අඩු වේ. ප්රමාණකරණය: ප්රමාණකරණය සහ කප්පාදු කිරීම ප්රයෝජනවත් වේ, නමුත් ප්රතිපෝෂණ ලූප සමඟ භාවිතා කරන විට, ආකෘතියකට කුමන කොටස් තීරණාත්මකද සහ කුමන කොටස් ප්රමාණකරණය කළ හැකිද යන්න තීරණය කිරීමට හැකි වන විට එය බෙහෙවින් ඵලදායී වේ. මෙය නව ක්ෂේත්රයකි, නමුත් ස්වයං-ප්රශස්තිකරණ ජාලවල විභවය පවතී. ගතික අනුමානය (කොන්දේසි සහිත ගණනය කිරීම) කොන්දේසි සහිත ගණනය කිරීමේ අදහස මඟින් ආකෘතිවලට දී ඇති කාර්යයකට අදාළ වන නියුරෝන හෝ ස්ථර පමණක් භාවිතා කිරීමට හැකියාව ලැබේ. උදාහරණයක් ලෙස, ගූගල් හි මිශ්රණ-විශේෂඥයින්ගේ (MoE) ප්රවේශය මඟින් ජාලය විශේෂිත උප ජාලවලට බෙදන අතර එමඟින් ක්රියාකාරී පරාමිතීන් ගණන සීමා කිරීමෙන් පුහුණුව සහ බලශක්ති පරිභෝජනය අඩු කිරීම වැඩි දියුණු කරයි. සුසර කිරීම සඳහා ශක්තිමත් කිරීමේ ඉගෙනීම ආකෘති කාර්යක්ෂමව ක්රියාත්මක වීම සහතික කිරීම සඳහා ශක්තිමත් කිරීමේ ඉගෙනීම මඟින් ඉගෙනුම් අනුපාතය සහ කාණ්ඩ ප්රමාණය, තුලනය කිරීමේ නිරවද්යතාවය සහ බලශක්ති පරිභෝජනය වැනි අධි පරාමිතීන් ප්රශස්ත කළ හැකිය. බහු-අරමුණු ප්රශස්තිකරණය නිරවද්යතාවය සඳහා ප්රශස්තිකරණය කිරීමට අමතරව, LLMs හට Google Vizier හෝ Ray Tune වැනි මෙවලම් භාවිතයෙන් නිරවද්යතාවය, ප්රමාදය සහ බල පරිභෝජනය යන අනෙකුත් අරමුණු සඳහාද ප්රශස්තිකරණය කළ හැකිය. මෑතකදී, මෙම රාමු තුළ බලශක්ති කාර්යක්ෂමතාව තීරණාත්මක අරමුණක් බවට පත්ව ඇත. දෘඩාංග නවෝත්පාදන සහ AI සම-නිර්මාණය AI කාර්යයන් ක්රියාත්මක කිරීමේදී කාර්යක්ෂමතාව වැඩි දියුණු කිරීම සඳහා විශේෂ කාර්ය චිප්. යෙදුම් විශේෂිත ඒකාබද්ධ පරිපථ (ASICs): ස්නායු ජාල ගණනය කිරීම් සිදු කරන විට බලශක්ති පරිභෝජනය අවම කිරීම සඳහා මොළයෙන් ආභාෂය ලැබූ චිප්ස් තවමත් සංවර්ධනය වෙමින් පවතී. ස්නායුරූපී පරිගණකකරණය: ආලෝකය භාවිතයෙන් ගණනය කිරීම මඟින් පද්ධතියේ බල පරිභෝජනය අඩු කිරීම සඳහා ඉලෙක්ට්රොනික පද්ධතියේ සීමාවන් ජය ගත හැකිය. දෘශ්ය පරිගණනය: දෘඪාංග සහ මෘදුකාංග සම-නිර්මාණය හරහා නිර්මාණය කරන ලද AI පද්ධති, මෘදුකාංග ඇල්ගොරිතම සහ දෘඪාංග සම්පත් එකවර සකස් කිරීමට ඉඩ සලසයි. AI බලශක්ති ප්රශස්තිකරණ ශිල්පීය ක්රම සංසන්දනය කිරීම තාක්ෂණය බලශක්ති අඩු කිරීම (%) ප්රාථමික ප්රතිලාභය ආදර්ශ කප්පාදුව 30% අනවශ්ය ආකෘති පරාමිතීන් අඩු කරයි ප්රමාණකරණය 40% ගණනය කිරීමේ නිරවද්යතාවය අඩු කරයි කොන්දේසි සහිත ගණනය කිරීම (MoE) 25% අවශ්ය ආකෘතිය පමණක් සක්රිය කරයි. ශක්තිමත් කිරීමේ ඉගෙනීම 15% බල භාවිතය ගතිකව සකස් කරයි ස්නායුරූපී පරිගණකකරණය 50% මොළයේ කාර්යක්ෂමතාව අනුකරණය කරයි දෘඩාංග සහ-නිර්මාණය (ASICs, දෘශ්ය චිප්ස්) 35% උපරිම කාර්යක්ෂමතාව සඳහා AI-විශේෂිත දෘඩාංග සංවර්ධනය කරයි. අනාගත AI ආකෘති 60-70% සමස්ත බලශක්ති අඩු කිරීම සාක්ෂාත් කර ගැනීම සඳහා බහුවිධ ශිල්පීය ක්රම ඒකාබද්ධ කරනු ඇත. ස්වයං-ප්රශස්තකරණ AI සඳහා අභියෝග : කප්පාදු කිරීම සහ ප්රමාණකරණය වැනි සමහර විශේෂාංග නිරවද්යතාවය තරමක් දුරට අඩපණ කළ හැකිය. නිරවද්යතා හුවමාරු අපි තවමත් ක්රියාත්මක වන්නේ අකාර්යක්ෂම සිලිකන් චිප මත යැපීමේ උපකල්පනය යටතේ ය. දත්ත මධ්යස්ථාන යටිතල පහසුකම් සීමාවන්: බලශක්ති කාර්යක්ෂමතාව නිරීක්ෂණය කිරීම සඳහා දැනට විශ්වීය ප්රමිතියක් නොමැත. බලශක්ති කාර්ය සාධන මිනුම් හිඩැස්: දැඩි තිරසාර නීති මඟින් කාර්යක්ෂම ආකෘති අනුගමනය කිරීමට බල කෙරෙනු ඇත. රජයේ නියාමනය: අනාගත ඇඟවුම් ස්වයං-ප්රශස්තිකරණය කරන ලද LLM මඟින් බිලියන ගණනක විමසුම් සඳහා බලශක්ති පරිභෝජනය 20% හෝ ඊට වැඩි ප්රමාණයකින් අඩු කළ හැකි අතර, එමඟින් දැවැන්ත පිරිවැය සහ විමෝචන ඉතිරිකිරීම් සිදුවනු ඇත. මෙය ගෝලීය ශුද්ධ ශුන්ය ඉලක්ක සමඟ අනුකූල වන අතර අංශ කිහිපයකට බලපායි: : බලශක්ති කාර්යක්ෂම LLM මඟින් පාරිභෝගික සේවා සහ විශ්ලේෂණ ක්ෂේත්රයේ පිළිගැනීම වැඩි කළ හැකිය. ව්යවසාය : හග්ගිං ෆේස් වැනි විවෘත මූලාශ්ර මුලපිරීම් නවෝත්පාදනය තවදුරටත් වේගවත් කළ හැකිය. පර්යේෂණ : බලශක්ති විනිවිදභාවය පිළිබඳ ප්රමිතීන් ස්වයං-ප්රශස්තිකරණය සම්මතයක් ලෙස තල්ලු කළ හැකිය. ප්රතිපත්තිය නිගමනය භාෂා සැකසීමේදී LLM නව මට්ටමේ නවීනත්වයක් ගෙනැවිත් ඇතත්, ඒවායේ බලශක්ති පරිභෝජනය පිළිබඳ ගැටළුව ප්රධාන කනස්සල්ලකි. කෙසේ වෙතත්, මෙම ආකෘති ඇති කළ එම බුද්ධියම විසඳුම සපයයි. කප්පාදු කිරීම, ප්රමාණකරණය, කොන්දේසි සහිත ගණනය කිරීම සහ දෘඩාංග සම-නිර්මාණය වැනි ශිල්පීය ක්රමවලින් පෙනී යන්නේ තමන්ගේම බලශක්ති පරිභෝජනය කළමනාකරණය කරන LLM නිර්මාණය කළ හැකි බවයි. පර්යේෂණය ඉදිරියට යන විට, තිරසාර AI කළ හැකිද යන්න සහ පරිසරය සඳහා නවෝත්පාදනයන් කැප නොකර තාක්ෂණික කර්මාන්තයට එය සාක්ෂාත් කර ගැනීම සඳහා කෙතරම් ඉක්මනින් එකට එකතු විය හැකිද යන්න පිළිබඳ ගැටළුව අඩු වේ. ආශ්රිත බ්රවුන්, ටී., සහ තවත් අය (2020). "භාෂා ආකෘති යනු අඩුවෙන් ඉගෙන ගන්නන් ය." , 33, 1877-1901. (GPT-3 පුහුණු දත්ත සඳහා උපකල්පිත මූලාශ්රය.) ස්නායු තොරතුරු සැකසුම් පද්ධතිවල දියුණුව ස්ට්රබෙල්, ඊ., ගනේෂ්, ඒ., සහ මැකලම්, ඒ. (2019). "NLP හි ගැඹුරු ඉගෙනීම සඳහා ශක්තිය සහ ප්රතිපත්ති සලකා බැලීම්." , 3645-3650. (AI බලශක්ති පිරිවැය පිළිබඳ නිදර්ශන මූලාශ්රය.) ACL හි 57 වන වාර්ෂික රැස්වීමේ ක්රියාදාමයන් ෆෙඩස්, ඩබ්ලිව්., සහ තවත් අය (2021). "ට්රාන්ස්ෆෝමර් මාරු කරන්න: සරල හා කාර්යක්ෂම විරලතාවයකින් ට්රිලියන ගණනක පරාමිති ආකෘති පරිමාණය කිරීම." . (විශේෂඥයින්ගේ මිශ්රණ සාකච්ඡාව සඳහා පදනම.) arXiv පූර්ව මුද්රණය arXiv:2101.03961 පැටර්සන්, ඩී., සහ තවත් අය (2021). "කාබන් විමෝචනය සහ විශාල ස්නායු ජාල පුහුණුව." . (පුහුණු ශක්ති ඇස්තමේන්තු සඳහා මූලාශ්රය.) arXiv පූර්ව මුද්රණය arXiv:2104.10350 ගූගල් පර්යේෂණ. (2023). "Vizier: කළු පෙට්ටි ප්රශස්තිකරණය සඳහා සේවාවක්." . (නිදර්ශන මෙවලම් යොමුව.) ගූගල් AI බ්ලොගය
