ایا تاسو هیڅکله پوهیږئ چې څنګه د چرګانو مدیرونه لرې لرې چې د توپ توازن کړي، یا د ټایر له لارې د لرې کولو هپونو څخه چټک کړي؟ ځواب: وده. ټایرونه معمولا د لرې کولو هپونو څخه چټک نه وي، مګر دوی به دا وي که تاسو دوی هر وخت یو خوښو ټوټه گوشت ورکړئ. په پای کې، یو ټایر زده کوي چې د خوړو ترلاسه کولو لپاره، دا باید د ګرم کڅوړې ترسره کړي، او نو دا په سمه توګه او مداومه توګه کوي. انسانونه په ورته شیانونو کې زده کوو: موږ د روغتیا خوړو، ورزش، او په سخت ډول زده کوو ترڅو یو مثبت څه ورکړئ، که څه هم دا د دوپامین، پیسو، او بریالیتوب دی. دا په تفصیل کې چې څنګه "Q یادونې" کولی شي د algorithms سره د پیچلي چاپیریال لپاره adaptable کړي، مګر دا یوازې د دې پورې نه وه. د Google DeepMind له خوا چې په نړۍ کې زده کړې چې څنګه په عملی توګه ترسره شي. دا د دې لپاره چې په یوه ډیری کلونو کې، Reinforcement Learning، یا RL په خلاصه توګه، د نړۍ بدل شوی دی، او دا به په ډیری وختونو کې ترسره شي. دا مقاله د دې حیرانتیا لرونکي آرشیفیکټیکونو تخنیکي پوهه کوي او د LLM تکنالوژۍ په اړه د دې اغیزمن اغېز په اړه تبصرې کوي. د 1990s کاغذونه په 2013 کال کې د څیړنې ټیم د 1990s کاغذونه په 2013 کال کې د څیړنې ټیم Wisdom Comes from Within په 1938 کال کې، د سلوک روانپزشک B.F. Skinner "operant conditioning" د بیان لپاره چې څنګه بدنونه کولی شي د دې پروسه په کارولو سره د ځینې داوطلبې عملونو ترسره کولو لپاره د دوی وړتیا زیات کړي. هغه په پایله کې چې که یو عمل (چې په خپل صورت کې، یو موسيقۍ د ګرځنده فشار سره) د مثبت څه (او د خوړو او د اوبو کارولو سره) ته وده ورکړي، دا احتمال لري چې بیا تکرار شي. په بل ډول، که یو عمل (چې د ګرم سټیشن په څیر) له دې امله چې د بریښنا (د بریښنا د درد) له امله، دا ممکن د تکرار شي. لکه څنګه چې دا پروسه ساده دی، د بشریت لکه څنګه چې موږ یې پوه شي دا به د دې په لټه کې نه وي. د نړۍ تصور وکړئ که د ټولو کوچنۍ ماشومانو په سختۍ سره پوه شي چې تاسو باید هغه شیان نه وکړئ چې تل تاسو ته خپل ځان درد وکړي! د اصطلاح په اړه تاسیسات د مجازاتو ټیټ د اصطلاح په اړه دا ساده حقیقت دی چې کریستوفر واچینس د هغې د پراختیا لپاره چمتو کړ که انسانونه او حيوانونه کولی شي د استوګنې له لارې زده کړي، نو چرا ماشينونه نه کولی شي؟ هغه د یو مفکوره وړاندې کړ. د پروسس په واسطه چې یو ایجنټ د محدود چاپیریال سره د تعاملونو له لارې زده کوي. هغه پیشنهاد کړ چې، په هر چاپیریال کې، د Q Learning ایجنټ هدف دا ده چې د د اړیکو له لارې د دې درکولو لپاره، د يو ویډیوګرام مثال وګورئ چې یو باید د څو دروازې له لاسه ورکړي، د هر دروازې له خوا د یو واحد تصادفي ټیټ پاسپورټ د بندولو سره. په دې صورت کې، د ، یا د اګانې عمل، به د شمېر وي چې اګانې په هر دروازه کې ګټه ورکوي، او ، یا د اګانې چاپیریال، به د دروازې وي چې اګانې د ده. د مفکورې ساده دی: دا د انسانانو لخوا تعریف کیږي چې د اګانو روزنه کولو هڅه کوي. یو پاداش کولی شي لوی وي (په احتمال کې د یو کچه بشپړولو لپاره) یا کوچنی وي (د یو واحد دروازه بشپړولو لپاره). Watkins پیشنهاد کړ چې یو ماډل به هر ممکن هڅه وکړي ، یا په ځانګړي حالت کې چې یو عمل د یو حالت سره تړاو لري، نو یو ساده maximization algorithm ترسره کړئ ترڅو د یادښت شوي حالت-کامل جفتونه ترټولو غوره کړي چې د لوړ پاداش ته ورسیږي. د مثال په توګه، که په زموږ د hypothetical ویډیوګیم کې د دروازې په دې ډول جوړ شوی دی: د 1989 کال د Ph.D. ټیسیس Q د زده کړې د سیاست د عمل د دولت جفتو د عمل د دولت سپارښتنه د دولت د عمل جفتو د 1989 کال د Ph.D. ټیسیس بيا، یو ممکن د دولت د عمل د دویمې دروازه کې د "4" انتخاب وي. بل یو به د دویم دروازه کې د "6" انتخاب وي، که څه هم دا انتخاب احتمالا به د ډیری ټیټ پاداش ته وده ورکړي، ځکه چې دا د دویم دروازه لپاره غلط اټکل دی. اجازه ورکړئ چې د 6th دروازه له لارې د پاداش 1 دی، او چې هر اضافي دروازه له لارې (د 6th نه په شمول) د 0.2 لګښت ورکوي. د لومړي Q زده کړې اټکل به احتمالا د 1-9 په لومړي دروازه کې، د دویم دروازه، او داسې نور هڅه کړي. دا به دا ورکړئ تر څو چې دا د دولت ارزښت جفتونو ټول احتمالي پایلې هڅه کوي او د دغو جفتو هر ترکیب لپاره ټول پاداشونه ترلاسه کړي. دا ، د وړاندیز شوي متغیر چې د بدعت چې د ځانګړي عمل-د ارزښت جفت له امله وده ورکړي. له دې چې څنګه د Q ارزښت، Watkins hypothesized، ماډلونه به په غیر احتمالي چاپیریال کې د غوره فیصلې ترسره کړي. Q ارزښتونه DeepMind Steps In په 2013 کال کې، د AI څیړنې لابراتوار DeepMind څیړونکو خپور کړ چې څه به یو په AI څیړنو کې. د دوی کاغذ د هغه څه چې به د Reinforcement Learning (RL) ماډلونو په توګه نومول شي د ټولو مهمو ډولونو څخه یو نومول کوي: (DQN). د څیړونکو د Q Learning کارولو وړتیا په کارولو سره د اګانو روزنه کوي، مګر په یاد ولرئ چې Watkins سیستم د ځينو ستونزو لري. لومړی، د چلولو په اوږدو کې ممکن د حالت-کامل جفتو به په پیچلي لوبو کې د حلونو میلیونونو ترکیبونو سره کار نه کړي. دوهم، ساده maximization فعالیتونه به کار نه کړي، ځکه چې ډیر پیچلي لوبې tendency to have په دې صورت کې، تاسو کولی شئ فکر وکړئ چې د لابراتوار لوبې پاداش د اوږدوالي له مخې تعریف کیږي چې یو بازیکن په ټولیزه توګه د هدف ته راځي. که د لومړي Q ارزښت جوړه چې وټکین RL اګانې کشف کوي، دا د مټ پای دی، دا به د مټ پای ته دوام ورکړي ځکه چې دا ښه نه کوي. د نندارتون کاغذ Deep-Q شبکې ټول په سيمه کې maximized د نندارتون کاغذ د DeepMind ټیم د دوو ستونزو په هوښيار ډول حل کړ. د ټولو انتخابونو له لارې د کمپيوټري لګښت کمولو لپاره، دوی د د تصادفي څیړنې لپاره د پالیسی. د دې طریقې، د یوناني نامه epsilon (Ɛ) وروسته نومول شوی، د Watkin د توازن په هر وخت کې د لوړ ترین مشهور پاداش سره د مفهوم دا ده چې، په هر حالت کې، اټکل به د کشف لپاره یو Ɛ فرصت لري (د یو عمل په لټه کې غوره کړئ) او د 1 - Ɛ احتمال د کثافاتو پالیسۍ لخوا د کثافاتو پالیسۍ لخوا د کثافاتو کچه Q ارزښت پیژندل کیدی شي. که تاسو په رسمي توضیحاتونو کې نلري، دا په عمده توګه معنی لري چې د ماډل به د نوي عملونو هڅولو لپاره یو مشخص احتمال لري، یو ګټور چلند چې د کثافاتو په اړه تمرکز کولو سره ډیری وخت خوندي کړي (په دې صورت کې چې د کم ارزښت شوي اټکلونه کولی شي مخنیوی شي) په داسې حال کې چې د تصمیم کولو کې انعطافیت هم اجازه ورکوي (په دې صورت کې چې اټکل به د محلي کثافاتو په د ګرځنده د پالیسۍ د څیړنې سیاست بيا، د تبادلې ستونزه شتون لري. که د ایجنټ د لوبې بشپړولو په پروسه کې دی، د مثال په توګه، چیرې دا به پوه شي چې ځينې عملونه به په مستقیم ډول د ښه پایلو ته ورسیږي؟ یوازې ځکه چې تاسو د درې ټکي کولو مخکې خپل لاسونو په ګوته وکړئ دا نه معنی لري چې د ټوټې په ګوته کیږي. ستاسو د کلپ کولو څخه. ښه، د افسر باید DeepMind یو نوی لاره د هغه څه چې دوی د "د دولت د عملونو سره جفتو" د اړیکو له لارې د "پړاو" په نوم یوځای کړي. د Q شبکې په اصل کې د بشپړ DQN کې د کمپیکټ ماشین زده کړې ماډل دی. د Q شبکې یواځې کار دا ده چې د ایجنټ تجربو څخه زده کړي، او د حالت له مخې، د Q ارزښت له هر ممکن عمل څخه پایله کیږي. زموږ د ګاڼو او پاسورډونو په مثال کې راځي، یو ښه روزل Q شبکې به د هر ګاڼو کې د درست شمیره ګیډن کولو لپاره د لوړ پیژندل Q ارزښت صادر کړي، د غلط شمیره ګیډن کولو په پرتله. د Q شبکې ځان د روزنې پروسه په اوږدو کې پرمختګ کوي. ، د شبکې کولی شي د ډاټا بیلګې په اړه روزل کیږي چې اګانې د چاپیریال څخه ترلاسه کوي، او په دې توګه کولی شي خپل وزنونه تنظیم کړي ترڅو د Q ارزښتونو په ښه توګه پیژندل کړي او په دې توګه د اګانې ته د "نورې" کې ډیر اغیزمن وي. دوی په حقیقت کې په آسمان کې جوړ شوي ګټه دي. ځکه چې پیژندل Q شبکې پیژندل تجربه Replay All the World’s a Game… د Reinforcement Learning په خپل خالص ډول کې ډیری پرمختګونه شتون لري. DeepMind، په 2014 کال کې د Google لخوا راځي وروسته، د پراختیا ته دوام ورکړ. ، د ټولو وختونو کې تر ټولو مشهور RL ماډلونو څخه یو. د احتمالي توزیع ماډل په کارولو سره روزل شوی (MCTS) algorithm، د AlphaZero ټیم په بریالیتوب سره د اصل AlphaZero ماډل په مختلفو نورو پیچلي کارونو، په شمول: AlphaZero د Monte Carlo Tree Search د AlphaZero د Monte Carlo Tree Search 
 
 
 
 د AlphaGo، چې د نړۍ ته شوکوي له دې امله چې د نړۍ د حکومت شوي Go چیمپین لی Sedol، په هغه څه کې چې په هر وخت کې د جوړولو تر ټولو پیچلي بورډ لوبې په توګه په پام کې ونیسئ. AlphaProof، یو نسخه چې د LEAN-formalized ثبوتونو په کارولو سره د Olympiad ریاضیاتي ستونزو حل کولو لپاره تخصص لري، د IMO (International Math Olympiad) بیلابیلو ټیسټونو کې د سپری ګټه ترلاسه کړ. AlphaFold، چې په 2024 کال کې خپل پراختیا ټیم سره د بیولوژۍ نوبل جایزه ترلاسه کړ، د پروټین د پوښونو په اړه پراختیا ترلاسه کړ، د مولکولر بیولوژۍ ترټولو پیچلي اړخونو څخه یو. د Reinforcement Learning مفهوم موږ ته د ژوند په اړه ډیری درسونه لري: پوه شي چې څه دي ترټولو ارزښت لري، او هڅه کوي چې دا ارزښت د عملونو له لارې ترلاسه کړي. که څه به ستاسو په لاره کې نه وي، بیا د دې لپاره چې دا کار کوي یو بل څه هڅه وکړئ. انسانونه ډیری وختونه زموږ ډیزاین شوي سیسټمونو ډیزاینونه نندارې کوي، او دا د دې لپاره چې زه Reinforcement Learning ډیری خوښوي. د دې ساده او ښکلي څه لپاره، د دې پیاوړتیا د انسانیت طبیعت لخوا محدود دی. د RL پروسه کې د ټولو مهمو برخو څخه یو، د پاداش دنده، د انسانانو لخوا جوړ شوی دی. د AlphaZero ټیم په پایله کې وګورئ، دا واضح دی چې موږ د RL په کارولو او دا هغه څه دي چې د نړۍ ترټولو غوره څیړونکو کار کوي. ښه، ډول. کله چې زه لومړی په 2024 کال کې د RL په اړه پوه شي، د تکنالوژۍ د 2017 کال کې د الفاZero ټیم ترټولو ډیری پراختیا نه لري. هرڅه د ChatGPT په اړه خبرې کوي، دا ښکاري، او د نوي Transformers چې د ټیکنالوژۍ بحثونو لپاره د نیم کلونو لپاره د کنټرول شوي دي. زه په سمه توګه د RL په اړه فکر کړم، او بیا زه د دې په اړه فراموش کړم. دا ده چې د OpenAI سره Reinforcement Learning د Transformer آرکټیکټیک سره د Reinforcement Learning یوځای کولو مفکوره نلري، د RL-LLMs، یا Reinforcement Learning-Large Language Models، د ساده په AI صنعت کې، کوم چې موږ مخکې پوښل شوي دي او مخکښ دي. د کارکوونکو د برښنا د ستونزې د کارکوونکو د برښنا د ستونزې 
 
 دا مقاله تاسو ته زموږ د AI لخوا راځي، چې د زده کونکو او زده کونکو لخوا د AI اخلاقي سازمان دی چې د AI په اړه د نظرونو په پراخه کچه د عصري رسنیو په معمول کې بحث شوي څه څخه ډیر پراختیا کوي. که تاسو دا مقاله خوند واخلئ، مهرباني وکړئ زموږ د میاشتني چاپونو په https://www.our-ai.org/ai-nexus/read وګورئ! دا مقاله تاسو ته زموږ د AI لخوا راځي، چې د زده کونکو او زده کونکو لخوا د AI اخلاقي سازمان دی چې د AI په اړه د نظرونو په پراخه کچه چې معمولا په عصري رسنیو کې بحث شوي دي. که تاسو د دې مقاله په لټه کې یاست، مهرباني وکړئ زموږ د میاشتني چاپونو په اړه وګورئ ! https://www.our-ai.org/ai-nexus/read Learn More دا په دې توګه، RL د دې څخه مخکې چې دا د خپل بشپړ پیاوړتیا ته ورسیږي د اوږد لاره لري. عصري RL-LLMs کارول لکه څنګه چې د RL ګامونه د منطق کولو لپاره د مستقیم RL ګامونه دي، د پایلو وړتیاوو د ښه کولو لپاره، مګر د پراختیا لګښتونو څخه ډیر زیات کړي. ډیری روښانه RL ماډلونه باید د convergence مخکې د میلیونونو iterations لپاره روزل کیږي، په چټکۍ سره د لګښتونو زیاتولو لپاره که د اړوند چاپیریال لوی یا ډیر پیچلي دی، لکه څنګه چې د پیچلي ستونزو حلونه په طبيعي زبان کې لیکل کیږي. د دې هدف لپاره، راتلونکي RL ماډلونه ممکن د LLMs (یا حتی RL-LLMs) پر بنسټ وي چې د ستونزو "gamify" کړي، لکه څنګه چې د AlphaZero ټیم د AlphaProof لپاره کار کوي، چې دا په رسمي نمونې فورمه LEAN بیا، RL کولی شي د نړۍ تر ټولو پیچلي ستونزو حل کړي ... که موږ کولای شو چې چمتو کړي چې څنګه په چټکۍ سره دوی په لوبو کې بدل شي. د فکر چڼاسکه (CoT) د مصنوعي عمومي انټرنټ (AGI) د فکر چڼاسکه (CoT) د مصنوعي عمومي انټرنټ (AGI)

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

دا غږ د کیسې په اصلي ژبه تولید شوی!

ډېر اوږد؛ لوستل

څنګه څرنګه څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه چې څرنګه.

About Author

تبصرې

hang tags

دا مقاله په کې وړاندې شوې وه

Related Stories

Thrilled to be Recognized as 'HackerNoon Contributor of the Year - WORK'

The shortest distance from idea to execution with Jim Rose of CircleCI

Thrilled to be Recognized as the 2021 HackerNoon Contributor of the Year - React

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

Thrilled to be Recognized as 'HackerNoon Contributor of the Year - WORK'

The shortest distance from idea to execution with Jim Rose of CircleCI

Thrilled to be Recognized as the 2021 HackerNoon Contributor of the Year - React

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps