Hindi mo kailanman naniniwala kung paano ang mga managers ng circus makakuha ng mga bears upang i-balance ang isang ball, o isang tigre upang i-hop sa pamamagitan ng flaming hoops? Ang solusyon: reinforcement. Tigers ay hindi karaniwang i-hop sa pamamagitan ng flaming hoops, ngunit sila ay kung ikaw ay magbibigay sa kanila ng isang mapagkukunan ng pagkain sa bawat pagkakataon ito ay gawin. Sa katapusan, ang isang tigre ay malaman na upang makakuha ng ang pagkain, ito ay dapat gawin ang mga darating salita, at kaya ito ay gumagawa ng sagot at patuloy. Ang mga tao ay malaman sa parehong paraan: kami ay malaman upang kumain ng malusog na pagkain, pag-exercise, at pag-aaral ng malusog upang makakuha ng isang positibong bagay, kung saan ito detalyado kung paano "Q Learning" ay maaaring makatulong sa paggawa ng mga algorithm na adaptable sa isang kompleksong environment, ngunit ito ay hindi hanggang sa sa pamamagitan ng Google DeepMind na nagtuturo sa mundo kung paano ito ay maaaring gawin sa katunayan. Ito ay hindi isang exaggeration upang sabihin na, sa loob ng isang dekada, Reinforcement Learning, o RL para sa karamihan, ay nagbabago ang mundo, at ito ay patuloy na gawin ito para sa isang oras. Mga papel mula sa 1990s 2013 Mga pananaliksik na pananaliksik Mga papel mula sa 1990s 2013 Mga pananaliksik na pananaliksik Wisdom Comes from Within 1938, ang behavioral psychologist B.F. Skinner "operant conditioning" upang ilarawan kung paano ang mga organisma ay maaaring i-increase ang kanilang propensidad upang gawin ang anumang voluntary action gamit ang isang proseso na tinatawag na Nagtatagumpay niya na kung ang isang aksyon (tulad ng, sa kanyang kaso, isang mouse pressing sa isang lever) ay pinamamahala ng isang positibong bagay (na ginagamit niya ng pagkain at tubig), ito ay malamang na magpatuloy. sa pamamagitan ng isang bagay na malaki (ang sakit ng pag-iisa), ito ay Kung ang proseso na ito ay simpleng, humanity tulad ng alam namin ito ay hindi ang parehong walang ito. Imagine ang mundo kung ang lahat ng mga bata ay may problema sa pag-aaral na hindi mo dapat gawin ang mga bagay na nangangailangan mo upang maabot ang iyong sarili! Ipinanganak ang term ang reinforcement ang punishment Ngayon ang less Ipinanganak ang term Ito ay ang simpleng katotohanan na inihahanda ni Christopher Watkins upang bumuo ang kanyang Kung ang mga tao at mga hayop ay maaaring malaman sa pamamagitan ng reinforcement, bakit hindi ang mga makinarya? ang proseso sa pamamagitan ng kung saan ang isang agent ay malaman sa pamamagitan ng interactions sa isang limitadong environment. siya ay nag-aalok na, sa anumang environment, ang target ng isang Q Learning agent ay upang bumuo ng isang sa pamamagitan ng correlation Upang maunawaan ito, tingnan ang halimbawa ng isang video game kung saan kailangang pumunta sa ilang mga gate, na may bawat gate na naka-locked sa pamamagitan ng password ng isang single random digit. , o ang paghahatid ng agente, ay ang bilang na ang agente ay naniniwala sa bawat gate, at ang , o ang environment na naglilingkod sa agente, ay ang gate at sa kung saan ang agente ay. Ang isang reward ay maaaring maging isang malaking (mga maaaring para sa pagkuha ng isang antas) o isang maliit na (para sa pagkuha ng isang single gate). , o isang espesyal na situasyon kung saan ang isang aksyon ay nakatuon sa isang estado, pagkatapos ay i-execute ang isang simpleng algorithm ng maximization upang maiwasan ang mga memorized state-action pairs na nangangahulugan sa isang mataas na reward. Halimbawa, kung ang gateway sa aming hypothetical video game ay na-set up tulad ng: 1989 Ph. D. Tesis Q sa pagsasanay ang politika Mga Pair ng Aksiyon ang action ang estado ang reward Mga Pair ng State Action 1989 Ph. D. Tesis Pagkatapos, isang posibleng state-action pair ay upang piliin ang "4" sa ikalawang gate. Ang isa pa ay upang piliin ang "6" sa ikalawang gate, kahit na ang pagpili na ito ay malamang na magdadala sa isang mas mababa na reward, dahil ito ay ang katangian para sa ikalawang gate. Kailangan nating sabihin na ang reward para sa pagkuha ng ikalawang gate ay 1, at na ang bawat supplementary gate passed (hindi dahil sa ikalawang gate) ay nagbibigay ng isang reward ng 0.2. Ang isang unang Q Learning agent ay maaaring i-test ang mga numero 1-9 sa ikalawang gate, ang ikalawang gate, atbp. Ito ay gawin ito hanggang sa itinuturing ito ang lahat ng posible na resulta ng state value pairs at nakuha ang lahat ng mga rewards para sa bawat kombinasyon Sa pamamagitan ng pag-aaral kung paano i-maximize ang Q Value, hipotetized ni Watkins, ang mga modelo ay maaaring gawin ang optimaal na mga decision sa isang non-probabilistical na lugar. Q ang mga halaga DeepMind Steps In Noong 2013, mga mananaliksik sa AI research lab DeepMind inilathala kung ano ang maaaring maging isang Ang kanilang papel ay nagpapakita ng pag-introduction ng isa sa mga pinaka-importante na uri ng kung ano ang maging kilala bilang Reinforcement Learning (RL) mga modelo: The Reinforcement Learning (RL). (DQN). Ang mga mananaliksik ay nakilala ang kakayahan ng paggamit ng Q Learning upang i-train ang mga agente, ngunit natagpuan na ang sistema ng Watkins ay may ilang mga problema. Ang maliliit na negosyo sa mga sumusunod na sektor ay kinakailangan: pagproseso ng produktong agrikultural ( Kung ang unang Q Value pair na natuklasan ng Watkin's RL agent ay isang dead end, ito ay patuloy na bisitahin na dead end dahil ito ay hindi alam na mas mahusay. ang landmark paper Tungkol sa Deep-Q Network ang lahat Maximum ang lokasyon ang landmark paper Ang team ng DeepMind ay nag-solve ang parehong mga problema sa isang matinding paraan. Upang masiguro ang mga gastos sa pag-calculate ng pag-execute sa pamamagitan ng lahat ng mga pagpipilian, inilathala sila ang Ang metriko para sa espasyo-panahong Schwarzschild na may sistemang koordinatong ( at malapit na ding maging isang trahedya Ang ideya ay na, sa bawat estado, ang agente ay may isang Ɛ pagkakataon upang i-explore (piliin ang isa sa mga aksyon nang nakalipas) at isang 1 - Ɛ pagkakataon upang patuloy ang maximum Q Value tulad ng itinuturing ng ang ganito na pananaliksik. Kung hindi mo sa formal na mga pag-unawa, ito ay basahin na ang modelo ay may isang set probability upang subukan ang mga bagong mga aksyon araw-araw, isang useful behavior na i-save ng maraming oras sa pamamagitan ng pag-focus sa maximization (baguhin na mas mahalaga na state-action pairs ay maaaring i-slip) habang din nagbibigay ng flexibility sa decision making (baguhin na ang agente ay hindi nakuha sa mga lokal na maxima). ang napili ng mga taga-hanga Politiko ang ganitong Politiko ng eksplorasyon Kung ang agente ay pa rin sa proseso ng pag-uugali ng isang laro, halimbawa, kung paano siya ay malaman na ang anumang mga aksyon ay direktang magdusa sa isang mas mahusay na resulta? Just because you clapped your hands before making a three-pointer doesn't mean that the shot went in sa iyong pag-iisip. Well, ang agente ay dapat DeepMind inilunsad ng isang bagong paraan ng kung ano ang tinatawag nila "pagpalitan ng korelasyon" sa pagitan ng state-action pairs sa Ang Q Network ay karaniwang isang compact na modelo ng Machine Learning sa loob ng kompleto na DQN. Ang matagal na trabaho ng Q Network ay upang malaman mula sa mga karanasan ng agent, at, dahil sa isang estado, Ang Q Value resulting mula sa bawat at lahat ng mga posible na aksyon. Ibalik sa aming halimbawa na may mga gate at mga password, ang isang malinaw na Q Network ay mag-output ng isang mas mataas na predicted Q Value para sa aksyon ng pag-aralan ang parehong numero sa bawat gate, hindi sa pag-aralan ng isang hindi parehong numero. , ang network ay maaaring magtraining sa isang batch ng data na ang agent ay makakuha ng mula sa kapangyarihan, at kaya ay maaaring i-adjust ang kanyang mga timbang upang mas mabuti ang Q Values at sa gayon ay mas kumplikado sa ang "konsultasyon" na ito ay nagbibigay sa agent. dahil ang prediksyon Q ang network. ang prediksyon Replay ang experience All the World’s a Game… Ang Reinforcement Learning sa kanyang pinakahuling form ay may maraming pag-unlad. DeepMind, pagkatapos ng kanyang pagkuha sa pamamagitan ng Google noong 2014, ay nagsimula sa pag-unlad , isa sa mga pinakamataas na mga modelo ng RL ng lahat ng panahon. Na-trained gamit ang isang probability distribution model na itinatag ng (MCTS) algorithm, ang AlphaZero team ay lumabas na generalized mga variants ng orihinal na AlphaZero modelo sa iba't-ibang iba't-ibang iba't-ibang mga kompleksong mga trabaho, kabilang ang: ang alpha Mga Mapagkukunan ng Monte Carlo Tree ang alpha Mga Mapagkukunan ng Monte Carlo Tree 
 
 
 
 Ang AlphaGo, na shocked ang mundo sa pamamagitan ng nangangahulugan sa pagganap ng world reigning Go champion, Lee Sedol, sa kung ano ay tinatawag na isa sa mga pinaka-complex na board games ever made. Ang AlphaProof, isang variante na dedicated sa solving Olympiad math problems sa pamamagitan ng pag-operate sa LEAN-formalized proves, ay nakuha ng isang Silver sa simulated International Math Olympiad (IMO) benchmarking tests. Ang AlphaFold, na nakuha ng kanyang team ng pag-unlad ng Nobel Prize sa Biology sa 2024, ay nakuha ng mga pag-uugali sa protein folding, isa sa mga pinaka-complicated na aspeto ng molecular biology. Ang konsepto ng Reinforcement Learning ay may maraming bagay na ibinigay sa amin tungkol sa buhay: malaman kung ano ang mga bagay ay may pinakamataas na halaga, at naghahanap upang makakuha ng na halaga sa pamamagitan ng mga pag-uugali. Kung ang isang bagay ay hindi makakakuha ng iyong paraan, subukan ang isang bagay na iba pa hanggang ito ay gumagana. Ang mga tao ay karaniwang nangangahulugan ang mga subtleties ng mga sistema na kami ay lumikha, at ito ang dahilan kung bakit gusto ko ang Reinforcement Learning kaya. Para sa isang bagay na tulad ng simpleng at brilliant, ang kanyang potensyal ay limitado sa (ironically) nature ng humanity. Ang isa sa mga pinaka-karaniwang bahagi ng proseso ng RL, na kung saan ay ang function ng reward, ay itinatag ng mga tao. Matanggap At ito ay kung ano ang mga pangunahing mga mananaliksik sa mundo ay nagtatrabaho. Well, kind of. Kapag unang nalaman ko tungkol sa RL sa summer ng 2024, ang teknolohiya ay hindi na may isang pangunahing pag-unlad mula sa mga triumphs ng team ng AlphaZero noong 2017. Ang lahat ay nagsasalita tungkol sa ChatGPT, ito ay nagpapakita, pati na rin ang mga bagong Transformers na nag-dominate sa teknolohiya pag-diskusyon para sa loob ng halos isang taon. Nag-iisip ko sa kahanga-hangang kung paano cool ang RL ay, at pagkatapos ay nahuli ko tungkol dito. Ito ay, hanggang sa OpenAI ay may ideya ng paghahatid ng Transformer Architecture sa Reinforcement Learning, lumikha ng isang unholy hybrid na gusto kong tinatawag na RL sa industriya ng AI, isang bagay na kami ay nag-cover bago at nag-advocate laban. Problema ng Exploitation Problema ng Exploitation 
 
 Ang artikulong ito ay dumating sa iyo sa pamamagitan ng Our AI, isang estudyante-funded at estudyante-led AI Ethics organization na naghahanap upang diversify ang mga prospekto sa AI higit sa kung ano ang karaniwang tinutukoy sa modernong media. Kung gusto mo ng artikulong ito, tingnan ang aming mga mensahe sa https://www.our-ai.org/ai-nexus/read! Ang artikulong ito ay dumating sa iyo sa pamamagitan ng Our AI, isang estudyante-funded at estudyante-led AI Ethics organization na naghahanap upang diversify ang mga prospekto sa AI higit sa kung ano ang karaniwang tinutukoy sa modernong media. ! https://www.our-ai.org/ai-nexus/read Learn More Dahil dito, ang RL ay may maraming paraan upang pumunta bago ito makukuha ng kanyang maximum na potensyal. modernong RL-LLMs paggamit Ang maliliit na negosyo sa mga sumusunod na sektor ay kinakailangan: pagproseso ng produktong agrikultural (pagkakaiba sa mga sumusunod na sektor) at pagproseso ng produktong agrikultural (pagkakaiba sa mga sumusunod na sektor). Ang pagproseso ng produktong agrikultural (pagkakaiba sa mga sumusunod na sektor) ay kinakailangan: pagproseso ng produktong agrikultural ( At ang RL ay maaaring solve ang mga pinaka-complex na mga problema sa mundo ... kung maaari naming malaman kung paano mabilis na i-convert ang mga ito sa mga laro. Ipinanganak ang Chain of Thought (CoT) Mga pahinang tumuturo sa Artificial General Intelligence (AGI) Ipinanganak ang Chain of Thought (CoT) Mga pahinang tumuturo sa Artificial General Intelligence (AGI)

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Paano Ginawa ng mga Saksi ang mga Problema sa Mundo sa Mga Laro sa Reinforcement Learning

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Hosting a DNS domain on the blockchain

COVID-19: We Need More Than Data, We Need Insights!

State of the Noonion: The Year of Profitability and Product Renaissance

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Hosting a DNS domain on the blockchain

COVID-19: We Need More Than Data, We Need Insights!

State of the Noonion: The Year of Profitability and Product Renaissance

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps