Pernahkah Anda bertanya-tanya bagaimana manajer sirkus mendapatkan beruang untuk menyeimbangkan bola, atau harimau untuk melompat melalui lompatan api? Jawabannya: perbaikan. Harimau biasanya tidak melompat melalui lompatan api, tetapi mereka akan jika Anda memberi mereka sepotong daging yang lezat setiap kali ia melakukan. Akhirnya, harimau belajar bahwa untuk mendapatkan makanan, ia harus melakukan lompatan berani, dan sehingga ia melakukannya dengan bijak dan konsisten. Manusia belajar dengan cara yang sama: kita belajar untuk makan makanan sehat, berolahraga, dan belajar keras untuk mendapatkan sesuatu yang positif, apakah itu adalah ledakan dopamin, uang, dan kesuksesan. Fenomena ini, di mana manusia (atau hampir setiap hewan lain) meningkatkan perilaku spesifik setelah mereka dihargai dalam beberapa cara untuk itu, adalah bagian integral dari bagaimana kita belajar. Untuk waktu yang lama, menjelaskan bagaimana “Q Learning” dapat membantu membuat algoritma dapat beradaptasi dengan lingkungan yang kompleks, tetapi itu tidak sampai Tidak berlebihan untuk mengatakan bahwa, selama satu dekade, Reinforcement Learning, atau RL untuk singkat, telah mengubah dunia, dan itu akan terus melakukannya untuk waktu yang cukup lama. artikel ini membahas aspek teknis dari arsitektur yang menarik ini sambil berkomentar tentang dampak tak tergantikan pada teknologi LLM. Papers from the 1990s 2013 penelitian landmark Dokumen dari tahun 1990-an 2013 penelitian landmark Wisdom Comes from Within Pada tahun 1938, psikolog perilaku B. F. Skinner “operant conditioning” untuk menggambarkan bagaimana organisme dapat meningkatkan kecenderungan mereka untuk melakukan tindakan sukarela tertentu menggunakan proses yang disebut Dia menemukan bahwa, jika suatu tindakan (seperti, dalam kasusnya, mouse menekan lever) diperkuat oleh sesuatu yang positif (dia menggunakan makanan dan air), kemungkinan akan diulang lagi. dengan sesuatu yang berbahaya (sakit terbakar), ia adalah Seberapa sederhana proses ini, kemanusiaan seperti yang kita ketahui tidak akan sama tanpa itu. bayangkan dunia jika semua anak kecil mengalami kesulitan belajar bahwa Anda tidak harus melakukan hal-hal yang selalu menyebabkan Anda menyakiti diri sendiri! coined the term Perkembangan dihukum kurang Menggunakan istilah Ini adalah kebenaran sederhana yang mendorong Christopher Watkins untuk mengembangkan Jika manusia dan hewan dapat belajar melalui penguatan, mengapa tidak mesin? proses dimana seorang agen belajar melalui interaksi dengan lingkungan yang terbatas. dia mengusulkan bahwa, dalam lingkungan apa pun, tujuan agen Q Learning adalah untuk mengembangkan Melalui korelasi Untuk memahami ini, ambil contoh permainan video di mana seseorang harus melewati beberapa gerbang, dengan setiap gerbang diblokir oleh kata sandi dari satu digit acak. , atau perilaku yang dilakukan agen, akan menjadi angka yang ditebak agen di setiap gerbang, dan , atau lingkungan yang mengelilingi agen, akan menjadi gerbang di mana agen berada. Penghargaan dapat menjadi yang besar (mungkin untuk menyelesaikan level) atau yang kecil (untuk menyelesaikan satu gerbang). , atau situasi spesifik di mana suatu tindakan dikaitkan dengan suatu keadaan, maka lakukan algoritma maksimum sederhana untuk lebih memilih pasangan state-action yang teringat yang menyebabkan penghargaan yang tinggi. 1989 Ph. D. thesis Q Belajar Kebijakan Pasangan aksi-negara Aksi Negara Penghargaan Pasangan Aksi Negara 1989 Ph. D. Tesis Kemudian, pasangan tindakan negara yang mungkin adalah memilih “4” di gerbang kedua. Yang lain adalah memilih “6” di gerbang kedua, meskipun pilihan ini mungkin akan menyebabkan imbalan yang jauh lebih rendah, karena itu adalah digit yang salah untuk gerbang kedua. Mari kita katakan bahwa imbalan untuk melewati gerbang ke-6 adalah 1, dan bahwa setiap gerbang tambahan yang melewati (tidak termasuk gerbang ke-6) memberikan imbalan 0.2. Seorang agen pembelajaran Q awal mungkin akan mencoba angka 1-9 di gerbang pertama, gerbang kedua, dan seterusnya. Dia akan melakukannya sampai dia mencoba semua hasil yang mungkin dari pasangan nilai negara dan menerima semua imbalan untuk setiap kombinasi dari pasangan ini. Ia kemudian akan menetapkan untuk seri angka yang mengarah ke hadiah tertinggi, yang, seperti yang kita bisa katakan, adalah kombinasi yang benar 5-4-9-8-7-2, yang memberikan imbalan tertinggi dari 2. Dengan mempelajari cara memaksimalkan nilai Q, Watkins menghipotesis, model akan dapat membuat keputusan optimal dalam lingkungan non-probabilistik. Q Nilai DeepMind Steps In Pada tahun 2013, para peneliti di laboratorium penelitian AI DeepMind mempublikasikan apa yang akan menjadi Dokumen mereka menandai pengenalan salah satu jenis yang paling penting dari apa yang akan dikenal sebagai Reinforcement Learning (RL) model: Para peneliti mengakui kemampuan menggunakan Q Learning untuk melatih agen, tetapi mencatat bahwa sistem Watkins memiliki beberapa masalah. Pasangan state-action yang mungkin tidak akan bekerja dalam permainan yang kompleks dengan jutaan kombinasi keputusan. Kedua, fungsi maksimizasi sederhana tidak akan bekerja, karena permainan yang lebih kompleks cenderung memiliki Mari kita katakan bahwa hadiah dari permainan labirin didefinisikan oleh panjang yang ditempuh pemain secara total menuju tujuan.Jika pasangan nilai Q pertama yang ditemukan agen RL Watkin adalah akhir mati, ia akan terus mengunjungi akhir mati itu karena tidak tahu lebih baik. kertas landmark Jaringan Deep-Q Semua Maksimalkan Lokasi kertas landmark Tim DeepMind memecahkan kedua masalah dengan cara yang cerdas. untuk mengurangi biaya komputasi dari menjalankan melalui semua opsi, mereka memperkenalkan Metode ini, yang diberi nama setelah huruf Yunani epsilon (Ɛ), menyeimbangkan Watkin selalu mengikuti penghargaan tertinggi yang diketahui dengan Ide ini adalah bahwa, di setiap negara bagian, agen akan memiliki kesempatan untuk mengeksplorasi (pilih salah satu tindakan secara acak) dan kesempatan 1 - Ɛ untuk mengikuti nilai Q maksimum seperti yang didikte oleh kebijakan cemburu. Jika Anda tidak masuk ke penjelasan formal, ini pada dasarnya berarti bahwa model akan memiliki probabilitas yang ditetapkan untuk mencoba tindakan baru dari waktu ke waktu, perilaku yang berguna yang akan menghemat banyak waktu dengan berfokus pada maximization (sehingga pasangan tindakan negara kurang berharga dapat dilewatkan) sambil juga memungkinkan fleksibilitas dalam pengambilan keputusan (sehingga agen tidak terjebak pada maxima lokal). Epsilon-Greedy yang Kebijakan Cerdas Kebijakan eksplorasi Jika agen masih dalam proses menyelesaikan permainan, misalnya, bagaimana dia akan tahu bahwa tindakan tertentu akan langsung mengarah ke hasil yang lebih baik? Untuk itu, petugas harus DeepMind memperkenalkan cara baru dari apa yang mereka sebut “menghancurkan korelasi” antara negara-aksi pasangan dengan Jaringan Q pada dasarnya adalah model pembelajaran mesin yang kompak di dalam DQN lengkap. satu-satunya tugas Jaringan Q adalah belajar dari pengalaman agen, dan, mengingat status, Kembali ke contoh kami dengan gerbang dan kata sandi, Jaringan Q yang terlatih akan menghasilkan nilai Q yang lebih tinggi yang diprediksi untuk tindakan menebak nomor yang benar di setiap gerbang, daripada menebak nomor yang salah. Jaringan Q itu sendiri berkembang sepanjang proses pelatihan. , jaringan dapat dilatih pada serangkaian data yang diterima agen dari lingkungan, dan dengan demikian dapat menyesuaikan beban untuk lebih baik memprediksi nilai Q dan dengan demikian lebih efektif dalam " saran" yang ia berikan kepada agen. Karena prediksi Jaringan Q prediksi Pengalaman Repeat All the World’s a Game… Reinforcement Learning dalam bentuk murni telah memiliki banyak kemajuan. DeepMind, setelah akuisisi oleh Google pada tahun 2014, terus mengembangkan , salah satu model RL paling terkenal sepanjang masa. Dilatih menggunakan model distribusi probabilitas yang ditingkatkan oleh Dengan menggunakan algoritma (MCTS), tim AlphaZero berhasil menyederhanakan varian dari model AlphaZero asli untuk berbagai tugas kompleks lainnya, termasuk: AlphaZero Mencari Pohon Monte Carlo AlphaZero Mencari Pohon Monte Carlo 
 
 
 
 AlphaGo, yang mengejutkan dunia dengan mengalahkan juara dunia yang berkuasa Go, Lee Sedol, dalam apa yang dianggap sebagai salah satu permainan papan yang paling kompleks yang pernah dibuat. AlphaProof, varian yang didedikasikan untuk memecahkan masalah matematika Olimpiade dengan beroperasi pada bukti-bukti LEAN-formalisasi, mencapai Silver di tes benchmarking Olimpiade Matematika Internasional (IMO) simulasi. AlphaFold, yang memenangkan pengembangan timnya Hadiah Nobel dalam Biologi pada tahun 2024, mencapai terobosan dalam melipat protein, salah satu aspek yang paling rumit dari biologi molekuler. Konsep Reinforcement Learning memiliki banyak hal untuk mengajarkan kita tentang kehidupan: mencari tahu apa yang memiliki nilai tertinggi, dan berusaha untuk mencapai nilai itu melalui tindakan. Jika sesuatu tidak berjalan dengan cara Anda, cobalah sesuatu yang lain sampai berhasil. Manusia sering mengabaikan keripik sistem yang kami desain, dan itulah sebabnya saya suka Reinforcement Learning begitu banyak. Untuk sesuatu yang begitu sederhana dan brilian, potensinya dibatasi oleh (ironik) sifat kemanusiaan. Salah satu bagian paling penting dari proses RL, yaitu fungsi reward, ditetapkan oleh manusia. Melihat kembali pencapaian tim AlphaZero, jelas bahwa kita adalah faktor pembatasan dalam apa yang dapat dilakukan menggunakan RL. Tampaknya, karena AlphaZero dapat memecahkan hampir setiap permainan secara heuristik, satu-satunya hal yang tersisa untuk dilakukan adalah mengubah setiap masalah dunia menjadi permainan, dan memiliki AlphaZero memainkannya Ketika saya pertama kali belajar tentang RL pada musim panas 2024, teknologi itu tidak memiliki terobosan besar sejak kemenangan tim AlphaZero pada tahun 2017. Semua orang berbicara tentang ChatGPT, tampaknya, serta Transformers baru yang telah mendominasi diskusi teknologi selama setengah tahun. Saya berpikir misterius tentang seberapa keren RL, dan kemudian saya melupakannya. Itu berarti, sampai OpenAI memiliki ide untuk menggabungkan arsitektur Transformer dengan Reinforcement Learning, menciptakan hibrida yang tidak suci yang saya suka sebut RL-LLMs, atau Reinforcement Learning-Large Language Models, untuk kesederhanaan. Sepertinya seperti tidak-brainer: diperkuat oleh paradigma yang disebut Reinforcement Learning with Human Feedback (HRLF), RL-M dapat memecahkan masalah dengan kekuatan transformator, dan deracerive menggunakan solusi berbasis umum Rastro-ste dalam industri AI, sesuatu yang kita telah mencakup sebelumnya dan membela terhadap. Masalah Eksploitasi Pekerja Masalah Eksploitasi Pekerja 
 
 Artikel ini dibawa kepada Anda oleh Kami AI, sebuah organisasi etika AI yang didirikan oleh siswa dan dipimpin oleh siswa yang berusaha untuk diversifikasi perspektif di AI melampaui apa yang biasanya dibahas di media modern. Artikel ini dibawa kepada Anda oleh Kami AI, sebuah organisasi etika AI yang didirikan oleh siswa dan dipimpin oleh siswa yang berusaha untuk diversifikasi perspektif di AI melampaui apa yang biasanya dibahas di media modern. ! https://www.our-ai.org/ai-nexus/read Learn More Dengan kata lain, RL memiliki jalan panjang untuk pergi sebelum mencapai potensi maksimumnya. Banyak model RL tradisional harus dilatih untuk jutaan iterasi sebelum konvergensi, dengan cepat meningkatkan biaya jika lingkungan yang terkait besar atau terlalu kompleks, seperti halnya untuk memanipulasi solusi untuk masalah kompleks yang ditulis dalam bahasa alami. Untuk tujuan ini, model RL masa depan mungkin bergantung pada LLM (atau bahkan RL-LLM) untuk “gamify” masalah, seperti yang dilakukan tim AlphaZero untuk AlphaProof, mengkonversi persamaan yang mereka temui ke format bukti formal LEAN sehingga mereka dapat diselesaikan. Dengan ini, kita mungkin dapat memanfaatkan RL khusus lapangan jauh lebih murah dan efisien, meskipun ini adalah langkah mundur dari visi komersial yang diakui secara luas untuk menghasilkan Sekali lagi, RL dapat memecahkan masalah paling kompleks di dunia ... jika kita bisa mencari tahu bagaimana dengan cepat mengubahnya menjadi permainan. Pengertian Rantai Pikiran (CoT) Kecerdasan Buatan Umum (AGI) Pengertian Rantai Pikiran (CoT) Kecerdasan Buatan Umum (AGI)

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Audio ini diproduksi dalam bahasa asli cerita!

Bagaimana Ilmuwan Mengubah Masalah Dunia Menjadi Permainan Dengan Pembelajaran Reinforcement

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

Invest With Purpose: Interview with Arian Adeli, CEO at Rivo Trading

Return to Pleasure Island

THE BEGINNING OF THE SEARCH FOR THE KEY AND THE COAT.

NIGHT (continued)

Invest With Purpose: Interview with Arian Adeli, CEO at Rivo Trading

Return to Pleasure Island

THE BEGINNING OF THE SEARCH FOR THE KEY AND THE COAT.

NIGHT (continued)

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps