Vous vous demandez jamais comment les gestionnaires de cirque obtiennent-ils des ours pour équilibrer une balle, ou un tigre pour sauter à travers des sauts en flammes? La réponse: renforcement. Les tigres ne sautent généralement pas à travers des sauts en flammes, mais ils le feront si vous leur donnez un morceau de viande délicieux chaque fois qu'il le fait. Finalement, un tigre apprend qu'en vue d'obtenir la nourriture, il doit effectuer les sauts audacieux, et donc il le fait de manière habile et cohérente. Les humains apprennent de manière similaire: nous apprenons à manger de la nourriture saine, à faire de l'exercice et à étudier dur pour gagner quelque chose de positif, que ce soit Il a détaillé comment "Q Learning" pourrait aider à rendre les algorithmes adaptables à un environnement complexe, mais ce n'était pas jusqu'à ce que le Ce n'est pas une exagération de dire que, au cours d'une décennie, Reinforcement Learning, ou RL en bref, a changé le monde, et il continuera de le faire pendant un certain temps. Papiers des années 1990 Rapport de recherche sur les marques 2013 Papiers des années 1990 Rapport de recherche sur les marques 2013 Wisdom Comes from Within En 1938, le psychologue B.F. Skinner « conditionnement opérant » pour décrire comment les organismes peuvent augmenter leur propensité à effectuer certaines actions volontaires en utilisant un processus appelé Il a constaté que si une action (comme, dans son cas, une souris appuyant sur un levier) était renforcée par quelque chose de positif (il a utilisé de la nourriture et de l'eau), il était probable qu'elle soit répétée. par quelque chose de nocif (la douleur de brûler), il a été Aussi simple que ce processus est, l’humanité telle que nous la connaissons ne serait pas la même sans elle. Imaginez le monde si tous les jeunes enfants avaient du mal à apprendre que vous ne devriez pas faire les choses qui vous conduisent toujours à vous blesser! Trouver le terme Renforcement pénalisé moins Trouver le terme C’est cette simple vérité qui a conduit Christopher Watkins à développer son Si les humains et les animaux pouvaient apprendre par le renforcement, pourquoi les machines ne pouvaient-elles pas ? processus par lequel un agent apprend à travers des interactions avec un environnement limité.Il a proposé que, dans n'importe quel environnement, l'objectif d'un agent Q Learning est de développer par corrélation Pour comprendre cela, prenez l'exemple d'un jeu vidéo où l'on doit passer plusieurs portes, chaque porte étant verrouillée par le mot de passe d'un seul chiffre aléatoire. , ou le comportement de l'agent, serait le nombre que l'agent devinera à chaque porte, et le , ou l'environnement entourant l'agent, serait la porte à laquelle l'agent est. Une récompense peut être une grande (peut-être pour terminer un niveau) ou une petite (pour terminer une seule porte). , ou une situation spécifique où une action est associée à un état, puis exécutez un algorithme de maximisation simple pour préférer les paires d'actions d'état mémorisées qui ont conduit à une récompense élevée. 1989 Ph.D. Thèse Q Apprentissage Politique Les paires action-état action État Récompenses Les paires d’action 1989 Ph.D. Thèse Ensuite, une paire d'actions d'état possible serait de choisir "4" à la deuxième porte. Un autre serait de choisir "6" à la deuxième porte, bien que ce choix conduise probablement à une récompense beaucoup plus faible, puisqu'il s'agit du chiffre erroné pour la deuxième porte. Disons que la récompense pour passer la 6e porte est 1, et que chaque porte supplémentaire passée (à l'exclusion de la 6e) donne une récompense de 0,2. Un agent d'apprentissage Q précoce aurait probablement essayé les chiffres 1-9 à la première porte, la deuxième porte, etc. Il le ferait jusqu'à ce qu'il ait essayé tous les résultats possibles des paires de valeurs d'état et reçu toutes les récompenses pour chaque combinaison de ces pa En apprenant à maximiser la valeur Q, Watkins a hypothétisé que les modèles pourraient prendre des décisions optimales dans un environnement non probabiliste. Q Valeurs DeepMind Steps In En 2013, des chercheurs du laboratoire de recherche sur l’IA DeepMind ont publié ce qui deviendrait un Leur travail marque l’introduction d’un des types les plus importants de ce qui deviendrait connu sous le nom de Reinforcement Learning (RL) modèles: Les chercheurs ont reconnu la capacité d'utiliser Q Learning pour former des agents, mais ont noté que le système de Watkins avait quelques problèmes. Deuxièmement, les fonctions de maximisation simples ne fonctionneraient pas, car les jeux plus complexes ont tendance à avoir Disons que la récompense d'un jeu de labyrinthe est définie par la longueur qu'un joueur traverse au total vers le but. Si la première paire de Q Value que l'agent RL de Watkin découvre est une fin morte, il continuera à visiter cette fin morte car il ne sait pas mieux. Papiers Landmark Le réseau Deep-Q tout Maximiser localement Papiers Landmark L'équipe de DeepMind a résolu les deux problèmes de manière intelligente.Pour atténuer les coûts informatiques de l'exécution de toutes les options, ils ont introduit le Cette méthode, nommée d'après la lettre grecque epsilon (Ɛ), équilibre les de toujours aller après la plus haute récompense connue avec un L'idée est que, à chaque état, l'agent aura une chance Ɛ d'explorer (choisissez l'une des actions au hasard) et une chance 1 - Ɛ de suivre la valeur Q maximale décrite par la politique avide. Si vous n'êtes pas dans des explications formelles, cela signifie fondamentalement que le modèle aura une probabilité fixe d'essayer de nouvelles actions de temps en temps, un comportement utile qui permettra d'économiser beaucoup de temps en se concentrant sur la maximisation (de sorte que les paires d'actions d'état moins précieuses puissent être oubliées) tout en permettant également de la flexibilité dans la prise de décision (de sorte que l'agent ne s'accroche pas aux maximes locales). Epsilon-Grédy Politique grecque Politique d’exploration Ensuite, il y avait le problème de l'évaluation.Si l'agent est encore dans le processus de terminer un jeu, par exemple, comment saura-t-il que certaines actions conduiront directement à un meilleur résultat? de votre clap. Eh bien, l'agent doit DeepMind a introduit une nouvelle façon de ce qu’ils appellent « rompre la corrélation » entre les actions de l’État et les actions de l’État. Le Réseau Q est essentiellement un modèle compact d'apprentissage automatique à l'intérieur du DQN complet.La seule tâche du Réseau Q est d'apprendre de l'expérience de l'agent, et, étant donné un état, Retournant à notre exemple avec les portes et les mots de passe, un réseau Q bien entraîné produira une valeur Q plus élevée prédite pour l'action de deviner le nombre correct à chaque porte, plutôt que de deviner un nombre incorrect. , le réseau est capable d'être entraîné sur un lot de données que l'agent reçoit de l'environnement, et est ainsi capable d'ajuster ses poids afin de mieux prédire les valeurs Q et ainsi être plus efficace dans le "conseil" qu'il donne à l'agent. parce que prédictions Le réseau Q. prédictions Expérience replay All the World’s a Game… Reinforcement Learning dans sa forme la plus pure a connu de nombreux progrès. DeepMind, après son acquisition par Google en 2014, a continué à se développer. , l'un des modèles RL les plus célèbres de tous les temps. Formé en utilisant un modèle de répartition des probabilités amélioré par le (MCTS) algorithme, l'équipe AlphaZero a généralisé avec succès des variantes du modèle AlphaZero original à diverses autres tâches complexes, y compris: AlphaZéro Trouver un arbre de Monte Carlo AlphaZéro Trouver un arbre de Monte Carlo 
 
 
 
 AlphaGo, qui a choqué le monde en battant décisivement le champion du monde de Go, Lee Sedol, dans ce qui était considéré comme l'un des jeux de société les plus complexes jamais créés. AlphaProof, une variante dédiée à la résolution de problèmes de mathématiques olympiques en fonctionnant sur des preuves formalisées LEAN, a obtenu un Silver dans les tests de benchmarking simulés de l'International Math Olympiad (IMO). AlphaFold, qui a remporté le prix Nobel de biologie en 2024, a réalisé des percées dans le pliage des protéines, l’un des aspects les plus compliqués de la biologie moléculaire. Le concept d’apprentissage renforcé a beaucoup à nous enseigner sur la vie : découvrez quelles choses ont la plus haute valeur, et cherchez à atteindre cette valeur par des actions. Si quelque chose ne va pas, essayez quelque chose d’autre jusqu’à ce qu’il fonctionne. Les humains négligent souvent les subtilités des systèmes que nous concevons, et c’est pour cela que j’aime tant l’apprentissage renforcé. Pour quelque chose de si simple et brillant, son potentiel est limité par (ironiquement) la nature de l’humanité. L’une des parties les plus importantes du processus RL, à savoir la fonction de récompense, est définie par les humains. Regardant les réalisations de l’équipe AlphaZero, il est évident que nous sommes le facteur Et c’est ce que font les meilleurs chercheurs du monde. Eh bien, quelque chose. Lorsque j’ai appris pour la première fois sur RL en été 2024, la technologie n’avait pas connu de gros progrès depuis les triomphes de l’équipe AlphaZero en 2017. Tout le monde parlait de ChatGPT, il semblait, ainsi que les nouveaux Transformers qui avaient dominé la discussion sur la technologie pendant une demi-année. Je pensais à quel point RL était cool, puis j’en ai oublié. C’est-à-dire, jusqu’à ce que OpenAI ait eu l’idée de combiner l’architecture de Transformer avec Reinforcement Learning, créant un hybride impitoyable que j’aime appeler RL-LLMs, ou Modèles de Reinforcement Learning-Large dans l'industrie de l'IA, quelque chose que nous avons couvert auparavant et défendons contre. Le problème de l’exploitation des travailleurs Le problème de l’exploitation des travailleurs 
 
 Cet article vous est apporté par Notre AI, une organisation d'éthique de l'IA fondée par les étudiants et dirigée par les étudiants qui cherche à diversifier les perspectives en matière d'IA au-delà de ce qui est généralement discuté dans les médias modernes. Cet article vous est apporté par Notre AI, une organisation d'éthique de l'IA fondée par des étudiants et dirigée par des étudiants qui cherche à diversifier les perspectives en matière d'IA au-delà de ce qui est généralement discuté dans les médias modernes. ! https://www.our-ai.org/ai-nexus/read Learn More Cela étant dit, RL a un long chemin à parcourir avant d'atteindre son potentiel maximal. Beaucoup de modèles RL traditionnels doivent s’entraîner pour des millions d’itérations avant la convergence, augmentant rapidement les coûts si l’environnement associé est grand ou trop complexe, comme c’est le cas pour généraliser les solutions aux problèmes complexes écrits en langage naturel. À cette fin, les futurs modèles RL peuvent compter sur les LLM (ou même les RL-LLM) pour « gamifier » les problèmes, tout comme l’équipe AlphaZero l’a fait pour AlphaProof, convertissant les équations qu’il a rencontrées au format de preuve formel LEAN afin qu’elles puissent être résolues. Encore une fois, RL pourrait résoudre les problèmes les plus complexes du monde... si nous pouvons comprendre comment les transformer rapidement en jeux. La chaîne de la pensée (CoT) Intelligence artificielle générale (AGI) La chaîne de la pensée (CoT) Intelligence artificielle générale (AGI)

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Cet audio est produit dans la langue originale de l'histoire !

Comment les scientifiques ont transformé les problèmes du monde en jeux avec l'apprentissage du renforcement

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Le modèle Bitcoin UTXO, alimentant un écosystème unique

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Boostez votre productivité avec ces 18 outils de développement 🚀🔥

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Le modèle Bitcoin UTXO, alimentant un écosystème unique

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Boostez votre productivité avec ces 18 outils de développement 🚀🔥

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps