Vous avez tous vu des images incroyables comme celles-ci, entièrement générées par un modèle d'intelligence artificielle. J'ai couvert plusieurs approches sur ma chaîne, comme Craiyon, Imagen et la plus connue, Dall-e 2. La plupart des gens veulent les essayer et générer des images à partir d'invites aléatoires, mais la majorité de ces modèles ne sont pas open-source, ce qui signifie que nous, les gens ordinaires comme nous, ne pouvons pas les utiliser librement. Pourquoi? C'est ce sur quoi nous allons plonger dans cette vidéo... Références ►Lire l'article complet : ►Article d'OpenAI : ►Vidéo Dalle 2 : ►Vidéo de Craiyon : ►Utilisez Craiyon : ►Ma newsletter quotidienne : https://www.louisbouchard.ai/how-openai-reduces-risks-for-dall-e-2/ https://openai.com/blog/dall-e-2-pre-training-mitigations/ https://youtu.be/rdGVbPI42sA https://youtu.be/qOxde_JV0vI https://www.craiyon.com/ https://www.getrevue.co/profile/whats_ai Transcription vidéo 0:00 vous avez tous vu des images incroyables 0:02 comme ceux-ci entièrement générés par un 0:05 modèle d'intelligence artificielle que j'ai couvert 0:07 plusieurs approches sur ma chaîne comme 0:09 crayon imogen et le plus connu 0:12 deli 2. la plupart des gens veulent les essayer et 0:15 générer des images à partir d'invites aléatoires, mais 0:18 la majorité de ces modèles ne sont pas ouverts 0:20 source qui signifie que les gens ordinaires aiment 0:23 nous ne pouvons pas les utiliser librement pourquoi c'est 0:26 dans quoi nous allons plonger dans cette vidéo 0:29 j'ai dit que la plupart d'entre eux n'étaient pas open source 0:32 bien crayon est et les gens ont généré 0:35 des mèmes incroyables en l'utilisant, vous pouvez voir comment 0:38 un tel modèle peut devenir dangereux 0:40 permettant à quiconque de générer quoi que ce soit non 0:43 uniquement pour les éventuels abus concernant 0:45 les générations mais les données utilisées pour 0:47 entraînent également de tels modèles provenant de 0:50 jolies images aléatoires sur internet 0:52 à peu près n'importe quoi avec un contenu douteux 0:55 et produisant des images inattendues 0:58 les données de formation pourraient également être récupérées 1:00 par ingénierie inverse du modèle 1:02 qui est très probablement indésirable openai 1:05 a également utilisé cela pour justifier de ne pas publier 1:08 le modèle daily2 au public ici nous 1:10 va regarder ce qu'ils sont 1:12 enquêtant sur les risques potentiels et comment 1:14 ils essaient de les atténuer je vais 1:16 à travers un article très intéressant, ils 1:18 écrit couvrant leur prétraitement des données 1:21 étapes lors de la formation dalit ii mais avant 1:24 alors laisse-moi quelques secondes pour être le mien 1:26 parrainer et partager mon dernier projet 1:28 ce qui pourrait vous intéresser j'ai récemment 1:31 créé une newsletter quotidienne partage ai 1:34 nouvelles et de la recherche avec un simple et 1:36 effacer une ligne pour savoir si le papier 1:38 le code ou les nouvelles valent votre temps, vous pouvez 1:41 abonnez-vous sur linkedin ou avec votre 1:43 mail le lien est dans la description 1:45 dessous 1:46 alors qu'est-ce que openai a vraiment à l'esprit 1:48 quand ils disent qu'ils font 1:50 efforts pour réduire les risques 1:52 la première et la plus évidente est que 1:55 ils filtrent les violences et 1:57 images sexuelles parmi des centaines de 1:59 des millions d'images sur internet ce 2:02 est d'empêcher le modal d'apprendre 2:04 comment produire des scènes violentes et sexuelles 2:06 contenu ou même retourner l'original 2:08 images comme des générations c'est comme pas 2:11 apprendre à votre enfant à se battre si vous 2:13 je ne veux pas qu'il se batte 2:15 ça peut aider mais c'est loin d'être parfait 2:17 réparer encore je crois qu'il est nécessaire de 2:20 avoir de tels filtres dans nos ensembles de données et 2:22 aide certainement dans ce cas, mais comment faire 2:25 ils font exactement ça ils en construisent plusieurs 2:27 modèles formés pour classer les données à 2h30 filtrés ou non en leur donnant quelques 2:32 différents exemples positifs et négatifs 2:34 et améliorer itérativement les classificateurs 2:37 avec la rétroaction humaine, chaque classificateur est allé 2:39 à travers tout notre ensemble de données en supprimant plus 2:42 images que nécessaire juste au cas où 2:44 beaucoup mieux pour que le modèle ne voie pas mal 2:47 données en premier lieu plutôt que 2:48 essayer de corriger le tir après 2:51 chaque classificateur aura un unique 2:53 compréhension du contenu à filtrer 2:56 et se compléteront tous 2:57 assurer un bon filtrage si par bon on 3:00 signifie pas d'images faussement négatives 3:02 à travers le processus de filtrage 3:04 encore il vient avec des inconvénients d'abord le 3:07 l'ensemble de données est clairement plus petit et peut ne pas 3:10 représenter fidèlement le monde réel 3:12 qui peut être bon ou mauvais selon 3:14 le cas d'utilisation, ils ont également trouvé un 3:16 effet secondaire inattendu de ces données 3:18 processus de filtrage, il a amplifié le 3:21 biais du modèle envers certains 3:23 la démographie introduisant le deuxième 3:25 chose que fait openai en tant que pré-formation 3:28 l'atténuation réduisent les biais causés par 3:31 ce filtrage par exemple après 3:33 filtrer l'un des biais qu'ils ont remarqués 3:36 était que le modal générait plus d'images 3:38 d'hommes et moins de femmes par rapport à 3:41 modaux formés sur l'ensemble de données d'origine 3:44 ils ont expliqué que l'une des raisons 3:46 peut-être que les femmes apparaissent plus souvent que 3:48 les hommes dans le contenu sexuel qui peut biaiser 3:50 leurs classificateurs pour supprimer plus de faux 3:53 images négatives contenant des femmes de 3:55 l'ensemble de données créant une lacune dans 3:57 rapport de genre que le modèle observe dans 4:00 formation et répliques pour corriger qu'ils 4:02 repondérer l'ensemble de données filtré pour correspondre 4:05 la distribution de l'initiale 4:07 ensemble de données de pré-filtre voici un exemple 4:10 ils couvrent l'utilisation de chats et de chiens où le 4:12 le filtre supprimera plus de crottes que de chats 4:14 donc la solution sera de doubler le 4:16 perte d'entraînement pour les images de chiens qui 4:19 sera comme envoyer deux images de dugs 4:21 au lieu d'un et compensant le 4:23 manque d'images ce n'est encore une fois qu'un 4:26 proxy pour le biais de filtrage réel, mais il 4:29 réduit encore l'écart de distribution d'image 4:31 entre le pré-filtré et le 4:33 jeu de données filtré 4:35 le dernier numéro est un numéro de 4:36 mémorisation quelque chose que les modèles semblent 4:39 être beaucoup plus puissant que moi comme nous 4:42 dit qu'il est possible de régurgiter le 4:44 données d'apprentissage provenant d'une telle génération d'images 4:46 modèles qui ne sont pas souhaités dans la plupart des cas 4:49 ici, nous voulons aussi générer du roman 4:51 images et pas simplement copier coller des images 4:54 d'Internet, mais comment pouvons-nous empêcher 4:56 que tout comme notre mémoire tu ne peux pas 4:59 Décidez vraiment de ce dont vous vous souvenez et de quoi 5:01 s'en va une fois que vous voyez quelque chose 5:03 ils collent ou ils n'ont pas trouvé 5:05 que tout comme les humains apprennent un nouveau 5:07 concept si le modèle voit la même image 5:10 plusieurs fois dans l'ensemble de données, il peut 5:12 le connaître accidentellement par cœur à la fin 5:15 de sa formation et la générer exactement 5:17 pour une invite de texte similaire ou identique 5:20 celui-ci est une solution simple et fiable 5:23 découvrez simplement quelles images sont aussi 5:25 similaire et supprimez facilement les doublons 5:28 faire cela signifiera comparer chaque 5h30 image avec toutes les autres significations d'image 5:33 des centaines de quadrillions de paires d'images 5:36 pour comparer à la place, ils commencent simplement par 5:38 regrouper des images similaires et 5:41 puis comparez les images avec toutes les autres 5:43 images dans le même et quelques autres 5:46 des grappes autour d'elle réduisant immensément 5:48 la complexité tout en trouvant 97 de 5:52 toutes les paires en double à nouveau un autre correctif pour 5:55 faire dans l'ensemble de données avant la formation 5:57 notre modèle quotidien openai mentionne également 6:00 une prochaine étape sur laquelle ils enquêtent 6:02 et si vous avez aimé cette vidéo je 6:04 vous invite définitivement à lire leur 6:06 article de fond pour voir tous les détails 6:08 de ce travail d'atténuation de pré-formation 6:11 c'est très intéressant et bien écrit 6:13 article dites moi ce que vous en pensez 6:15 leurs efforts d'atténuation et leurs 6:17 choix de limiter l'accès du modèle à 6:19 le public 6:20 laissez un commentaire ou rejoignez la discussion 6:22 dans notre communauté sur discord merci 6:24 pour avoir regardé jusqu'à la fin et je le ferai 6:26 à la semaine prochaine avec un autre incroyable 6:29 papier [Musique]
