¿Qué es la IA centrada en datos?

Lo que hace que GPT-3 y Dalle sean poderosos es exactamente lo mismo: datos.

Los datos son cruciales en nuestro campo, y nuestros modelos están extremadamente hambrientos de datos. Estos grandes modelos, ya sean modelos de lenguaje para GPT o modelos de imagen para Dalle, requieren lo mismo: demasiados datos.

Cuantos más datos tengas, mejor será. Por lo tanto, debe ampliar esos modelos, especialmente para aplicaciones del mundo real.

Los modelos más grandes pueden usar conjuntos de datos más grandes para mejorar solo si los datos son de alta calidad.

Alimentar imágenes que no representan el mundo real será inútil e incluso empeorará la capacidad de generalización del modelo. Aquí es donde entra en juego la IA centrada en los datos...

Más información en el vídeo:

Referencias

►Lea el artículo completo: https://www.louisbouchard.ai/data-centric-ai/
►IA centrada en datos: https://snorkel.ai/data-centric-ai
►Supervisión débil: https://snorkel.ai/weak-supervision/
►Etiquetado programático: https://snorkel.ai/programmatic-labeling/
►Lista seleccionada de recursos para IA centrada en datos: https://github.com/hazyresearch/data-centric-ai
►Aprenda más sobre Snorkel: https://snorkel.ai/company/
►De la IA centrada en el modelo a la centrada en los datos: Andrew Ng:
►Software 2.0: https://hazyresearch.stanford.edu/blog/2020-02-28-software2
►Ponencia 1: Ratner, AJ, De Sa, CM, Wu, S., Selsam, D. y Ré, C.,
2016. Programación de datos: creación rápida de grandes conjuntos de entrenamiento. Avances
en sistemas de procesamiento de información neuronal, 29.
►Ponencia 2: Ratner, A., Bach, SH, Ehrenberg, H., Fries, J., Wu, S. y
Ré, C., 2017, noviembre. Snorkel: Creación rápida de datos de entrenamiento con débil
supervisión. En Procedimientos de la Fundación VLDB. Internacional
Conferencia sobre Bases de Datos Muy Grandes (Vol. 11, No. 3, p. 269). NIH público
Acceso.
►Ponencia 3: Ré, C. (2018). Software 2.0 y Snorkel: más allá de la etiqueta manual
Datos. Actas de la 24ª Conferencia Internacional ACM SIGKDD sobre
Descubrimiento de conocimiento y minería de datos.
►My Newsletter (¡Una nueva aplicación de IA explicada semanalmente en sus correos electrónicos!): https://www.louisbouchard.ai/newsletter/

Transcripción del vídeo

0:00

lo que hace que gpt3 y delhi sean poderosos es

0:03

exactamente lo mismo que son los datos

0:06

cruciales en nuestro campo y nuestros modelos son

0:08

extremadamente hambrientos de datos estos modelos grandes

0:11

ya sea modelos de lenguaje para gpt o imagen

0:13

todos los modelos para delhi requieren lo mismo

0:15

cosa

0:16

demasiados datos lamentablemente cuanto más

0:19

los datos que tiene mejor es por lo que

0:21

necesidad de ampliar esos modelos especialmente

0:24

para aplicaciones del mundo real más grande

0:26

los modelos pueden usar conjuntos de datos más grandes para

0:28

mejorar solo si los datos son de alta

0:30

imágenes de alimentación de calidad que no

0:32

representar el mundo real será de ninguna

0:34

usar e incluso empeorar la habilidad del modelo

0:37

para generalizar, aquí es donde se centran los datos

0:39

ai entra en juego ai centrada en datos también

0:43

conocido como software 2.0 es solo un

0:46

manera elegante de decir que optimizamos nuestro

0:48

datos para maximizar el modelo

0:50

actuaciones en lugar de centrado en el modelo

0:52

donde simplemente ajustarás el modelo

0:54

parámetros en un conjunto de datos fijo, por supuesto

0:57

ambos deben hacerse para tener lo mejor

0:59

resultados posibles, pero los datos son, con mucho, los

1:02

jugador más grande aquí en este video en

1:04

asociación con snorkel cubriré

1:06

qué es la IA centrada en datos y revisar algunos

1:09

grandes avances en el campo que usted

1:11

comprender rápidamente por qué los datos son tan

1:13

importante en el aprendizaje automático que es

1:15

la misión de snorkel tomando una cita de

1:17

su publicación de blog vinculada a continuación los equipos

1:19

a menudo pasan tiempo escribiendo nuevos modelos

1:21

en vez de entender su problema

1:23

y su expresión en datos más profundamente

1:26

escribir un nuevo modelo es una hermosa

1:28

refugio para esconderse del lío de

1:30

entender los problemas reales y esto

1:33

es lo que este video pretende combatir en uno

1:36

oración el objetivo de la inteligencia artificial centrada en datos es

1:38

para codificar el conocimiento de nuestros datos en

1:40

el modelo maximizando los datos

1:42

calidad y rendimiento del modelo, todo

1:45

comenzó en 2016 en stanford con un artículo

1:48

llamada programación de datos creando grandes

1:51

conjuntos de entrenamiento que introducen rápidamente un

1:54

paradigma para etiquetar conjuntos de datos de entrenamiento

1:56

programáticamente en lugar de a mano

1:58

esto fue hace una eternidad en términos de ai

2:01

edad de investigación como usted sabe mejor

2:04

enfoques para el uso supervisado de citas

2:05

aprendizaje un proceso en el que los modelos entrenan

2:08

sobre datos y etiquetas y aprenda a

2:10

reproducir las etiquetas cuando se dan los datos

2:13

por ejemplo, alimentaría a un modelo muchas

2:15

imágenes de patos y gatos con sus

2:17

respectivas etiquetas y pídale al modelo que

2:20

averigüe qué hay en la imagen y luego use

2:23

propagación hacia atrás para entrenar el modelo

2:25

basado en qué tan bien tiene éxito si usted está

2:27

no estoy familiarizado con la propagación hacia atrás i

2:29

te invito a pausar el video para verlo

2:31

mi explicación de un minuto y regreso

2:33

donde lo dejó como están los conjuntos de datos

2:35

cada vez más grande se vuelve

2:37

cada vez más difícil curarlos

2:39

y elimine los datos perjudiciales para permitir la

2:41

modelo para centrarse solo en los datos relevantes que

2:44

no quiero entrenar a su modelo para detectar

2:46

un gato cuando es un zorrillo se puede acabar

2:48

mal cuando me refiero a datos ten en cuenta

2:51

que puede ser cualquier tipo de tabla de datos

2:53

imágenes texto videos etc ahora que puedes

2:57

descargar fácilmente un modal para cualquier tarea el

2:59

cambiar a la mejora de datos y

3:01

la optimización es un motor inevitable

3:03

disponibilidad la escala de datos recientes

3:05

conjuntos y los modelos de cds dependientes de datos

3:08

tienen son por qué tal paradigma para

3:10

etiquetado de conjuntos de datos de entrenamiento

3:12

programáticamente se vuelve esencial

3:14

ahora el principal problema viene con tener

3:17

etiquetas para nuestros datos es fácil tener

3:19

miles de imágenes de perros y gatos pero

3:22

es mucho más difícil saber qué imágenes

3:24

tener un cavado y qué imágenes tienen un gato

3:26

y aún más difícil tener su exacto

3:28

ubicaciones en la imagen para la segmentación

3:31

tareas por ejemplo

3:32

el primer artículo introduce un dato

3:34

marco de programación donde el usuario

3:36

ya sea ingeniero de ml o científico de datos

3:38

expresa estrategias de supervisión débiles como

3:41

etiquetado de funciones usando un generativo

3:43

modelo que etiqueta subconjuntos de los datos

3:46

y encontró que la programación de datos puede ser

3:48

una manera más fácil para que los no expertos creen

3:51

modelos de aprendizaje automático al entrenar

3:53

los datos son limitados o no están disponibles en breve

3:56

muestran cómo mejorar los datos sin

3:58

mucho trabajo adicional manteniendo el

4:00

modelar lo mismo mejorar los resultados que es

4:03

un paso ahora evidente pero esencial

4:05

piedra es una muy interesante

4:07

documento de base en este campo y vale la pena

4:09

la lectura

4:10

el segundo artículo que cubrimos aquí se llama

4:12

snorkel creación de datos de entrenamiento rápido

4:15

con supervisión débil este documento

4:17

publicado un año después también de

4:19

la universidad de stanford presenta un flexible

4:22

capa de interfaz para escribir etiquetas

4:24

funciones basadas en la experiencia continua

4:27

en la idea de que los datos de entrenamiento son

4:28

cada vez más grandes y difíciles de

4:30

etiqueta que causa un cuello de botella en los modelos

4:33

actuaciones introducen snorkel un

4:36

sistema que implementa el anterior

4:37

papel en un sistema de extremo a extremo el sistema

4:40

permitió a los expertos en conocimientos a las personas

4:42

que mejor entienden los datos para

4:44

definir funciones de etiquetado para

4:46

etiquetar automáticamente los datos en lugar de

4:48

haciendo anotaciones manuales creando modelos

4:51

a 2,8 veces más rápido mientras que también

4:54

aumentar el rendimiento predictivo mediante un

4:56

promedio de 45.5 por ciento así que de nuevo en su lugar

5:00

de escribir etiquetas a los usuarios o conocimientos

5:03

expertos escriben funciones de etiquetado estas

5:05

funciones simplemente dan una idea de la

5:07

modelos en patrones para buscar o

5:10

cualquier cosa que el experto usará para clasificar

5:12

los datos ayudan al modelo a seguir el

5:14

mismo proceso, entonces el sistema aplica el

5:17

funciones de etiquetado recién escritas sobre

5:19

nuestros datos no etiquetados y aprende un

5:21

modelo generativo para combinar la salida

5:24

etiquetas en etiquetas probabilísticas que

5:26

luego se utilizan para entrenar nuestra profundidad final

5:29

snorkel de red neuronal hace todo esto por

5:32

facilitando todo este proceso

5:35

por primera vez

5:36

nuestro último artículo también de stanford

5:39

otro año después presenta software

5:42

2.0 este documento de una página es una vez más

5:45

empujando hacia adelante con la misma profundidad

5:47

enfoque centrado en los datos de aprendizaje utilizando

5:49

funciones de etiquetado para producir entrenamiento

5:51

etiquetas para grandes conjuntos de datos sin etiquetar y

5:54

entrenar nuestro modelo final que es

5:56

particularmente útil para gran internet

5:59

conjuntos de datos raspados como el que se usa en

6:01

aplicaciones de google como anuncios de google

6:03

gmail youtube etc abordar la falta de

6:06

datos etiquetados a mano, por supuesto, esto es solo

6:09

una visión general del progreso y

6:10

dirección de ai e i centrados en datos

6:13

te invito encarecidamente a leer el

6:14

información en la descripción a continuación para

6:16

tener una vista completa de la IA centrada en datos

6:19

de dónde viene y dónde está

6:21

encabezado También quiero agradecer a snorkel por

6:24

patrocinando este video y te invito

6:26

para ver su sitio web para más

6:28

información si no ha oído hablar de

6:30

Snorkel antes de que todavía hayas usado

6:32

su enfoque en muchos productos como

6:35

youtube google ads gmail y otros grandes

6:37

aplicaciones

6:39

gracias por ver el video hasta

6:41

el fin

[Música]