La recopilación de datos para proyectos de aprendizaje automático puede ser un verdadero dolor de cabeza. Lleva mucho tiempo y es tedioso, ¿y mencionamos que es caro? Es injusto que algunos proyectos de aprendizaje automático ni siquiera comiencen porque el costo de la recopilación de datos puede ser prohibitivo.  Examinemos por qué la adquisición de datos es tan costosa, aunque no debería serlo. El costo de la mano de obra, la infraestructura, el control de calidad, el preprocesamiento, la limpieza de datos y las consideraciones éticas son solo algunos de los segmentos de costos asociados con   costos de recopilación de datos.  Ahora, definitivamente no es una buena idea saltarse ninguno de estos segmentos, pero el problema es que puede reducir los costos al hacer que cada paso de recopilación de datos sea lo más eficiente posible.  Debemos asegurarnos de que nuestra estrategia incluya más que solo la reducción de costos; ¡también debemos asegurarnos de que los datos que recopilamos sean de alta calidad!  Comencemos examinando cómo priorizar la calidad puede ayudar con la recopilación rentable de conjuntos de datos.   1. Priorizar la calidad sobre la cantidad  Cualquier proceso de desarrollo de modelos de aprendizaje automático comienza con la recopilación de un conjunto de datos de entrenamiento. El proceso de recopilación de datos de capacitación no es algo que ocurre una sola vez; más bien, puede repetirse repetidamente durante todo el período de desarrollo de una solución de IA innovadora.  Mientras probamos nuestro modelo, si la eficiencia del modelo no está a la par en ningún escenario, entonces para entrenar nuestro modelo para ese escenario, necesitamos recopilar datos nuevos y más específicos en ese caso.  Para reducir el costo de la recopilación de datos, nuestra estrategia debe ser reducir esta recopilación repetitiva de nuevos conjuntos de datos. Ahora bien, la máxima "cuanto más, mejor" no se puede aplicar a la recopilación de conjuntos de datos de entrenamiento sin prestar atención a la  .   calidad del conjunto de datos  Además, es obvio que el tamaño del conjunto de datos tiene un impacto directo en el costo total de la recopilación de datos de capacitación.  Puede ser costoso y llevar mucho tiempo recopilar una gran cantidad de datos de capacitación, especialmente si es necesario etiquetar o anotar los datos. Sin embargo, recopilar datos de alta calidad, incluso si se trata de un conjunto de datos más pequeño, en realidad puede ayudar a reducir los costos generales en la recopilación de datos de capacitación.  En primer lugar, al recopilar datos de alta calidad, podemos evitar la recopilación de datos redundantes o irrelevantes que podrían no mejorar el rendimiento del modelo de aprendizaje automático. Como resultado, es menos costoso recopilar, almacenar y administrar grandes cantidades de datos.  En segundo lugar, los datos de alta calidad pueden ayudar a reducir el tiempo y el costo asociados con la limpieza y el preprocesamiento de datos. Limpiar y preparar los datos para su uso en el modelo de aprendizaje automático es más fácil cuando es confiable y consistente.  En tercer lugar, un conjunto de datos de calidad puede mejorar el rendimiento de los modelos de aprendizaje automático, lo que a su vez reduce la necesidad de datos de entrenamiento adicionales.  Como resultado, no será necesario recopilar datos adicionales para compensar las deficiencias del modelo, lo que puede ayudar a reducir el costo total de la recopilación de datos.  En un caso ideal, debemos tener claro lo que esperamos en términos de calidad con cualquier proceso de recopilación de datos, y luego encontrar el equilibrio óptimo entre calidad y cantidad reducirá significativamente el costo total.  2.  Aproveche Human-in-the-Loop  Las personas son las que hacen posible la recopilación de datos. Según el caso de uso, la complejidad y el volumen, tenemos que incorporar personas de varios lugares para recopilar los datos. Aquí es donde va la mayor parte del dinero cuando se recopilan datos.  Reclutar multitudes calificadas y conocedoras de acuerdo con la tarea en cuestión es el primer paso cuando se trata de la multitud para adquirir un conjunto de datos de alta calidad.  Si desea datos de habla conversacional en alemán, entonces debe concentrarse en incorporar personas nativas alemanas que ya tengan experiencia trabajando en proyectos similares.  Simplemente porque tienen experiencia, pueden comprender fácilmente sus requisitos y pueden ayudarlo más cuando se trata de recopilar conjuntos de datos de alta calidad.  Aparte de eso, todos los requisitos del conjunto de datos son distintivos de alguna manera, y algunos requisitos del conjunto de datos pueden ser particularmente complicados.  En estas situaciones, se recomienda enfáticamente dedicar algún tiempo a desarrollar pautas y materiales de capacitación apropiados para ahorrar dinero y tiempo.  Puede ser beneficioso tener instrucciones y materiales de capacitación en el idioma nativo.  Si la guía es clara desde el principio, capacitar a las personas en ella puede ser fácil y puede aumentar la confianza en los proveedores de datos. Esto también reduce el ir y venir continuo en caso de confusión sobre las pautas, lo que eventualmente ahorra más tiempo y dinero.  Establecer expectativas claras puede mejorar la satisfacción laboral de los colaboradores y reducir su probabilidad de renunciar a él. Eso reduce el costo y el tiempo asociados con la búsqueda y la incorporación de nuevas personas.  ¡Una guía ideal debe tener criterios claros de aceptación y rechazo para los participantes, lo que les da una comprensión clara de qué hacer y qué no! Esto ayuda notablemente a reducir el rechazo y la repetición del trabajo, lo que finalmente ahorra tiempo y dinero.   3. Adopte la transferencia de aprendizaje  Un modelo previamente entrenado se reutiliza para una nueva tarea con menos datos de entrenamiento utilizando la técnica de aprendizaje automático conocida como aprendizaje de transferencia. Transferir el aprendizaje puede reducir el costo de recopilar conjuntos de datos de capacitación al reducir la cantidad de datos nuevos que deben recopilarse y etiquetarse.  Para entrenar un modelo desde cero en modelos de aprendizaje automático convencionales, se necesita una cantidad significativa de datos etiquetados. Pero con el aprendizaje por transferencia, los programadores pueden comenzar con un modelo que ya ha sido entrenado y ha recogido características generales de un conjunto de datos considerable.  Los desarrolladores pueden entrenar de forma rápida y efectiva un modelo que se destaque en la nueva tarea ajustando el modelo previamente entrenado en un conjunto de datos más pequeño y específico de la tarea.  Supongamos que una empresa está creando un modelo de aprendizaje automático para encontrar objetos en imágenes. Pueden usar un modelo pre-entrenado como  o  , que ya ha aprendido características generales de un gran conjunto de datos de imágenes, en lugar de recopilar y etiquetar un gran conjunto de datos de imágenes desde cero.   ResNet  VGG  El modelo previamente entrenado se puede ajustar utilizando un conjunto de datos más pequeño de imágenes relevantes para su caso de uso, como imágenes de equipos industriales o médicos.  La empresa puede reducir significativamente la cantidad de datos nuevos que se deben recopilar y etiquetar mientras se sigue creando un modelo de aprendizaje automático de primer nivel utilizando el aprendizaje por transferencia.  Aprovechar los conjuntos de datos existentes es otra forma en que el aprendizaje por transferencia puede ayudar a reducir el costo de la recopilación de datos de capacitación. Por ejemplo, un desarrollador puede usar el conjunto de datos de un proyecto anterior como punto de partida para un nuevo proyecto de aprendizaje automático en el que está trabajando y que se encuentra en un campo relacionado.  En conclusión, el aprendizaje por transferencia es un método efectivo para reducir el gasto de obtener datos de entrenamiento en el aprendizaje automático.  Los desarrolladores pueden reducir drásticamente la cantidad de datos nuevos que se deben recopilar y etiquetar mientras siguen produciendo modelos de aprendizaje automático de alta calidad que sobresalen en tareas novedosas mediante el uso de modelos previamente entrenados y conjuntos de datos existentes.  Tomar la decisión de implementar el aprendizaje por transferencia puede ser difícil y crucial porque existen numerosas restricciones, como  Es posible que el ajuste fino no sea beneficioso si ya se ha creado un modelo previamente entrenado para la tarea que no es su principal preocupación.  Podría ocurrir   si el modelo se desarrolló utilizando un conjunto de datos escaso o no relacionado que es relevante para su tarea. un ajuste excesivo  El ajuste fino puede ser costoso desde el punto de vista computacional si el modelo preentrenado es muy grande y requiere muchos recursos computacionales.   4. Explore el conjunto de datos prefabricado  Cuando se trabaja con grandes conjuntos de datos, comenzar desde cero en un nuevo conjunto de datos puede ser una tarea abrumadora. En esta situación, un conjunto de datos prefabricado o listo para usar (OTS) podría ser una buena elección.  Encontrar un conjunto de datos de capacitación de código abierto que satisfaga sus necesidades puede ayudarlo a ahorrar tiempo y dinero.  Aunque encontrar un conjunto de datos perfectamente estructurado que cumpla con sus requisitos en código abierto es extremadamente raro, no hay garantía de que sea lo suficientemente diverso y representativo para respaldar el desarrollo de soluciones de IA confiables.  Otra opción para adquirir conjuntos de datos listos para usar es a través de licencias comerciales de organizaciones como FutureBeeAI. FutureBeeAI tiene un grupo de más de 2000 conjuntos de datos de entrenamiento, incluidos  , conjuntos de datos de imagen, video y texto.   discurso  Es muy probable que ya hayamos creado el conjunto de datos que necesita.  Este conjunto de datos prefabricado no solo reduce el tiempo de recopilación, sino que también lo libera de la molestia de administrar multitudes y ayuda a escalar su solución de IA.  La elección de un conjunto de datos OTS puede hacer que sea muy sencillo adherirse al cumplimiento porque la empresa ya ha tomado todas las precauciones éticas necesarias.  Encontrar el socio adecuado y comprar el conjunto de datos comercial adecuado puede ser una solución muy económica.   5. Automatice con herramientas  De nuestra discusión hasta este punto, está claro que la única oportunidad de reducir el costo de la recopilación de datos es encontrar los medios más efectivos para llevar a cabo cada una de estas tareas menores pero importantes. En esta situación, el uso de herramientas de última generación puede ser de gran ayuda.  El costo de la preparación de datos es otro elemento en el que debemos concentrarnos. Para que los conjuntos de datos estén listos para su implementación después de la recopilación, se requieren metadatos adecuados y verdades sobre el terreno.  Ahora, generar manualmente estos metadatos puede ser una tarea que requiere mucho tiempo y es altamente propensa a errores. Puede automatizar la creación de metadatos y acelerar la recopilación de conjuntos de datos estructurados mediante el uso de herramientas de recopilación de datos.  Además, recopilar datos sin las herramientas adecuadas solo da como resultado tiempos de recopilación más largos, costos más altos y recolectores de datos frustrados. El uso de herramientas de recopilación de datos puede acelerar considerablemente el procedimiento y reducir la cantidad total de tiempo.  ¡Esto facilita toda la tarea de recopilación de datos del participante y puede reducir el presupuesto general!   6. Aumento de datos  El proceso de "aumento de datos" implica aplicar diferentes transformaciones a los datos existentes para producir nuevos datos de entrenamiento. Al permitir que los desarrolladores produzcan más datos a partir de un conjunto de datos más pequeño, esta técnica puede ayudar a reducir el costo total de la recopilación de datos para el aprendizaje automático.  Considere el caso en el que ha reunido  . Puede usar el aumento de datos para expandir el tamaño total de su conjunto de datos de entrenamiento al:   datos de voz para su modelo ASR    agregar diferentes tipos de ruidos, como ruido blanco, ruido rosa, ruido de balbuceo, etc. Inyección de ruido:    se pueden simular diferentes ambientes de sala agregando acústica de sala a la señal de voz. Simulaciones ambientales:    cambiar el tono de la señal de voz aumentando o disminuyendo la frecuencia de la señal. Cambio de tono:    cambiar la velocidad de la señal de voz aumentando o disminuyendo la velocidad de la señal de audio Perturbación de velocidad:  Tales transformaciones nos permiten expandir el tamaño del conjunto de datos y agregar más datos para el entrenamiento de un modelo de aprendizaje automático. Aquí también hay ahorro de costos porque podemos transferir el etiquetado original.  Además de ahorrar dinero y tiempo, reduce la necesidad de datos adicionales y mejora el rendimiento del modelo con el conjunto de datos disponible.  El aumento de datos es una herramienta potente pero también complicada. Si no se hace correctamente, hay muchas consecuencias. Un conjunto de datos con muchos puntos de datos similares podría resultar de su adopción agresiva, lo que podría sobreajustar los modelos entrenados en el conjunto de datos.  En pocas palabras, es una tarea que depende de la experiencia y debe abordarse con precaución.  7. Consideración ética y legal  En el campo del aprendizaje automático, las consideraciones legales en torno a los conjuntos de datos de entrenamiento son de vital importancia.  El desarrollo y la implementación de modelos de aprendizaje automático basados en conjuntos de datos de capacitación sesgados, discriminatorios o obtenidos de manera incorrecta puede tener graves consecuencias legales, éticas y reputacionales.  Varias leyes de privacidad de datos, incluido el Reglamento general de protección de datos (GDPR) y la Ley de privacidad del consumidor de California (CCPA), rigen la recopilación y el uso de datos personales. Estas normas brindan instrucciones precisas para la recopilación, el manejo y el almacenamiento de datos personales.  Puede haber sanciones y repercusiones legales si se ignoran estas reglas.  Es esencial cumplir con las leyes de propiedad intelectual cuando se trabaja con datos patentados y protegidos por derechos de autor; no hacerlo podría resultar en una acción legal. Tales disputas legales entre  han salido a la luz recientemente.   empresas y artistas de IA generativa  Además, es crucial compilar un conjunto de datos que sea  , justo para todos y representativo de la población. Pueden producirse acciones legales y daños a la reputación si el modelo es perjudicial o discriminatorio hacia un grupo en particular.   imparcial  Antes de recopilar cualquier dato personal, es recomendable revisar todos los requisitos de cumplimiento que debe cumplir. En una recopilación ideal, asegúrese de que el contribuyente de datos conozca el tipo de datos que comparte y los usos potenciales que tiene.  Los proveedores de datos también deben ser conscientes de las consecuencias en el peor de los casos. Para evitar más problemas, asegúrese de que su procedimiento de recopilación de datos sea consensuado e incluya la obtención del consentimiento por escrito de cada proveedor de datos. ¡Recuerde, la pérdida evitada es dinero ahorrado!   Publicado originalmente en -  futurebeeai.com

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Supercharge data sourcing and data preparation at 5x faster rate

Start Humanizing AI

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Make resilience your competitive advantage

7 estrategias para reducir el costo de adquisición de datos de capacitación

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Una breve introducción a la teoría del cerebro de Boltzmann

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Una breve introducción a la teoría del cerebro de Boltzmann

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps