La collecte de données pour les projets d'apprentissage automatique peut être une véritable galère. Cela prend du temps et est fastidieux, et avons-nous mentionné cher ? Il est injuste que certains projets d'apprentissage automatique ne commencent même jamais, car le coût de la collecte de données peut être si prohibitif.  Examinons pourquoi l'acquisition de données est si coûteuse, alors qu'elle ne devrait pas l'être. Le coût de la main-d'œuvre, de l'infrastructure, du contrôle qualité, du prétraitement, du nettoyage des données et des considérations éthiques ne sont que quelques-uns des segments de coûts associés à   frais de collecte de données.  Maintenant, ce n'est certainement pas une bonne idée de sauter l'un de ces segments, mais le hic, c'est que vous pouvez réduire les coûts en rendant chaque étape de collecte de données aussi efficace que possible.  Nous devons veiller à ce que notre stratégie comprenne plus qu'une simple réduction des coûts ; nous devons également nous assurer que les données que nous recueillons sont de haute qualité !  Commençons par examiner comment la priorisation de la qualité peut contribuer à une collecte d'ensembles de données rentable.   1. Privilégier la qualité à la quantité  Tout processus de développement de modèle d'apprentissage automatique commence par la collecte d'un ensemble de données de formation. Le processus de collecte des données de formation n'est pas un événement ponctuel ; au contraire, il peut être répété à plusieurs reprises tout au long de la période de développement d'une solution d'IA révolutionnaire.  Lors du test de notre modèle, si l'efficacité du modèle n'est pas à la hauteur dans n'importe quel scénario, alors afin de former notre modèle pour ce scénario, nous devons collecter de nouvelles données plus spécifiques dans ce cas.  Afin de réduire le coût de la collecte de données, notre stratégie devrait consister à réduire cette collecte répétitive de nouveaux ensembles de données. Maintenant, la maxime "plus il y en a, mieux c'est" ne peut pas s'appliquer à la collecte d'ensembles de données d'apprentissage sans prêter attention aux  .   qualité du jeu de données  De plus, il est évident que la taille de l'ensemble de données a un impact direct sur le coût total de la collecte des données de formation.  La collecte d'un grand nombre de données d'entraînement peut s'avérer coûteuse et chronophage, en particulier si les données doivent être étiquetées ou annotées. Cependant, la collecte de données de haute qualité, même s'il s'agit d'un ensemble de données plus petit, peut en fait aider à réduire les coûts globaux de collecte de données de formation.  Tout d'abord, en collectant des données de haute qualité, nous pouvons éviter de collecter des données redondantes ou non pertinentes qui pourraient ne pas améliorer les performances du modèle d'apprentissage automatique. Par conséquent, il est moins coûteux de collecter, de stocker et de gérer d'énormes quantités de données.  Deuxièmement, des données de haute qualité peuvent aider à réduire le temps et les coûts associés au nettoyage et au prétraitement des données. Le nettoyage et la préparation des données à utiliser dans le modèle d'apprentissage automatique sont plus faciles lorsqu'elles sont fiables et cohérentes.  Troisièmement, un ensemble de données de qualité peut améliorer les performances des modèles d'apprentissage automatique, ce qui réduit à son tour le besoin de données de formation supplémentaires.  Par conséquent, il ne sera pas nécessaire de collecter des données supplémentaires pour compenser les lacunes du modèle, ce qui peut contribuer à réduire le coût global de la collecte de données.  Dans un cas idéal, nous devons être clairs sur ce que nous attendons en termes de qualité avec tout processus de collecte de données, puis trouver l'équilibre optimal entre la qualité et la quantité réduira considérablement le coût global.  2.  Tirez parti de l'humain dans la boucle  Les gens sont ce qui rend la collecte de données possible. En fonction du cas d'utilisation, de la complexité et du volume, nous devons embarquer des personnes de différents endroits pour collecter les données. C'est là que va la majeure partie de l'argent lors de la collecte de données.  Recruter des foules qualifiées et informées en fonction de la tâche à accomplir est la première étape lorsqu'il s'agit de traiter avec la foule afin d'acquérir un ensemble de données de haute qualité.  Si vous voulez des données de conversation en allemand, vous devez vous concentrer sur l'intégration d'Allemands de souche qui ont déjà travaillé sur des projets similaires.  Simplement parce qu'ils ont de l'expérience, ils peuvent facilement comprendre vos besoins et peuvent vous aider davantage lorsqu'il s'agit de collecter des ensembles de données de haute qualité.  En dehors de cela, toutes les exigences d'ensemble de données sont distinctes d'une certaine manière, et certaines exigences d'ensemble de données peuvent être particulièrement compliquées.  Dans ces situations, il est fortement conseillé de consacrer du temps à l'élaboration de lignes directrices et de matériel de formation appropriés afin d'économiser du temps et de l'argent.  Il peut être avantageux d'avoir des instructions et du matériel de formation dans la langue maternelle.  Si la ligne directrice est claire dès le départ, il peut être facile de former les gens et de renforcer la confiance dans les fournisseurs de données. Cela réduit également les allers-retours continus en cas de confusion sur les directives, ce qui permet finalement d'économiser plus de temps et d'argent.  L'établissement d'attentes claires peut améliorer la satisfaction au travail des contributeurs et réduire leur probabilité d'y renoncer. Cela réduit le coût et le temps associés à la recherche et à l'intégration de nouvelles personnes.  Une ligne directrice idéale doit avoir des critères d'acceptation et de rejet clairs pour les participants, ce qui leur donne une compréhension claire de ce qu'il faut faire et de ce qu'il ne faut pas ! Cela aide remarquablement à réduire les rejets et les retouches, ce qui permet en fin de compte d'économiser du temps et de l'argent.   3. Adoptez l'apprentissage par transfert  Un modèle pré-entraîné est réutilisé pour une nouvelle tâche avec moins de données d'apprentissage à l'aide de la technique d'apprentissage automatique connue sous le nom d'apprentissage par transfert. L'apprentissage par transfert peut réduire le coût de la collecte d'ensembles de données de formation en réduisant la quantité de nouvelles données qui doivent être collectées et étiquetées.  Pour former un modèle à partir de zéro dans des modèles d'apprentissage automatique conventionnels, une quantité importante de données étiquetées est nécessaire. Mais avec l'apprentissage par transfert, les programmeurs peuvent commencer avec un modèle qui a déjà été formé et qui a récupéré les caractéristiques générales d'un ensemble de données important.  Les développeurs peuvent former rapidement et efficacement un modèle qui excelle dans la nouvelle tâche en affinant le modèle précédemment formé sur un ensemble de données plus petit et spécifique à la tâche.  Supposons qu'une entreprise crée un modèle d'apprentissage automatique pour trouver des objets dans des images. Ils peuvent utiliser un modèle pré-formé comme  ou  , qui a déjà appris les fonctionnalités générales d'un grand ensemble de données d'images, plutôt que de collecter et d'étiqueter un grand ensemble de données d'images à partir de zéro.   ResNet  VGG  Le modèle pré-formé peut ensuite être affiné à l'aide d'un plus petit ensemble de données d'images pertinentes pour leur cas d'utilisation, telles que des images d'équipements industriels ou médicaux.  L'entreprise peut réduire considérablement la quantité de nouvelles données qui doivent être collectées et étiquetées tout en créant un modèle d'apprentissage automatique de premier ordre en utilisant l'apprentissage par transfert.  L'exploitation des ensembles de données existants est un autre moyen par lequel l'apprentissage par transfert peut aider à réduire le coût de la collecte de données de formation. Par exemple, un développeur peut utiliser l'ensemble de données d'un projet antérieur comme point de départ pour un nouveau projet d'apprentissage automatique sur lequel il travaille et qui se trouve dans un domaine connexe.  En conclusion, l'apprentissage par transfert est une méthode efficace pour réduire les dépenses liées à l'obtention de données d'apprentissage dans l'apprentissage automatique.  Les développeurs peuvent réduire considérablement la quantité de nouvelles données qui doivent être collectées et étiquetées tout en produisant des modèles d'apprentissage automatique de haute qualité qui excellent dans de nouvelles tâches en utilisant des modèles pré-formés et des ensembles de données existants.  Prendre la décision de mettre en œuvre l'apprentissage par transfert peut être difficile et crucial car il existe de nombreuses restrictions, telles que  Le réglage fin peut ne pas être bénéfique si un modèle pré-formé a déjà été créé pour la tâche qui n'est pas votre principale préoccupation.    peut se produire si le modèle a été développé à l'aide d'un jeu de données clairsemé ou non lié qui est pertinent pour votre tâche. Un surajustement  Le réglage fin peut être coûteux en termes de calcul si le modèle pré-entraîné est très volumineux et nécessite beaucoup de ressources de calcul.   4. Explorer l'ensemble de données prêt à l'emploi  Lorsque vous travaillez avec de grands ensembles de données, partir de zéro sur un nouvel ensemble de données peut être une tâche ardue. Dans cette situation, un jeu de données préfabriqué ou prêt à l'emploi (OTS) peut être un choix judicieux.  Trouver un ensemble de données de formation open source qui répond à vos besoins peut vous aider à gagner du temps et de l'argent.  Même s'il est extrêmement rare de trouver un ensemble de données parfaitement structuré et répondant à vos exigences en open source, rien ne garantit qu'il sera suffisamment diversifié et représentatif pour soutenir le développement de solutions d'IA fiables.  Une autre option pour acquérir des ensembles de données prêts à l'emploi consiste à obtenir des licences commerciales auprès d'organisations telles que FutureBeeAI. FutureBeeAI dispose d'un pool de plus de 2 000 ensembles de données d'entraînement, y compris  , image, vidéo et ensembles de données texte.   discours  Il y a de fortes chances que nous ayons déjà créé l'ensemble de données dont vous avez besoin.  Cet ensemble de données prédéfini réduit non seulement le temps de collecte, mais vous évite également les tracas liés à la gestion des foules et vous aide à faire évoluer votre solution d'IA.  Le choix d'un ensemble de données OTS peut simplifier le respect de la conformité, car l'entreprise a déjà pris toutes les précautions éthiques nécessaires.  Trouver le bon partenaire et acheter l'ensemble de données prêt à l'emploi approprié peut être une solution très économique.   5. Automatisez avec des outils  De notre discussion jusqu'à présent, il est clair que la seule possibilité de réduire le coût de la collecte de données est de trouver le moyen le plus efficace d'effectuer chacune de ces tâches mineures mais importantes. Dans cette situation, l'utilisation d'outils de pointe peut être extrêmement utile.  Le coût de la préparation des données est un autre élément sur lequel nous devrions nous concentrer. Pour que les ensembles de données soient prêts à être déployés après la collecte, des métadonnées et des vérités de terrain appropriées sont nécessaires.  Désormais, la génération manuelle de ces métadonnées peut être une tâche chronophage et très sujette aux erreurs. Vous pouvez automatiser la création de métadonnées et accélérer la collecte d'ensembles de données structurés à l'aide d'outils de collecte de données.  De plus, la collecte de données sans les outils appropriés n'entraîne que des temps de collecte plus longs, des coûts plus élevés et des collecteurs de données frustrés. L'utilisation d'outils de collecte de données peut considérablement accélérer la procédure et réduire le temps total.  Cela facilite l'ensemble de la tâche de collecte de données du participant et peut réduire le budget global !   6. Augmentation des données  Le processus d'"augmentation des données" consiste à appliquer différentes transformations aux données existantes afin de produire de nouvelles données d'entraînement. En permettant aux développeurs de produire plus de données à partir d'un ensemble de données plus petit, cette technique peut contribuer à réduire le coût global de la collecte de données pour l'apprentissage automatique.  Considérez le cas où vous avez rassemblé  . Vous pouvez utiliser l'augmentation des données pour étendre la taille globale de votre ensemble de données d'entraînement en :   données vocales pour votre modèle ASR    Ajout de différents types de bruits, comme le bruit blanc, le bruit rose, le bruit de babillage, etc. Injection de bruit :    différents environnements de pièce peuvent être simulés en ajoutant l'acoustique de la pièce au signal vocal. Simulations d'environnement :    modification de la hauteur du signal vocal en augmentant ou en diminuant la fréquence du signal. Pitch Shifting :    modification de la vitesse du signal vocal en augmentant ou en diminuant la vitesse du signal audio Perturbation de la vitesse :  De telles transformations nous permettent d'augmenter la taille de l'ensemble de données et d'ajouter plus de données pour la formation d'un modèle d'apprentissage automatique. Ici, il y a aussi des économies de coûts car nous pouvons transférer l'étiquetage d'origine.  En plus d'économiser de l'argent et du temps, cela réduit le besoin de données supplémentaires et améliore les performances du modèle avec l'ensemble de données disponible.  L'augmentation des données est un outil puissant mais aussi compliqué. Si ce n'est pas fait correctement, il y a beaucoup de conséquences. Un jeu de données avec de nombreux points de données similaires pourrait résulter de son adoption agressive, ce qui pourrait sur-adapter les modèles formés sur le jeu de données.  En un mot, c'est une tâche qui repose sur l'expertise et doit être abordée avec prudence.  7. Considérations éthiques et juridiques  Dans le domaine de l'apprentissage automatique, les considérations juridiques entourant les ensembles de données de formation sont d'une importance cruciale.  Le développement et le déploiement de modèles d'apprentissage automatique basés sur des ensembles de données de formation mal sélectionnés, biaisés ou discriminatoires peuvent avoir de graves conséquences juridiques, éthiques et de réputation.  Plusieurs lois sur la confidentialité des données, notamment le Règlement général sur la protection des données (RGPD) et le California Consumer Privacy Act (CCPA), régissent la collecte et l'utilisation des données personnelles. Ces réglementations fournissent des instructions précises pour la collecte, le traitement et le stockage des données personnelles.  Il peut y avoir des sanctions et des répercussions juridiques si ces règles ne sont pas respectées.  Il est essentiel de respecter les lois sur la propriété intellectuelle lorsque vous travaillez avec des données exclusives et protégées par le droit d'auteur ; ne pas le faire pourrait entraîner des poursuites judiciaires. De tels différends juridiques entre  sont récemment apparus au grand jour.   entreprises et artistes de l'IA générative  De plus, il est crucial de compiler un jeu de données  , juste pour tous et représentatif de la population. Des poursuites judiciaires et des atteintes à la réputation peuvent survenir si le modèle est préjudiciable ou discriminatoire envers un groupe particulier.   impartial  Avant de collecter des données personnelles, il est conseillé de passer en revue toutes les exigences de conformité auxquelles vous devez vous conformer. Dans une collecte idéale, assurez-vous que le contributeur de données est conscient du type de données qu'il partage et de ses utilisations potentielles.  Les fournisseurs de données doivent également être conscients des pires conséquences. Pour éviter tout autre problème, assurez-vous que votre procédure de collecte de données est consensuelle et comprend l'obtention du consentement écrit de chaque fournisseur de données. N'oubliez pas que la perte évitée est de l'argent économisé !   Publié à l'origine sur  -futurebeeai.com

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Supercharge data sourcing and data preparation at 5x faster rate

Start Humanizing AI

Cet audio est produit dans la langue originale de l'histoire !

7 stratégies pour réduire le coût d'acquisition des données de formation

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Le modèle Bitcoin UTXO, alimentant un écosystème unique

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Le modèle Bitcoin UTXO, alimentant un écosystème unique

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps