Le paysage de l'IA dans les langues et linguistiques africaines

Il y a quelques années, j'ai posé une question simple à Google Assistant (je ne me souviens plus de quoi il s'agissait) et cela a apporté une réponse sans rapport. J'ai demandé à nouveau, et il a apporté une réponse différente. J'ai dû taper ma question.

À ce moment-là, j'en ai conclu que les logiciels de reconnaissance vocale n'étaient pas faits pour les Africains.

Mon anglais parlé et mon accent se sont améliorés grâce au développement personnel et à l'exposition, mais je peux également dire que de nombreuses applications et logiciels de reconnaissance vocale s'adaptent mieux aux locuteurs africains (en termes d'accent). Cependant, la vérité est que la reconnaissance vocale pour les Africains a un chemin beaucoup plus long à parcourir.

Je me demande encore pourquoi nous n'avons pas beaucoup d'applications qui peuvent être invitées avec les principales langues africaines locales, dont il existe plus de 10 millions de locuteurs natifs. J'ai donc décidé de m'entretenir avec un linguiste de terrain et chercheur universitaire sur la situation actuelle de l'intelligence artificielle et du traitement du langage naturel dans les contextes et les langues africaines.

Q : Bonjour, pouvez-vous me parler de vous, et en tant que linguiste et passionné d'IA PNL, quels sont vos centres d'intérêt ?

Salut, je suis Olanrewaju Samuel.

Je m'intéresse à la phonologie computationnelle, à la construction d'ensembles de données, à l'annotation et à la curation, au traitement automatique du langage naturel et à la linguistique de terrain.

Mon mentor principal est Dr Akinbo Samuel . Dernièrement, j'ai trouvé un grand plaisir dans la linguistique des protéines, le repliement des protéines et la linguistique mathématique. Un érudit que je respecte beaucoup est nommé Jeffrey Heinz . Ses travaux ont influencé mes recherches, et j'ai prêté mon expertise à l'apprentissage profond de la PNL et de la robotique. Mon domaine d'étude actuel concerne le repliement des protéines et l'interrelation entre la physique quantique, la chimie quantique et la linguistique.

Je ne suis pas encore strict avec mes objectifs de recherche, mais je me concentre sur le développement de mon expertise et l'exploration de mes possibilités pour l'instant. Pas pour les certifications en soi, mais pour l'auto-développement. Donc, je cherche à me développer tout en essayant de terminer mon programme ici et de passer à d'autres choses.

Q : Quelles sont certaines de vos publications dans ce domaine ?

J'ai collaboré avec différentes personnes formidables pour faire partie de différentes publications. L'un de mes articles récents en linguistique est " Une étude acoustique de l'expression vocale dans deux genres de poésie orale yoruba .” Principalement, la plupart de mes publications en PNL proviennent du groupe Masakhane PNL.

Ceci comprend:

• MasakhaNEWS: Classification des sujets d'actualité pour les langues africaines
• BibleTTS : un vaste corpus de discours haute fidélité, multilingue et uniquement africain
• The African Stopwords Project : curation de mots vides pour les langues africaines

Q : Quel est votre travail actuel à Kigali, au Rwanda ?

J'enseigne un cours intitulé "Traitement du langage naturel pour les linguistes". Fondamentalement, j'enseigne les processus linguistiques du langage naturel dans les contextes africains à Kigali, au Rwanda.

Je suis chargé de fournir et de démontrer les nuances de la construction, de l'annotation, de la conservation, de l'analyse et de la publication d'ensembles de données multilingues pour différentes tâches NLP, telles que la construction de grands modèles de langage (LLM). Un grand modèle de langue signifie faire fonctionner plusieurs systèmes linguistiques dans un seul flux. Nous essayons d'y parvenir par la latéralisation, qui consiste en quelque sorte à entraîner le système d'IA avec un modèle ou un modèle. Le motif devient alors la base de ses autres applications.

Au-delà de l'IA conversationnelle, nous cherchons à faire quelque chose de significatif dans le domaine de l'IA générative, qui fait toujours partie de la latéralisation pour la capacité du modèle à permuter les données et à générer des résultats par calcul mathématique comme la probabilité.

Q : Pouvez-vous parler de la situation actuelle et des applications de l'IA/PNL dans le contexte africain ?

La PNL a été utilisée dans de nombreux cas à travers l'Afrique, dont certains incluent la robotique et l'IA conversationnelle. Un exemple typique d'IA conversationnelle est l'Alaye de Lagos, qui consiste à aider les touristes naturels (Nigérians d'autres États) à se repérer dans Lagos - une mégapole et un État - et à identifier des lieux tels que des restaurants, des clubs, des magasins, et même des situations de trafic utilisant le populaire pidgin nigérian (Naija pidgin).

Nous développons des modèles d'IA qui peuvent être formés pour effectuer des tâches - un système ou un processus complexe est réduit à une simple chaîne de commande (modélisation). C'est l'application pratique de la PNL en robotique telle qu'elle se présente actuellement en Afrique.

Actuellement, en linguistique, l'application de l'IA est principalement dans l'automatisation bien qu'il existe des modèles linguistiques infusés dans différentes applications d'IA telles que les robots et les chatbots, entre autres.

Nous avons des gens qui font de très bonnes choses, comme Maskhane , Mbaza-PNL , NLPGhana ( plus ), et Kenya PNL .

Quels sont les défis des applications de l'IA dans le contexte des langues africaines

Un défi majeur pour le paysage africain dans la recherche d'une pertinence mondiale dans l'industrie de l'IA est la limitation des ressources linguistiques (données). L'Afrique est multilingue, il y a donc ensembles de données limités pour fournir la grande quantité de données nécessaires aux divers projets d'IA en cours dans le monde. Par exemple, le plus grand ensemble de données linguistiques que nous ayons en Afrique est d'environ 2000 heures, mais les jeux de données reconnus sont encore bien plus petits, ce qui est très ridicule par rapport à la langue anglaise, qui contient des milliards d'heures de données audio.

Si quelque chose doit arriver à l'IA, cela arrivera aux langages à hautes ressources. Même si cela devait arriver aux langues africaines, nous n'avons pas les systèmes pour les alimenter. Par conséquent, nous sommes à la traîne parce que nous n'avons pas assez pour travailler, et le problème a été un problème presque permanent de notre manque de documentation.

Prenez le Nigeria, par exemple, plus de 200 tribus, mais seules trois langues sont les plus populaires. Contrairement au yoruba, à l'igbo et au haoussa, les petites tribus et les langues ont peu de données (données à faible ressource). C'est ce que nous essayons de faire à Mbaza-PNL , collectez des données à partir de langages à faibles ressources et utilisez-les pour la reconnaissance vocale programmable, y compris la synthèse vocale (STT) et la synthèse vocale (TTS).

Les techniciens en IA et en PNL n'investissent pas parce qu'ils n'y croient pas ou parce qu'ils pensent qu'il n'y a pas assez de données à explorer pour leur retour sur investissement. Nous espérons donc que nos travaux souterrains actuels seront la percée.

De plus, l'Afrique est marginalisée sur le marché mondial de l'IA linguistique et du TAL car les moteurs de recherche les plus populaires sont asiatiques et occidentaux (américains, notamment). De plus, pour certaines de nos œuvres ici, nous ne pouvons pas nous en attribuer le mérite en tant qu'Africains à cause du parrainage.

Q : Quels sont les pays africains qui ont le plus progressé dans les applications de la PNL africaine ?

Les pays africains qui ont eu le plus d'impact sont l'Afrique du Sud, le Kenya et le Rwanda - ces gars-là sont fous ! Le Nigeria essaie également, mais la plupart des personnes qui devraient explorer l'espace ne recherchent pas le développement mais les gratifications des certifications universitaires. Nous apprécions notre/nos langage(s), mais nous ne construisons pas d'ensembles de données avec eux. Nous préférerions parler ou privatiser notre langue en tant qu'héritage alors que nous devrions investir dans la documentation pour préserver et protéger la langue.

Q : Alors, sur le plan commercial, où en est l'Afrique dans la commercialisation de la PNL pour les langues africaines ?

Honnêtement, il n'y a pas grand-chose, à part vendre des ensembles de données . Même à cela, ceux qui injectent de l'argent dans les projets donnent beaucoup, mais le montant qui parvient aux agents de terrain est très faible par rapport au montant initial investi.

Q : Cela m'amène à la question de l'éthique. Y a-t-il une valeur éthique à collecter et à vendre les données des personnes ? Et est-il juste d'obtenir une grosse somme d'argent pour ces projets et les principales sources de ces langues reçoivent une somme très minime (parfois zéro) ? Existe-t-il des protections pour ces données ou sources ?

Il n'y a pas de loi contre la collecte de données. Le plus important est que les données soient collectées volontairement auprès des locuteurs natifs, et qu'ils soient récompensés pour leur temps. Cependant, toutes les activités doivent être alignées sur la politique de l'Union africaine. Lois sur la confidentialité des données de l'UA. De plus, la recherche linguistique qui implique la collecte de données nécessite généralement le consentement des locuteurs natifs ou des répondants.

Et pour répondre à votre deuxième question, personne ne peut rien faire au sujet de la somme d'argent qui finit par atteindre les personnes impliquées dans ces domaines. Le plus important est que chacun s'engage volontairement dans le projet. On dit aux gens qu'ils seraient enregistrés et récompensés, et tant qu'ils sont d'accord avec le prix, il n'y a pas d'"injustice".

Q : Si quelqu'un souhaite rejoindre la PNL et la formation linguistique telle qu'elle est, que recommandez-vous ?

C'est un vaste domaine. Beaucoup ont déjà des fondations et sont en phase de construction, mais nous avons encore plus d'aspects qui sont à peine fondamentaux. Ce que je recommanderai à tout le monde, c'est de s'impliquer dans la collecte et l'analyse des données linguistiques. Nous avons besoin d'analyses de données pour les ensembles de données autant que nous avons besoin de données.

Par conséquent, je recommanderai de rejoindre ou de faire du bénévolat dans des groupes enthousiastes axés sur les données ; bénévole pour la collecte et l'analyse de données, l'apprentissage de la nomenclature et autres.

Dernières pensées

L'Afrique continue d'être mal représentée dans les logiciels de reconnaissance vocale avec des commandes ou des invites pour différentes IA et PNL. Le récit deviendra différent lorsque les Africains entreprendront de créer des ensembles de données, de diffuser leur langage et de continuer à investir dans la documentation. Pourtant, vous serez impressionné par certaines des créations venant d'Afrique concernant les applications de l'IA et de la PNL.

Dans mes recherches et les pistes suivantes, j'ai vu des robots être invités avec des langues africaines locales, nous avons plus de chatbots locaux adaptés à différents contextes africains (tourisme, exploration), certaines langues sont utilisées pour l'IoT pour les appareils électroménagers. Cependant, je pense que nous devrions faire plus, compte tenu de la révolution massive de l'IA et de la PNL en cours dans le monde en ce moment. Pour l'instant, nous avons plus ensembles de données pour classifications de texte que nous avons pour les données audio. Pourtant, nous avons besoin de plus d'ensembles de données audio et textuels. Les données sont la nouvelle monnaie, j'espère sincèrement que les Africains le feront bien avant que les étrangers ne fassent de mauvais travaux (Oh, oui, j'ai déjà lu de fausses données historiques rapportées dans un livre publié ; c'est ce que nous fait une documentation inappropriée).