O cenário da IA nas línguas e linguísticas africanas

Alguns anos atrás, fiz uma pergunta simples ao Google Assistant (não me lembro o que era) e trouxe uma resposta não relacionada. Eu perguntei novamente, e trouxe uma resposta diferente. Eu tive que digitar minha pergunta.

Nesse ponto, concluí que o software de reconhecimento de voz não foi feito para africanos.

Meu inglês falado e minha sotaque melhoraram devido ao desenvolvimento e exposição pessoal, mas também posso dizer que muitos aplicativos e softwares de reconhecimento de voz estão se tornando mais adaptáveis aos falantes africanos (em termos de sotaque). No entanto, a verdade é que o reconhecimento de voz para os africanos tem um caminho muito mais longo a percorrer.

Ainda me pergunto por que não temos muitos aplicativos que podem ser solicitados com os principais idiomas africanos locais, dos quais existem mais de 10 milhões de falantes nativos. Então, decidi falar com um linguista de campo e pesquisador acadêmico sobre a situação atual da inteligência artificial e do processamento de linguagem natural em contextos e línguas africanas.

P: Olá, você pode me falar sobre você e, como linguista e entusiasta de IA de PNL, quais são seus interesses?

Olá, sou Olanrewaju Samuel.

Estou interessado em fonologia computacional, construção de conjunto de dados, anotação e curadoria, processamento de linguagem natural e linguística de campo.

Meu principal mentor é Dr. Akinbo Samuel . Ultimamente, tenho encontrado grande prazer em lingüística de proteínas, enovelamento de proteínas e lingüística matemática. Um estudioso que respeito muito chama-se Jeffrey Heinz . Seus trabalhos influenciaram minha pesquisa e eu emprestei minha experiência ao aprendizado profundo da PNL e da robótica. Minha área de estudo atual é sobre dobramento de proteínas e a inter-relação entre física quântica, química quântica e linguística.

Ainda não sou rigoroso com meus objetivos de pesquisa, mas estou focado em desenvolver meus conhecimentos e explorar minhas possibilidades por enquanto. Não pelas certificações em si, mas pelo autodesenvolvimento. Então, estou buscando me desenvolver ao mesmo tempo em que tento concluir meu programa aqui e passar para outras coisas.

P: Quais são algumas de suas publicações neste campo?

Colaborei com diferentes grandes indivíduos para fazer parte de diferentes publicações. Um dos meus artigos linguísticos recentes é “ Um estudo acústico da expressão vocal em dois gêneros da poesia oral iorubá .” Principalmente, a maioria das minhas publicações em PNL são do grupo Masakhane NLP.

Isso inclui:

• MasakhaNEWS: Classificação de tópicos de notícias para línguas africanas
• BibleTTS: um corpus de fala grande, de alta fidelidade, multilíngue e exclusivamente africano
• The African Stopwords Project: curadoria de stopwords para línguas africanas

P: Qual é o seu trabalho atual em Kigali, Ruanda?

Estou ministrando um curso intitulado “Processamento de Linguagem Natural para Linguistas”. Basicamente, estou ensinando processos linguísticos de linguagem natural dentro dos contextos africanos em Kigali, Ruanda.

Tenho a tarefa de fornecer e demonstrar as nuances da construção, anotação, curadoria, análise e publicação de conjuntos de dados multilíngues para diferentes tarefas de NLP, como na construção de modelos de linguagem grandes (LLM). Um grande modelo de linguagem significa trazer vários sistemas de linguagem para funcionar dentro de um único fluxo. Tentamos conseguir isso por lateralização, que é uma espécie de treinamento do sistema de IA com um padrão ou modelo. O padrão então se torna a base para suas outras aplicações.

Além da IA conversacional, estamos procurando fazer algo significativo no campo da IA generativa, que ainda faz parte da lateralização da capacidade do modelo de permutar dados e gerar resultados por computação matemática, como probabilidade.

P: Você pode falar sobre a situação atual e as aplicações de IA/PNL no contexto africano?

A PNL tem sido usada em muitos casos em toda a África, alguns dos quais incluem robótica e IA conversacional. Um exemplo típico de IA conversacional é o Alaye de Lagos, que ajuda os turistas naturais (nigerianos de outros estados) a se orientarem em Lagos —uma megacidade e estado— e a identificar locais como restaurantes, clubes, lojas, e até situações de trânsito usando o popular pidgin nigeriano (Naija pidgin).

Estamos desenvolvendo modelos de IA que podem ser treinados para executar tarefas – um sistema ou processo complexo é reduzido a uma simples sequência de comandos (modelagem). Essa é a aplicação prática da PNL na robótica como está na África, no momento.

Atualmente, na lingüística, a aplicação da IA é principalmente na automação, embora existam modelos linguísticos infundidos em diferentes aplicações de IA, como em robôs e chatbots, entre outros.

Temos algumas pessoas fazendo coisas realmente boas, como Maskhane , Mbaza-PNL , NLPGhana ( mais ), e Quênia PNL .

Quais são os desafios das aplicações de IA no contexto das línguas africanas

Um grande desafio para a paisagem da África em encontrar relevância global na indústria de IA é a limitação dos recursos linguísticos (dados). A África é multilíngue, portanto, existem conjuntos de dados limitados para fornecer a grande quantidade de dados necessários para vários projetos de IA em andamento no mundo. Por exemplo, o maior conjunto de dados de idiomas que temos na África é de cerca de 2.000 horas, mas os conjuntos de dados reconhecidos são ainda bem menores, o que é bem ridículo em comparação com a língua inglesa, que tem bilhões de horas de dados de áudio.

Se alguma coisa acontecer com a IA, acontecerá com as linguagens de alto recurso. Mesmo que isso aconteça com as línguas africanas, não temos os sistemas para capacitá-las. Portanto, estamos ficando para trás porque não temos o suficiente para trabalhar, e o problema tem sido um problema de quase toda a vida de nossa falta de documentação.

Veja a Nigéria, por exemplo, com mais de 200 tribos, mas apenas três idiomas são os mais populares. Ao contrário de Yoruba, Igbo e Hausa, tribos e idiomas menores têm poucos dados (dados de poucos recursos). Isso é o que estamos tentando fazer em Mbaza-PNL , colete dados de idiomas com poucos recursos e use-os para reconhecimento de fala programável, incluindo conversão de fala em texto (STT) e conversão de texto em fala (TTS).

Os técnicos de IA e PNL não estão investindo porque não acreditam nisso ou acham que não há dados suficientes para explorar para seu ROI. Portanto, esperamos que nossos trabalhos subterrâneos atuais sejam o avanço.

Além disso, a África é marginalizada no mercado global de IA linguística e PNL porque os mecanismos de busca mais populares são asiáticos e ocidentais (americanos, especialmente). Além disso, para alguns de nossos trabalhos aqui, não podemos receber crédito por eles como africanos por causa do patrocínio.

P: Quais são os países africanos com mais avanços nas aplicações da PNL africana?

Os países africanos que causaram o maior impacto incluem África do Sul, Quênia e Ruanda – esses caras são loucos! A Nigéria também está tentando, mas a maioria das pessoas que deveriam estar explorando o espaço não está buscando desenvolvimento, mas as gratificações de certificações acadêmicas. Valorizamos nosso(s) idioma(s), mas não estamos construindo conjuntos de dados com eles. Preferimos falar ou privatizar nossa língua como patrimônio quando deveríamos estar investindo em documentação para preservar e proteger a língua.

P: Então, em termos de negócios, qual é a posição da África na comercialização de PNL para idiomas africanos?

Honestamente, não há muito, além do negócio de vender conjuntos de dados. Mesmo assim, quem injeta dinheiro nos projetos dá muito, mas o valor que chega aos agentes de campo é muito pouco em comparação com o valor original.

P: Isso me leva à questão da ética. Existe algum valor ético na coleta e venda de dados das pessoas? E é justo obter uma grande quantia de dinheiro para esses projetos e as fontes primárias dessas linguagens receberem uma quantia mínima (às vezes zero)? Existem proteções para esses dados ou fontes?

Não há nenhuma lei contra a coleta de dados. O mais importante é que os dados sejam coletados voluntariamente dos falantes nativos e eles sejam recompensados pelo seu tempo. No entanto, todas as atividades devem estar alinhadas com os objetivos da União Africana Leis de privacidade de dados da UA. Além disso, a pesquisa linguística que envolve coleta de dados geralmente precisa do consentimento de falantes nativos ou respondentes.

E para a sua segunda pergunta, não há nada que alguém possa fazer sobre a quantidade de dinheiro que eventualmente chega às pessoas envolvidas nesses campos. O mais importante é que todos se comprometam com o projeto de boa vontade. As pessoas são informadas de que serão registradas e recompensadas e, desde que aceitem o preço, não há “injustiça”.

P: Se alguém quiser ingressar em PNL e treinamento de idiomas como está, o que você recomenda?

É um campo amplo. Muitos já têm alicerces e estão em fase de construção, mas ainda temos mais aspectos que mal são fundamentais. O que recomendo a todos é que se envolvam com a coleta e análise de dados linguísticos. Precisamos de análise de dados para conjuntos de dados tanto quanto precisamos de dados.

Portanto, recomendo ingressar ou ser voluntário em grupos entusiasmados orientados a dados; voluntário para coleta e análise de dados, aprendizado de nomenclatura e outros.

Pensamentos finais

A África continua a ser representada de forma inadequada no software de reconhecimento de voz com comandos ou prompts para diferentes AI e NLP. A narrativa se tornará diferente quando os africanos começarem a construir conjuntos de dados, divulgar sua linguagem e continuar a investir em documentação. No entanto, você ficará impressionado com algumas das criações vindas da África sobre aplicações de IA e PNL.

Em minhas pesquisas e seguindo pistas, vi robôs sendo solicitados com idiomas africanos locais, estamos tendo mais chatbots locais adequados para diferentes contextos africanos (turismo, exploração), alguns idiomas estão sendo usados para IoT para eletrodomésticos. No entanto, acredito que deveríamos estar fazendo mais, considerando a revolução massiva da IA e da PNL acontecendo no mundo agora. Por enquanto, temos mais conjuntos de dados para classificações de texto do que temos para dados de áudio. No entanto, precisamos de mais conjuntos de dados de áudio e texto. Os dados são a nova moeda, sinceramente espero que os africanos façam isso direito antes que os estrangeiros façam trabalhos errados (Ah, sim, já li dados históricos falsos relatados em um livro publicado antes; é isso que a documentação inadequada faz conosco).