非洲语言和语言学中的 AI 景观

几年前，我问过 Google Assistant 一个简单的问题（不记得是什么问题了），它给出了一个不相关的答案。我又问了一遍，得到了不同的答案。我不得不输入我的问题。

那时，我得出结论，语音识别软件不是为非洲人设计的。

由于个人发展和接触，我的英语口语和口音有所提高，但我也可以看出，许多语音识别应用程序和软件正在变得更适合非洲人（口音方面）。然而，事实是，非洲人的语音识别还有很长的路要走。

我仍然想知道为什么我们没有很多可以用主要非洲当地语言提示的应用程序，其中有超过 1000 万的母语人士。因此，我决定与一位现场语言学家和学术研究人员就非洲语境和语言中人工智能和自然语言处理的现状进行交谈。

Q：您好，请介绍一下您自己，作为一名语言学家和 NLP AI 爱好者，您的兴趣是什么？

嗨，我是 Olanrewaju Samuel。

我对计算音韵学、数据集构建、注释和管理、自然语言处理和领域语言学感兴趣。

我的主要导师是阿金博塞缪尔博士.最近，我对蛋白质语言学、蛋白质折叠和数学语言学感到非常高兴。我非常尊敬的一位学者被命名为杰弗里海因茨.他的作品影响了我的研究，我将我的专业知识用于深度学习 NLP 和机器人技术。我目前的研究领域是围绕蛋白质折叠以及量子物理学、量子化学和语言学之间的相互关系。

我对我的研究目标并不严格，但我现在专注于发展我的专业知识和探索我的可能性。不是为了认证本身，而是为了自我发展。因此，我正在寻求发展自己，同时也试图在这里完成我的课程并继续做其他事情。

问：您在该领域发表过哪些论文？

我曾与不同的伟大人物合作，成为不同出版物的一部分。我最近的一篇语言学论文是“两种约鲁巴语口头诗歌体裁声乐表达的声学研究”首先，我在 NLP 方面的大部分特色出版物都来自 Masakhane NLP 小组。

这包括：

• MasakhaNEWS：非洲语言新闻主题分类
• BibleTTS：一个大型、高保真、多语言、独特的非洲语音语料库
• The African Stopwords Project：为非洲语言策划停用词

问：你目前在卢旺达基加利的工作是什么？

我正在教授一门名为“语言学家的自然语言处理”的课程。基本上，我在卢旺达基加利的非洲语境中教授语言学自然语言过程。

我的任务是提供和演示为不同的 NLP 任务构建、注释、策划、分析和发布多语言数据集的细微差别，例如构建大型语言模型 (LLM)。大型语言模型意味着使多个语言系统在单个流中运行。我们试图通过侧向化来实现这一点，这是一种用模式或模板训练 AI 系统的方法。该模式随后成为其其他应用程序的基础。

除了对话式 AI 之外，我们正在考虑在生成 AI 领域做一些有意义的事情，这仍然是模型通过概率等数学计算排列数据和生成结果的能力的侧化的一部分。

Q：能否谈谈AI/NLP在非洲背景下的现状和应用？

NLP 已在非洲的许多情况下使用，其中一些包括机器人技术和对话式 AI。对话式人工智能的一个典型例子是拉各斯的Alaye，它旨在帮助自然游客（来自其他州的尼日利亚人）在拉各斯——一个特大城市和州——找到他们的路，并识别餐馆、俱乐部、商店等地点，甚至使用流行的尼日利亚洋泾浜 (Naija pidgin) 的交通情况。

我们正在开发可以被训练来执行任务的 AI 模型——一个复杂的系统或过程被缩小为简单的命令字符串（建模）。这就是目前在非洲的 NLP 在机器人技术中的实际应用。

目前，在语言学中，人工智能的应用主要是在自动化方面，尽管有语言模型被注入到不同的人工智能应用程序中，例如机器人和聊天机器人等。

我们有一些人在做非常棒的事情，比如马斯哈内, Mbaza-自然语言处理, NLP加纳(更多的）， 和肯尼亚自然语言处理.

人工智能应用在非洲语言背景下的挑战是什么

非洲在寻找 AI 行业的全球相关性方面面临的主要挑战是语言资源（数据）的限制。非洲是多语言的，因此，有有限的数据集为世界上正在进行的各种人工智能项目提供所需的大量数据。例如，我们在非洲拥有的最大语言数据集大约有 2000 小时，但是公认的数据集甚至更小，与拥有数十亿小时音频数据的英语相比，这是非常荒谬的。

如果 AI 会发生任何事情，那么它也会发生在高资源语言上。即使它发生在非洲语言上，我们也没有为它们提供动力的系统。因此，我们落后了，因为我们没有足够的东西可以使用，而且这个问题几乎是我们缺乏文档的终生问题。

以尼日利亚为例，它有200多个部落，但只有三种语言是最流行的。与约鲁巴语、伊博语和豪萨语不同，较小的部落和语言的数据很少（低资源数据）。这就是我们正在努力做的Mbaza-自然语言处理，从低资源语言中收集数据并将其用于可编程语音识别，包括语音转文本 (STT) 和文本转语音 (TTS)。

AI 和 NLP 技术人员不投资是因为他们不相信它，或者他们认为没有足够的数据来探索他们的投资回报率。所以，我们希望我们目前的地下工程能成为突破口。

此外，非洲在语言人工智能和自然语言处理的全球市场中被边缘化，因为最受欢迎的搜索引擎是亚洲和西方（尤其是美国）。此外，对于我们在这里的一些作品，我们不能因为赞助而将他们归功于非洲人。

Q：非洲NLP应用进展最快的非洲国家有哪些？

影响最大的非洲国家包括南非、肯尼亚和卢旺达——这些人太疯狂了！尼日利亚也在尝试，但大多数应该探索这个领域的人并不是在寻求发展，而是在寻求学术证书的满足。我们重视我们的语言，但我们不是用它们构建数据集。当我们应该投资于文档以保存和保护语言时，我们宁愿将我们的语言作为一种遗产来使用或私有化。

问：那么，从商业角度来看，非洲在非洲语言的 NLP 商业化中处于什么位置？

老实说，除了卖数据集的生意外，没什么。即便如此，那些向项目投入资金的人也付出了很多，但与最初投入的金额相比，现场代理人获得的金额非常少。

问：这让我想到了道德问题。收集和出售人们的数据有什么道德价值吗？为这些项目获得大量资金而这些语言的主要来源获得的金额非常少（有时为零）是否公平？这些数据或来源是否有保护措施？

没有禁止数据收集的法律。最重要的是数据是自愿从母语人士那里收集的，他们付出的时间会得到回报。但是，所有活动都应与非洲联盟的 澳大利亚数据隐私法。此外，涉及数据收集的语言学研究通常需要征得母语人士或受访者的同意。

关于你的第二个问题，对于最终到达这些领域相关人员的资金数额，任何人都无能为力。最重要的是每个人都心甘情愿地投入到这个项目中。人们被告知他们会被记录和奖励，只要他们对这个价格没有意见，就没有“不公平”。

Q：如果有人想按现状加入NLP和语言培训，你有什么推荐？

这是一个广阔的领域。许多人已经有了基础并处于建设阶段，但我们还有更多的方面是勉强的基础。我向所有人推荐的是参与语言数据收集和分析。我们需要对数据集进行数据分析，就像我们需要数据一样。

因此，我建议加入或自愿加入热心的数据驱动团体；自愿参与数据收集和分析、学习命名法等。

最后的想法

非洲在语音识别软件中继续以不同的 AI 和 NLP 命令或提示不当出现。当非洲人着手建立数据集并发布他们的语言并继续投资于文档时，叙述将变得不同。然而，您会对来自非洲的一些关于 AI 和 NLP 应用的创新印象深刻。

在我的研究和跟踪线索中，我看到机器人被提示使用当地的非洲语言，我们有更多适合不同非洲环境（旅游、探索）的本地聊天机器人，一些语言被用于家用电器的物联网。然而，考虑到目前世界上正在发生的大规模人工智能和自然语言处理革命，我认为我们应该做得更多。目前，我们有更多数据集为了文本分类比我们的音频数据。然而，我们需要更多的音频和文本数据集。数据是新货币，我真诚地希望非洲人在外国人做错工作之前就这样做（哦，是的，我以前读过一本出版的书中报道的虚假历史数据；这就是不正确的文件对我们的影响）。