Die Landschaft der KI in afrikanischen Sprachen und Linguistik

Vor einigen Jahren habe ich Google Assistant eine einfache Frage gestellt (ich kann mich nicht erinnern, was es war) und es kam eine Antwort, die nichts damit zu tun hatte. Ich fragte noch einmal und bekam eine andere Antwort. Ich musste meine Frage eingeben.

Zu diesem Zeitpunkt kam ich zu dem Schluss, dass Spracherkennungssoftware nicht für Afrikaner gemacht war.

Mein gesprochenes Englisch und meine Betonung haben sich aufgrund meiner persönlichen Entwicklung und Bekanntheit verbessert, aber ich kann auch feststellen, dass viele Spracherkennungs-Apps und -Software sich besser an afrikanische Sprecher anpassen (in Bezug auf den Akzent). Die Wahrheit ist jedoch, dass die Spracherkennung für Afrikaner noch einen viel längeren Weg vor sich hat.

Ich frage mich immer noch, warum wir nicht viele Apps haben, die mit den wichtigsten lokalen afrikanischen Sprachen, von denen es über 10 Millionen Muttersprachler gibt, gesprochen werden können. Deshalb beschloss ich, mit einem Feldlinguisten und akademischen Forscher über die aktuelle Situation der künstlichen Intelligenz und der Verarbeitung natürlicher Sprache in afrikanischen Kontexten und Sprachen zu sprechen.

F: Hallo, können Sie mir etwas über sich selbst erzählen und was sind Ihre Interessen als Linguist und NLP-KI-Enthusiast?

Hallo, ich bin Olanrewaju Samuel.

Ich interessiere mich für Computerphonologie, Datensatzerstellung, Annotation und Kuration, Verarbeitung natürlicher Sprache und Feldlinguistik.

Mein Hauptmentor ist Dr. Akinbo Samuel . In letzter Zeit habe ich große Freude an der Proteinlinguistik, der Proteinfaltung und der mathematischen Linguistik gefunden. Ein Gelehrter, den ich sehr respektiere, wird genannt Jeffrey Heinz . Seine Arbeiten haben meine Forschung beeinflusst und ich habe mein Fachwissen dem Deep-Learning-NLP und der Robotik zur Verfügung gestellt. Mein aktuelles Forschungsgebiet ist die Proteinfaltung und die Wechselbeziehung zwischen Quantenphysik, Quantenchemie und Linguistik.

Ich habe meine Forschungsziele noch nicht genau festgelegt, aber ich konzentriere mich vorerst darauf, mein Fachwissen weiterzuentwickeln und meine Möglichkeiten auszuloten. Nicht für die Zertifizierungen an sich, sondern für die eigene Weiterentwicklung. Ich versuche also, mich weiterzuentwickeln und gleichzeitig mein Programm hier abzuschließen und mich anderen Dingen zuzuwenden.

F: Welche Veröffentlichungen haben Sie in diesem Bereich veröffentlicht?

Ich habe mit verschiedenen großartigen Persönlichkeiten zusammengearbeitet, um an verschiedenen Publikationen mitzuwirken. Eine meiner letzten linguistischen Arbeiten ist „ Eine akustische Studie des stimmlichen Ausdrucks in zwei Genres der mündlichen Poesie der Yoruba .“ Die meisten meiner vorgestellten NLP-Veröffentlichungen stammen hauptsächlich von der Masakhane NLP-Gruppe.

Das beinhaltet:

• MasakhaNEWS: Nachrichtenthemenklassifikation für afrikanische Sprachen
• BibleTTS: ein großes, originalgetreues, mehrsprachiges und einzigartig afrikanisches Sprachkorpus
• Das African Stopwords Project: Kuratierung von Stoppwörtern für afrikanische Sprachen

F: Was ist Ihre aktuelle Arbeit in Kigali, Ruanda?

Ich unterrichte einen Kurs mit dem Titel „Natürliche Sprachverarbeitung für Linguisten“. Grundsätzlich unterrichte ich sprachliche natürliche Sprachprozesse im afrikanischen Kontext in Kigali, Ruanda.

Meine Aufgabe ist es, die Nuancen des Erstellens, Kommentierens, Kuratierens, Analysierens und Veröffentlichens mehrsprachiger Datensätze für verschiedene NLP-Aufgaben bereitzustellen und zu demonstrieren, beispielsweise beim Erstellen großer Sprachmodelle (LLM). Ein großes Sprachmodell bedeutet, mehrere Sprachsysteme in einem einzigen Stream zum Funktionieren zu bringen. Wir versuchen, dies durch Lateralisierung zu erreichen, das heißt, das KI-System anhand eines Musters oder einer Vorlage zu trainieren. Das Muster wird dann zur Grundlage für seine anderen Anwendungen.

Über die Konversations-KI hinaus wollen wir etwas Sinnvolles im Bereich der generativen KI tun, die immer noch Teil der Lateralisierung für die Fähigkeit des Modells ist, Daten zu permutieren und Ergebnisse durch mathematische Berechnungen wie Wahrscheinlichkeit zu generieren.

F: Können Sie über die aktuelle Situation und Anwendungen von KI/NLP im afrikanischen Kontext sprechen?

NLP wird in vielen Fällen in ganz Afrika eingesetzt, darunter auch Robotik und Konversations-KI. Ein typisches Beispiel für eine Konversations-KI ist Lagos' Alaye, das Naturtouristen (Nigerianern aus anderen Bundesstaaten) dabei helfen soll, sich in Lagos – einer Megastadt und einem Bundesstaat – zurechtzufinden und Orte wie Restaurants, Clubs, Geschäfte usw. zu identifizieren. und sogar Verkehrssituationen mit dem beliebten nigerianischen Pidgin (Naija Pidgin).

Wir entwickeln KI-Modelle, die für die Ausführung von Aufgaben trainiert werden können – ein komplexes System oder Prozess wird auf einfache Befehlsfolgen eingegrenzt (Modellierung). Das ist die praktische Anwendung von NLP in der Robotik, wie sie derzeit in Afrika vorliegt.

Derzeit findet die Anwendung von KI in der Linguistik hauptsächlich in der Automatisierung statt, obwohl linguistische Modelle in verschiedene KI-Anwendungen einfließen, beispielsweise in Roboter und Chatbots.

Wir haben einige Leute, die wirklich tolle Sachen machen, wie zum Beispiel Maskhane , Mbaza-NLP , NLPGhana ( mehr ), Und Kenia NLP .

Was sind die Herausforderungen von KI-Anwendungen im Kontext afrikanischer Sprachen?

Eine große Herausforderung für Afrikas Landschaft bei der Suche nach globaler Relevanz in der KI-Branche ist die Beschränkung der Sprachressourcen (Daten). Afrika ist mehrsprachig, daher gibt es sie begrenzte Datensätze um die riesigen Datenmengen bereitzustellen, die für verschiedene KI-Projekte auf der Welt benötigt werden. Der größte Sprachdatensatz, den wir in Afrika haben, umfasst beispielsweise etwa 2000 Stunden, aber die erkannten Datensätze sind sogar noch viel kleiner, was im Vergleich zur englischen Sprache, die über Milliarden Stunden an Audiodaten verfügt, sehr lächerlich ist.

Wenn der KI etwas passieren wird, dann wird es auch den ressourcenintensiven Sprachen passieren. Selbst wenn dies bei afrikanischen Sprachen der Fall wäre, verfügen wir nicht über die Systeme, um sie zu unterstützen. Daher hinken wir hinterher, weil wir nicht genug haben, mit dem wir arbeiten können, und das Problem besteht seit fast unserem Leben, weil wir keine Dokumentation haben.

Nehmen wir zum Beispiel Nigeria, wo es über 200 Stämme gibt, doch nur drei Sprachen sind die beliebtesten. Im Gegensatz zu Yoruba, Igbo und Hausa verfügen kleinere Stämme und Sprachen nur über wenige Daten (Daten mit geringen Ressourcen). Genau das versuchen wir zu erreichen Mbaza-NLP Sammeln Sie Daten aus ressourcenarmen Sprachen und verwenden Sie sie für die programmierbare Spracherkennung, einschließlich Speech-to-Text (STT) und Text-to-Speech (TTS).

KI- und NLP-Techniker investieren nicht, weil sie nicht daran glauben oder glauben, dass es nicht genügend Daten gibt, die sie für ihren ROI untersuchen könnten. Wir hoffen also, dass unsere aktuellen unterirdischen Arbeiten den Durchbruch bringen werden.

Darüber hinaus ist Afrika auf dem globalen Markt für sprachliche KI und NLP marginalisiert, da die beliebtesten Suchmaschinen asiatische und westliche (insbesondere amerikanische) sind. Außerdem können wir einige unserer Werke hier aufgrund des Sponsorings nicht als Afrikaner anerkennen.

F: Welches sind die afrikanischen Länder mit den größten Fortschritten bei der Anwendung des afrikanischen NLP?

Zu den afrikanischen Ländern, die den größten Einfluss hatten, gehören Südafrika, Kenia und Ruanda – diese Leute sind verrückt! Auch Nigeria versucht es, aber die meisten Menschen, die diesen Raum erkunden sollten, streben nicht nach Entwicklung, sondern nach der Befriedigung durch akademische Zertifizierungen. Wir schätzen unsere Sprache(n), aber wir erstellen keine Datensätze mit ihnen. Wir würden unsere Sprache lieber als Erbe sprechen oder privatisieren, wenn wir in Dokumentation investieren sollten, um die Sprache zu bewahren und zu schützen.

F: Wo steht Afrika also aus geschäftlicher Sicht bei der Kommerzialisierung von NLP für afrikanische Sprachen?

Ehrlich gesagt gibt es nicht viel außer dem Geschäft mit dem Verkauf von Datensätzen. Selbst dann geben diejenigen, die Geld in die Projekte pumpen, viel, aber der Betrag, der bei den Außendienstmitarbeitern ankommt, ist im Vergleich zu dem ursprünglich investierten Betrag sehr gering.

F: Das bringt mich zur Frage der Ethik. Hat das Sammeln und Verkaufen personenbezogener Daten einen ethischen Wert? Und ist es fair, für diese Projekte viel Geld zu bekommen, während die Hauptquellen dieser Sprachen nur einen sehr geringen Betrag (manchmal null) erhalten? Gibt es Schutzmaßnahmen für diese Daten oder Quellen?

Es gibt kein Gesetz gegen die Datenerfassung. Das Wichtigste ist, dass die Daten freiwillig von den Muttersprachlern gesammelt werden und sie für ihre Zeit belohnt werden. Alle Aktivitäten müssen jedoch im Einklang mit denen der Afrikanischen Union stehen Datenschutzgesetze der AU. Darüber hinaus ist für linguistische Forschung, bei der Daten erfasst werden, in der Regel die Zustimmung von Muttersprachlern oder Befragten erforderlich.

Und zu Ihrer zweiten Frage: Es gibt nichts, was irgendjemand an der Höhe des Geldes ändern kann, das letztendlich bei den Menschen ankommt, die in diesen Bereichen tätig sind. Das Wichtigste ist, dass sich jeder bereitwillig für das Projekt einsetzt. Den Leuten wird gesagt, dass sie erfasst und belohnt würden, und solange sie mit dem Preis einverstanden seien, gebe es keine „Ungerechtigkeit“.

F: Was empfehlen Sie, wenn jemand so am NLP- und Sprachtraining teilnehmen möchte?

Es ist ein weites Feld. Viele haben bereits Fundamente und befinden sich in der Bauphase, aber wir haben noch mehr Aspekte, die gerade erst im Fundament sind. Ich empfehle jedem, sich mit der Erfassung und Analyse von Sprachdaten zu befassen. Wir brauchen Datenanalysen für Datensätze genauso wie wir Daten brauchen.

Daher empfehle ich, begeisterten datengesteuerten Gruppen beizutreten oder sich ehrenamtlich dafür zu engagieren. Freiwillige für die Datenerfassung und -analyse, das Erlernen der Nomenklatur und andere.

Abschließende Gedanken

Afrika wird in Spracherkennungssoftware weiterhin falsch mit Befehlen oder Eingabeaufforderungen für unterschiedliche KI und NLP dargestellt. Die Erzählung wird sich ändern, wenn Afrikaner beginnen, Datensätze zu erstellen, ihre Sprache zu verbreiten und weiterhin in Dokumentation zu investieren. Dennoch werden Sie von einigen Kreationen aus Afrika im Bereich KI- und NLP-Anwendungen beeindruckt sein.

Bei meinen Recherchen und beim Verfolgen von Hinweisen habe ich gesehen, dass Roboter mit lokalen afrikanischen Sprachen aufgefordert werden, wir haben mehr lokale Chatbots, die für verschiedene afrikanische Kontexte (Tourismus, Erkundung) geeignet sind, und einige Sprachen werden für IoT für Haushaltsgeräte verwendet. Ich glaube jedoch, dass wir mehr tun sollten, wenn man bedenkt, dass derzeit weltweit eine massive KI- und NLP-Revolution stattfindet. Im Moment haben wir mehr Datensätze für Textklassifikationen als wir für Audiodaten haben. Dennoch benötigen wir mehr Audio- und Textdatensätze. Daten sind die neue Währung, ich hoffe wirklich, dass die Afrikaner dies richtig machen, bevor Ausländer falsche Arbeit leisten (Oh ja, ich habe schon einmal gelesen, dass in einem veröffentlichten Buch über falsche historische Daten berichtet wurde; das ist es, was eine unsachgemäße Dokumentation mit uns macht).