Comment j'ai créé une application d'IA pour aider les personnes occupées (paresseuses) à améliorer leurs compétences en anglais

Salut les hackers 👋 Je suis le fondateur de Fluently et je souhaite partager mon parcours de création d'un outil qui aide les professionnels non natifs à améliorer leurs compétences en anglais grâce à l'IA. Pensez Grammarly, mais pour les vidéoconférences.

Comment est née l’idée

J'ai vécu aux États-Unis pendant plus d'un an où j'ai amélioré mon anglais jusqu'à un niveau avancé. Je consomme presque toutes les informations, y compris les livres en anglais.

Mais malgré cela, au cours des 4 derniers mois de ma vie à Londres alors que je participais à l'accélérateur Entrepreneur First, j'ai remarqué que parfois les gens me demandaient encore de répéter ce que j'avais dit. J'ai vu sur leurs visages qu'ils ne comprenaient rien. C'est difficile à cacher.

La situation la plus drôle s'est produite lorsqu'un gars de Lettonie m'a dit doucement : « tu prononces « vague » comme « wagyu ». Le premier mot signifie peu clair ou indistinct, tandis que le second est bœuf japonais 😅

Bref, j'ai à nouveau ressenti l'envie d'améliorer mon anglais. L’option « eh bien, ils comprendront de toute façon, je ne suis pas du coin » ne me convient pas du tout. Cependant, aller voir des tuteurs est difficile. Tout d'abord, vous devez prévoir du temps pour les cours. Deuxièmement, les bons tuteurs coûtent cher. Troisièmement, la quantité de retours après une leçon d'une heure n'est pas grande pour une semaine.

La solution : couramment

Mon expérience en tant qu'ingénieur ML m'a fait réfléchir : et si l'IA pouvait suivre et mettre en évidence mes erreurs courantes et m'aider à les corriger ? Comme un tuteur virtuel qui s'intègre organiquement dans ma routine quotidienne et amène mon anglais à un nouveau niveau. C'est ainsi que Fluently a commencé.

Tout d’abord, j’ai décidé de passer une semaine pour voir si quelqu’un d’autre était intéressé. J'ai donc créé une page de destination où vous pouvez vous inscrire sur la liste d'attente, et sur le site lui-même, j'ai simplement exposé les principales valeurs du produit. Le site n'a pas encore changé.

Ensuite, j'ai montré cette page de destination à mes amis avec l'approche « hé, regarde ce que j'ai trouvé » pour voir comment ils réagiraient. Étonnamment, les 2/3 ont manifesté leur intérêt pour l'application et se sont inscrits sur la liste d'attente du site. Les autres ont de bonnes compétences en anglais ou s'en moquent.

J'ai également partagé une courte vidéo de démonstration de Fluently sur ma chaîne Telegram, et quelques amis l'ont republiée. En conséquence, plus de 200 personnes se sont inscrites sur la liste d’attente. C’était un grand signe pour moi de commencer à construire !

Qu’est-ce que Fluently maintenant ?

Fluently est une application Mac conçue pour aider les professionnels non natifs à améliorer leur anglais en donnant des commentaires instantanés après des appels en ligne, comme ceux sur Google Meet ou Zoom. Imaginez que vous ayez un coach personnel qui vous propose des conseils juste après chaque appel.

Pour essayer Fluently, téléchargez une application et suivez ces étapes simples :

1. Démarrez l'application : s'active couramment lorsque vous parlez anglais lors de réunions en ligne.
2. Obtenez des commentaires : après chaque appel, Fluently fournit des commentaires adaptés à vos défis linguistiques, signalant les erreurs et suggérant des améliorations.
3. Suivez vos progrès : au fil du temps, vous pouvez voir où vous vous améliorez et où vous avez encore besoin de pratique.

Voici un exemple de retour Fluently :

Certains des avantages et fonctionnalités clés de Fluently :

• Commentaires réels : aide à corriger les erreurs provenant d’appels réels, pas seulement dans les salles de classe.
• Apprentissage sans effort : pas de temps supplémentaire nécessaire : apprenez simplement de vos réunions habituelles.
• Évaluation du niveau d'anglais : évalue votre niveau d'anglais et identifie vos points forts et vos points faibles.
• AI Tutor : permet de pratiquer l'anglais même lorsque vous n'êtes pas en communication.

Le côté technique

Puisque l'application est destinée à MacOS, j'ai décidé d'écrire le client dans Swift. Nous aurions pu regarder Electron, mais les applications natives se sentent toujours mieux. Et si nous devons nous plonger dans quelque chose de bas niveau, il sera plus rapide de résoudre les problèmes dans Swift.

Actuellement, l'application détecte le début d'un appel et commence à analyser l'audio de l'utilisateur par petits morceaux, puis à les traiter sur le serveur. Seule la parole de l'utilisateur est analysée, et la parole de l'interlocuteur n'est même pas entendue par l'application (sauf dans certains cas de conversations bruyantes sans casque).

Le backend est écrit en Python et les modèles ML sont sur PyTorch. Le serveur reçoit l'audio et détecte les erreurs de prononciation, qui sont renvoyées à l'application.

Je n'entrerai pas dans les détails de mise en œuvre du pipeline lui-même, car c'est un sujet pour un article séparé. Pour simplifier, tout est organisé comme suit : l'audio est reconnu en texte, le texte est traduit en phonèmes et un modèle distinct vérifie dans quelle mesure ils correspondent aux sons prononcés dans l'enregistrement audio.

Confidentialité : bien entendu, nous ne collectons pas les enregistrements eux-mêmes, nous tenons uniquement des statistiques sur les erreurs. De plus, nous n’avons pas besoin d’un discours anglais avec un fort accent. Je peux enregistrer ça pendant des heures moi-même 😅

Prochaines étapes

Je travaille continuellement à améliorer Fluently. Tout d’abord, nous développons des applications Web et mobiles. Augmenter considérablement l’audience potentielle de Fluently. Et créer des exercices quotidiens comme Duolingo, basés sur vos erreurs les plus courantes. Il s'agit de rendre l'apprentissage amusant et utile pour la routine quotidienne.

Vous avez des questions ou des commentaires ? Je suis ici pour avoir de vos nouvelles !