Como desenvolvi um aplicativo de IA para ajudar pessoas ocupadas (preguiçosas) a melhorar suas habilidades de falar inglês

Olá hackers 👋 Sou o fundador do Fluently e quero compartilhar minha jornada de criação de uma ferramenta que ajuda profissionais não nativos a melhorar suas habilidades de falar inglês com IA. Pense gramaticalmente, mas para videoconferências.

Como surgiu a ideia

Morei nos Estados Unidos por mais de um ano, onde aprimorei meu inglês para um nível avançado. Consumo quase todas as informações, inclusive livros em inglês.

Mas apesar disso, nos últimos 4 meses morando em Londres enquanto frequentava a aceleradora Entrepreneur First, notei que às vezes as pessoas ainda me pediam para repetir o que falei. Vi pelos rostos deles que eles não entendiam nada. Isso é difícil de esconder.

A situação mais engraçada aconteceu quando um cara da Letônia me disse baixinho: "você pronuncia 'vago' como 'wagyu'." A primeira palavra significa pouco claro ou indistinto, enquanto a segunda é carne bovina japonesa 😅

Resumindo, senti mais uma vez vontade de melhorar meu inglês. A opção "tudo bem, eles vão entender de qualquer maneira, não sou local" não combina comigo. No entanto, ir aos tutores é difícil. Em primeiro lugar, você precisa reservar tempo para as aulas. Em segundo lugar, bons tutores são caros. Em terceiro lugar, a quantidade de feedback após uma aula de uma hora não é grande durante uma semana.

A solução: fluentemente

Minha experiência como engenheiro de ML me fez pensar: e se a IA pudesse rastrear e destacar meus erros comuns e me ajudar a corrigi-los? Como um tutor virtual que se adapta organicamente à minha rotina diária e leva meu inglês a um novo nível. Foi assim que o Fluently começou.

Em primeiro lugar, decidi passar uma semana para ver se mais alguém estava interessado. Então montei uma landing page onde você pode se inscrever na lista de espera, e no próprio site simplesmente descrevi os principais valores do produto. O site ainda não mudou.

Então mostrei essa landing page para meus amigos com a abordagem “ei, olha o que encontrei” para ver como eles reagiriam. Surpreendentemente, 2/3 demonstraram interesse no aplicativo e se inscreveram na lista de espera do site. O resto tem bons conhecimentos de inglês ou não se importa.

Também compartilhei um pequeno vídeo de demonstração do Fluently em meu canal do Telegram, e alguns amigos o postaram novamente. Como resultado, mais de 200 pessoas entraram na lista de espera. Esse foi um grande sinal para eu começar a construir!

O que é Fluentemente agora?

Fluently é um aplicativo para Mac desenvolvido para ajudar profissionais não nativos a melhorar seu inglês, fornecendo feedback instantâneo após ligações online, como as do Google Meet ou Zoom. Imagine que você tem um personal coach que dá dicas logo após cada ligação.

Para experimentar o Fluently, baixe um aplicativo e siga estas etapas fáceis:

1. Inicie o aplicativo: é ativado com fluência quando você fala inglês durante reuniões on-line.
2. Obtenha feedback: após cada ligação, o Fluently fornece feedback adaptado aos seus desafios linguísticos, apontando erros e sugerindo melhorias.
3. Acompanhe o progresso: com o tempo, você poderá ver onde está melhorando e onde ainda precisa de prática.

Aqui está um exemplo de feedback do Fluently:

Alguns dos principais benefícios e recursos do Fluently:

• Feedback da vida real: ajuda a corrigir erros em chamadas reais, não apenas em salas de aula.
• Aprendizagem sem esforço: não é necessário tempo extra – basta aprender com suas reuniões habituais.
• Avaliação do nível de inglês: avalia seu nível de inglês e identifica suas áreas mais fortes e mais fracas.
• AI Tutor: Permite praticar inglês mesmo quando você não está em ligações.

O lado técnico

Como o aplicativo é para MacOS, decidi escrever o cliente em Swift. Poderíamos ter olhado para o Electron, mas os aplicativos nativos sempre parecem melhores. E se tivermos que mergulhar em algo de baixo nível, será mais rápido resolver problemas em Swift.

Atualmente, o aplicativo detecta o início de uma chamada e começa a analisar o áudio do usuário em pequenos pedaços, processando-os no servidor. Apenas a fala do usuário é analisada, sendo que a fala do interlocutor sequer é ouvida pelo app (exceto em alguns casos de conversas em voz alta sem fones de ouvido).

O backend é escrito em Python e os modelos de ML estão em PyTorch. O servidor recebe o áudio e detecta erros de pronúncia, que são enviados de volta ao app.

Não entrarei em detalhes de implementação do pipeline em si, pois esse é um tópico para uma postagem separada. Para simplificar, tudo é organizado da seguinte forma: o áudio é reconhecido em texto, o texto é traduzido em fonemas e um modelo separado verifica se eles correspondem aos sons falados na gravação de áudio.

Privacidade: é claro que não coletamos as gravações propriamente ditas, apenas mantemos estatísticas de erros. Além disso, não precisamos de uma língua inglesa com sotaque forte. Eu mesmo posso gravar isso por horas 😅

Próximos passos

Estou trabalhando continuamente para melhorar o Fluently. Em primeiro lugar, estamos construindo aplicativos para web e dispositivos móveis. Para aumentar significativamente o público potencial do Fluently. E criando exercícios diários como o Duolingo, com base nos seus erros mais comuns. Trata-se de tornar o aprendizado divertido e útil para a rotina diária.

Tem dúvidas ou comentários? Estou aqui para ouvir de você!