Как я создал приложение с искусственным интеллектом, чтобы помочь занятым (ленивым) людям улучшить навыки разговорной речи на английском языке

Привет, хакеры 👋 Я основатель Fluily и хочу поделиться своим опытом создания инструмента, который помогает профессионалам, не являющимся носителями языка, улучшить свои навыки разговорной речи с помощью искусственного интеллекта. Подумайте о Grammarly, но для видеоконференций.

Как возникла идея

Я прожил в Штатах больше года, где улучшил свой английский до продвинутого уровня. Я потребляю почти всю информацию, включая книги на английском языке.

Но несмотря на это, за последние 4 месяца жизни в Лондоне во время обучения в акселераторе Entrepreneur First я заметил, что иногда люди все равно просят меня повторить сказанное. Я видел по их лицам, что они ничего не понимают. Это трудно скрыть.

Самая смешная ситуация случилась, когда парень из Латвии тихо сказал мне: «Ты произносишь слово «неопределенно» как «вагю». Первое слово означает неясно или невнятно, а второе — японская говядина 😅

Короче говоря, я в очередной раз почувствовал желание улучшить свой английский. Вариант «ну ладно, все равно поймут, я не местный» меня совершенно не устраивает. Однако ходить к репетиторам сложно. Во-первых, нужно выделить время на уроки. Во-вторых, хорошие репетиторы стоят дорого. В-третьих, количество обратной связи после часового занятия невелико для недели.

Решение: свободно

Мой опыт работы инженером машинного обучения заставил меня задуматься: а что, если ИИ сможет отслеживать и выделять мои типичные ошибки и помогать мне их исправлять? Как виртуальный репетитор, который органично вписывается в мою повседневную жизнь и выводит мой английский на новый уровень. Вот так и началось Flually.

Прежде всего, я решил потратить неделю на то, чтобы узнать, интересно ли это кому-нибудь еще. Поэтому я собрал лендинг, на котором можно записаться в лист ожидания, а на самом сайте просто изложил основные ценности продукта. Сайт еще не изменился.

Затем я показал эту целевую страницу своим друзьям с подходом «эй, посмотрите, что я нашел», чтобы посмотреть, как они отреагируют. Удивительно, но 2/3 проявили интерес к приложению и записались в список ожидания на сайте. Остальные либо хорошо знают английский, либо им все равно.

Также я поделился коротким демонстрационным видео Fluency на своем канале в Telegram, и несколько друзей репостнули его. В результате к листу ожидания присоединились более 200 человек. Для меня это был большой знак начать строить!

Что такое Flulyly сейчас?

Fluency — это приложение для Mac, созданное для того, чтобы помочь профессионалам, не являющимся носителями языка, улучшить свой английский, предоставляя мгновенную обратную связь после онлайн-звонков, например, в Google Meet или Zoom. Представьте, что у вас есть личный тренер, который дает советы сразу после каждого звонка.

Чтобы попробовать Fluently, загрузите приложение и выполните следующие простые шаги:

1. Запустите приложение: «Свободно» активируется, когда вы говорите по-английски во время онлайн-встреч.
2. Получите обратную связь: после каждого звонка Fluency предоставляет обратную связь с учетом ваших языковых проблем, указывая на ошибки и предлагая улучшения.
3. Отслеживайте прогресс. Со временем вы сможете увидеть, где вы улучшаете свои навыки, а где вам еще нужна практика.

Вот пример обратной связи Fluily:

Некоторые из ключевых преимуществ и функций Fluently:

• Обратная связь из реальной жизни: помогает исправлять ошибки во время реальных звонков, а не только в классе.
• Обучение без усилий: дополнительное время не требуется — просто учитесь на обычных встречах.
• Оценка уровня английского языка: оценивает ваш уровень английского языка и определяет ваши сильные и слабые стороны.
• AI Tutor: позволяет практиковать английский, даже когда вы не разговариваете по телефону.

Техническая сторона

Поскольку приложение предназначено для MacOS, я решил написать клиент на Swift. Мы могли бы посмотреть на Electron, но нативные приложения всегда кажутся лучше. А если придется погрузиться во что-то низкоуровневое, быстрее будет решать вопросы в Swift.

В настоящее время приложение обнаруживает начало звонка и начинает анализировать звук пользователя небольшими порциями, обрабатывая их на сервере. Анализируется только речь пользователя, а речь собеседника приложение даже не слышит (за исключением некоторых случаев громких разговоров без наушников).

Бэкэнд написан на Python, а модели ML — на PyTorch. Сервер получает аудио и обнаруживает ошибки произношения, которые отправляются обратно в приложение.

Я не буду вдаваться в подробности реализации самого конвейера, это тема для отдельного поста. Если упростить, то все устроено так: звук распознается в текст, текст переводится в фонемы, и отдельная модель проверяет, насколько они соответствуют звукам, произнесенным в аудиозаписи.

Конфиденциальность: мы, конечно, не собираем сами записи, а лишь ведем статистику ошибок. Кроме того, нам не нужна английская речь с сильным акцентом. Я сама могу это часами записывать 😅

Следующие шаги

Я постоянно работаю над улучшением свободно. Прежде всего, мы создаем веб- и мобильные приложения. Значительно увеличить потенциальную аудиторию. И создавать ежедневные упражнения, такие как Duolingo, на основе ваших наиболее частых ошибок. Речь идет о том, чтобы сделать обучение увлекательным и полезным для повседневной жизни.

Есть вопросы или отзывы? Я здесь, чтобы услышать ваше мнение!