바쁜(게으른) 사람들의 영어 말하기 능력 향상을 돕기 위해 AI 앱을 구축한 방법

안녕하세요 해커 여러분 👋 저는 Fluently 의 창립자입니다. 비원어민 전문가가 AI를 통해 영어 말하기 능력을 향상시키는 데 도움이 되는 도구를 만드는 여정을 공유하고 싶습니다. 문법적으로 생각하세요. 하지만 화상 회의의 경우입니다.

아이디어가 어떻게 나왔는지

저는 미국에서 1년 넘게 살면서 영어 실력을 고급 수준으로 향상시켰습니다. 나는 영어로 된 책을 포함하여 거의 모든 정보를 소비합니다.

그러나 그럼에도 불구하고 Entrepreneur First 액셀러레이터에 참석하면서 런던에 거주한 지난 4개월 동안 나는 때때로 사람들이 내가 말한 것을 반복해달라고 요청하는 것을 발견했습니다. 나는 그들의 얼굴에서 그들이 아무것도 이해하지 못한다는 것을 보았습니다. 숨기기가 어렵습니다.

가장 웃긴 상황은 라트비아에서 온 한 남자가 조용히 나에게 "당신은 '모호함'을 '와규'로 발음해요."라고 말했을 때 일어났습니다. 첫 번째 단어는 불분명하거나 불분명하다는 의미이고 두 번째 단어는 일본 쇠고기입니다 😅

한마디로 나는 다시 한번 영어 실력을 향상시키고 싶은 마음을 느꼈다. "아 뭐, 어차피 이해하겠지만 난 현지인이 아니야"라는 선택은 나에게 전혀 적합하지 않습니다. 하지만 튜터를 찾아가는 것은 어렵습니다. 첫째, 수업 시간을 할당해야합니다. 둘째, 좋은 강사는 비싸다. 셋째, 1시간 수업 후 피드백의 양이 일주일 동안 많지 않습니다.

해결책: 유창하게

ML 엔지니어로서의 경력을 통해 AI가 나의 일반적인 실수를 추적하고 강조 표시하고 이를 수정하는 데 도움을 줄 수 있다면 어떨까라는 생각을 갖게 되었습니다. 내 일상에 유기적으로 적응하고 내 영어를 새로운 수준으로 끌어올려주는 가상 교사와 같습니다. Fluently는 그렇게 시작되었습니다.

우선, 다른 사람이 관심이 있는지 알아보기 위해 일주일을 보내기로 결정했습니다. 그래서 대기자 명단에 등록할 수 있는 랜딩 페이지를 구성했고, 사이트 자체에는 제품의 주요 가치를 간단하게 설명했습니다. 아직 사이트가 바뀌지 않았습니다.

그런 다음 "야, 내가 뭘 찾았는지 봐"라는 접근 방식으로 친구들에게 이 랜딩 페이지를 보여주고 그들이 어떻게 반응하는지 살펴보았습니다. 놀랍게도 2/3가 앱에 관심을 보이고 사이트 대기자 명단에 등록했습니다. 나머지는 영어 실력이 좋거나 상관하지 않습니다.

또한 저는 Telegram 채널에 Fluently의 짧은 데모 비디오를 공유했고 몇몇 친구들이 이를 다시 게시했습니다. 그 결과 대기자 명단에 200명 이상이 합류했다. 그것은 제가 건축을 시작하게 된 큰 신호였습니다!

이제 Fluently란 무엇인가요?

Fluently는 Google Meet 또는 Zoom과 같은 온라인 통화 후 즉각적인 피드백을 제공하여 영어가 모국어가 아닌 전문가의 영어 실력을 향상시킬 수 있도록 설계된 Mac 앱입니다. 각 통화 직후에 팁을 제공하는 개인 코치가 있다고 상상해 보십시오.

Fluently를 사용해 보려면 앱을 다운로드하고 다음의 간단한 단계를 따르세요.

1. 앱 시작: 온라인 회의 중 영어로 말하면 유창하게 활성화됩니다.
2. 피드백 받기: 각 통화 후 Fluently는 언어 문제에 맞는 피드백을 제공하고 실수를 지적하고 개선 사항을 제안합니다.
3. 진행 상황 추적: 시간이 지남에 따라 개선되고 있는 부분과 아직 연습이 필요한 부분을 확인할 수 있습니다.

다음은 Fluently 피드백의 예입니다.

Fluently의 주요 이점 및 기능은 다음과 같습니다.

• 실제 피드백: 강의실뿐만 아니라 실제 통화에서 실수를 수정하는 데 도움이 됩니다.
• 간편한 학습: 추가 시간이 필요하지 않습니다. 평소 회의에서 학습하면 됩니다.
• 영어 수준 평가: 귀하의 영어 수준을 평가하고 가장 강한 부분과 가장 약한 부분을 식별합니다.
• AI Tutor: 통화 중이 아닐 때도 영어 연습이 가능합니다.

기술 측면

이 앱은 MacOS용이므로 클라이언트를 Swift로 작성하기로 결정했습니다. Electron을 살펴볼 수도 있었지만 기본 앱은 항상 더 나은 느낌을 줍니다. 그리고 낮은 수준의 작업을 수행해야 하는 경우 Swift에서 문제를 해결하는 것이 더 빠를 것입니다.

현재 앱은 통화 시작을 감지하고 사용자의 오디오를 작은 단위로 분석하기 시작하여 서버에서 처리합니다. 사용자의 음성만 분석되며 대화 상대의 음성은 앱에서 들리지도 않습니다(헤드폰 없이 큰 소리로 대화하는 경우는 제외).

백엔드는 Python으로 작성되었으며 ML 모델은 PyTorch에 있습니다. 서버는 오디오를 수신하고 발음 오류를 감지하여 앱으로 다시 전송합니다.

파이프라인 자체의 구현 세부 사항은 별도 게시물의 주제이므로 다루지 않겠습니다. 단순화하기 위해 모든 것이 다음과 같이 배열됩니다. 오디오는 텍스트로 인식되고, 텍스트는 음소로 번역되며, 별도의 모델은 오디오 녹음에서 말하는 소리와 얼마나 잘 일치하는지 확인합니다.

개인 정보 보호: 물론 녹음 자체를 수집하지는 않으며 오류에 대한 통계만 유지합니다. 게다가 억양이 강한 영어도 필요하지 않습니다. 몇 시간 동안 직접 녹음할 수 있어요 😅

다음 단계

저는 Fluently를 개선하기 위해 지속적으로 노력하고 있습니다. 우선 웹과 모바일 앱을 구축하고 있습니다. Fluently의 잠재 고객을 크게 늘리는 것입니다. 그리고 가장 흔한 실수를 바탕으로 듀오링고와 같은 일일 연습 문제를 만들어보세요. 학습을 재미있고 일상생활에 유용하게 만드는 것입니다.

질문이나 피드백이 있나요? 나는 당신의 의견을 듣기 위해 여기에 있습니다!