忙しい（怠け者）人の英語会話力向上を支援する AI アプリの構築方法

こんにちは、ハッカーの皆さん 👋 私はFluentlyの創設者です。AI を活用して、英語を母国語としないプロフェッショナルが英語を話すスキルを向上させるのに役立つツールを作成した経緯を皆さんにお伝えしたいと思います。ビデオ会議用の Grammarly を想像してみてください。

アイデアの誕生の経緯

私はアメリカに1年以上住んでいて、英語を上級レベルまで上達させました。書籍を含め、ほとんどすべての情報を英語で消費しています。

しかし、それにもかかわらず、Entrepreneur First アクセラレーターに参加しながらロンドンに住んでいたこの 4 か月間、私が言ったことを繰り返すように頼まれることが時々あることに気づきました。彼らの顔を見れば、何も理解していないことがわかりました。それを隠すのは難しいことです。

一番面白い状況は、ラトビアの男性が私に「『vague』は『wagyu』と発音する」と静かに言った時でした。最初の単語は不明瞭または不明瞭という意味で、2番目の単語は日本の牛肉という意味です 😅

要するに、私は英語力を向上させたいという気持ちを改めて感じました。「まあ、地元の人じゃないから、どうせ彼らは理解してくれるだろう」という選択肢は、私にはまったく向いていません。しかし、家庭教師に通うのは大変です。まず、レッスンに時間を割く必要があります。次に、良い家庭教師は高価です。そして、1 時間のレッスン後のフィードバックの量は、1 週間では多くありません。

解決策: 流暢に

ML エンジニアとしての経歴から、私はこう考えるようになりました。「AI がよくある間違いを追跡して強調表示し、修正を手伝ってくれたらどうなるだろう?」私の日常生活に自然に溶け込み、英語を新たなレベルに引き上げてくれる仮想家庭教師のように。これが Fluently の始まりです。

まず、他に興味を持っている人がいるかどうかを調べるために 1 週間を費やすことにしました。そこで、順番待ちリストにサインアップできるランディング ページを作成し、サイト自体では、製品の主な価値を簡単に概説しました。サイトはまだ変更されていません。

それから、このランディング ページを友達に見せて、「ねえ、こんなの見つけたよ」というアプローチで、彼らがどう反応するかを見てみました。驚いたことに、3 分の 2 がアプリに興味を示し、サイトの順番待ちリストに登録しました。残りの人は、英語が得意か、または英語に興味がないかのどちらかでした。

また、私は自分のTelegramチャンネルでFluentlyの短いデモ動画をシェアし、数人の友人がそれを再投稿しました。その結果、200人以上がウェイティングリストに参加しました。これは私にとって、構築を始める大きな兆候でした。

Fluently とは何ですか?

Fluently は、Google Meet や Zoom などのオンライン通話後に即座にフィードバックを提供することで、非ネイティブのプロフェッショナルの英語力向上を支援するために設計された Mac アプリです。通話の直後にヒントを提供してくれるパーソナルコーチがいると想像してみてください。

Fluently を試すには、アプリをダウンロードして、次の簡単な手順に従ってください。

1. アプリを起動: オンライン会議中に英語を話すと Fluently が起動します。
2. フィードバックを得る: 各通話の後に、Fluently はあなたの言語の課題に合わせたフィードバックを提供し、間違いを指摘し、改善を提案します。
3. 進捗状況を追跡: 時間が経つにつれて、どこが上達しているのか、どこがまだ練習が必要なのかがわかります。

Fluently のフィードバックの例を次に示します。

Fluently の主な利点と機能の一部:

• 実際のフィードバック: 教室内だけでなく、実際の通話での間違いを修正するのに役立ちます。
• 楽な学習: 追加の時間は必要ありません。通常の会議から学習するだけです。
• 英語レベル評価: 英語レベルを評価し、最も得意な分野と最も苦手な分野を特定します。
• AI チューター: 通話していないときでも英語の練習が可能です。

技術面

アプリは MacOS 用なので、クライアントは Swift で書くことにしました。Electron を検討することもできましたが、ネイティブ アプリの方が使いやすいです。また、低レベルのものに取り組まなければならない場合、Swift で問題を解決した方が早くなります。

現在、アプリは通話の開始を検出し、ユーザーの音声を小さなチャンクで分析し、サーバー上で処理し始めます。ユーザーの音声のみが分析され、対話者の音声はアプリに聞こえません (ヘッドフォンなしで大声で会話している場合を除く)。

バックエンドは Python で書かれており、ML モデルは PyTorch 上にあります。サーバーはオーディオを受信して発音エラーを検出し、それをアプリに送り返します。

パイプライン自体の実装の詳細については、別の投稿で取り上げるトピックなのでここでは説明しません。簡単に言うと、すべては次のように構成されています。音声がテキストに認識され、テキストが音素に変換され、別のモデルが音声録音で話された音とどれだけ一致しているかをチェックします。

プライバシー:もちろん録音そのものは収集せず、エラーの統計のみを保管しています。それに、強いアクセントの英語のスピーチは必要ありません。自分で何時間でも録音できますよ 😅

次のステップ

私は Fluently の改善に継続的に取り組んでいます。まず、Web アプリとモバイル アプリを構築しています。Fluently の潜在的なユーザーを大幅に増やすためです。そして、最もよくある間違いに基づいて、Duolingo のような毎日の練習問題を作成します。学習を楽しく、毎日のルーチンに役立つものにすることが目的です。

ご質問やご意見がございましたら、お気軽にお問い合わせください。