Cách tôi xây dựng ứng dụng AI để giúp những người bận rộn (lười biếng) cải thiện kỹ năng nói tiếng Anh

Này các hacker 👋 Tôi là người sáng lập Fluently và tôi muốn chia sẻ hành trình tạo ra một công cụ giúp các chuyên gia không phải người bản xứ cải thiện kỹ năng nói tiếng Anh của họ bằng AI. Hãy nghĩ về ngữ pháp, nhưng dành cho hội nghị truyền hình.

Ý tưởng xuất hiện như thế nào

Tôi đã sống ở Hoa Kỳ hơn một năm và đã cải thiện tiếng Anh của mình lên trình độ nâng cao. Tôi sử dụng hầu hết mọi thông tin, kể cả sách bằng tiếng Anh.

Nhưng bất chấp điều này, trong 4 tháng cuối cùng sống ở London khi tham dự chương trình tăng tốc Doanh nhân đầu tiên, tôi nhận thấy rằng đôi khi mọi người vẫn yêu cầu tôi nhắc lại những gì tôi đã nói. Tôi thấy trên mặt họ là họ không hiểu gì cả. Điều đó thật khó để che giấu.

Tình huống hài hước nhất xảy ra khi một anh chàng đến từ Latvia nói nhỏ với tôi: "Em phát âm 'mơ hồ' thành 'wagyu' đấy." Từ đầu tiên có nghĩa là không rõ ràng hoặc không rõ ràng, còn từ thứ hai là thịt bò Nhật Bản 😅

Tóm lại, một lần nữa tôi lại cảm thấy mong muốn cải thiện khả năng tiếng Anh của mình. Lựa chọn "ồ, dù sao họ cũng sẽ hiểu, tôi không phải người địa phương" không phù hợp với tôi chút nào. Tuy nhiên, việc đi tìm gia sư là điều khó khăn. Đầu tiên, bạn cần phân bổ thời gian cho các bài học. Thứ hai, gia sư tốt thì đắt tiền. Thứ ba, lượng phản hồi sau một giờ học không nhiều trong một tuần.

Giải pháp: trôi chảy

Nền tảng kỹ sư ML của tôi khiến tôi suy nghĩ: Điều gì sẽ xảy ra nếu AI có thể theo dõi và nêu bật những lỗi phổ biến của tôi và hỗ trợ tôi sửa chúng? Giống như một gia sư ảo phù hợp với thói quen hàng ngày của tôi và đưa tiếng Anh của tôi lên một tầm cao mới. Đó là cách Fluently bắt đầu.

Trước hết, tôi quyết định dành một tuần để xem có ai quan tâm không. Vì vậy, tôi đã tập hợp một trang đích nơi bạn có thể đăng ký danh sách chờ và trên chính trang web đó, tôi chỉ phác thảo các giá trị chính của sản phẩm. Trang web vẫn chưa thay đổi.

Sau đó, tôi đưa trang đích này cho bạn bè xem với cách tiếp cận "này, nhìn xem tôi tìm thấy gì này" để xem họ sẽ phản ứng thế nào. Điều ngạc nhiên là 2/3 tỏ ra thích thú với ứng dụng và đăng ký vào danh sách chờ trên trang web. Số còn lại hoặc có trình độ tiếng Anh tốt hoặc không quan tâm.

Ngoài ra, tôi đã chia sẻ một đoạn video demo ngắn về Fluently trên kênh Telegram của mình và một số người bạn đã đăng lại nó. Kết quả là hơn 200 người đã tham gia vào danh sách chờ. Đó là một dấu hiệu lớn để tôi bắt đầu xây dựng!

Fluently bây giờ là gì?

Fluently là một ứng dụng dành cho máy Mac được thiết kế để giúp các chuyên gia không phải người bản xứ cải thiện tiếng Anh của họ bằng cách đưa ra phản hồi tức thì sau các cuộc gọi trực tuyến, chẳng hạn như các cuộc gọi trên Google Meet hoặc Zoom. Hãy tưởng tượng rằng bạn có một huấn luyện viên cá nhân đưa ra lời khuyên ngay sau mỗi cuộc gọi.

Để dùng thử Fluently, hãy tải xuống ứng dụng và làm theo các bước đơn giản sau:

1. Khởi động ứng dụng: Kích hoạt trôi chảy khi bạn nói tiếng Anh trong các cuộc họp trực tuyến.
2. Nhận phản hồi: Sau mỗi cuộc gọi, Fluently cung cấp phản hồi phù hợp với những thách thức về ngôn ngữ của bạn, chỉ ra những lỗi sai và đề xuất cải tiến.
3. Theo dõi tiến độ: Theo thời gian, bạn có thể thấy mình đang tiến bộ ở đâu và bạn vẫn cần luyện tập ở đâu.

Dưới đây là ví dụ về phản hồi Fluently:

Một số lợi ích và tính năng chính của Fluently:

• Phản hồi thực tế: Giúp sửa lỗi từ các cuộc gọi thực tế, không chỉ trong lớp học.
• Học tập dễ dàng: Không cần thêm thời gian – chỉ cần học hỏi từ các cuộc họp thông thường của bạn.
• Đánh giá trình độ tiếng Anh: Đánh giá trình độ tiếng Anh của bạn và xác định các lĩnh vực mạnh nhất và yếu nhất của bạn.
• AI Tutor: Cho phép thực hành tiếng Anh ngay cả khi bạn không tham gia cuộc gọi.

Mặt công nghệ

Vì ứng dụng này dành cho MacOS nên tôi quyết định viết ứng dụng khách này bằng Swift. Chúng tôi có thể đã xem xét Electron, nhưng các ứng dụng gốc luôn mang lại cảm giác tốt hơn. Và nếu chúng ta phải đi sâu vào thứ gì đó ở cấp độ thấp, việc giải quyết các vấn đề trong Swift sẽ nhanh hơn.

Hiện tại, ứng dụng phát hiện việc bắt đầu cuộc gọi và bắt đầu phân tích âm thanh của người dùng theo từng đoạn nhỏ, xử lý chúng trên máy chủ. Chỉ có lời nói của người dùng mới được phân tích và ứng dụng thậm chí không nghe thấy lời nói của người đối thoại (ngoại trừ một số trường hợp trò chuyện lớn mà không có tai nghe).

Phần phụ trợ được viết bằng Python và các mô hình ML có trên PyTorch. Máy chủ nhận âm thanh và phát hiện lỗi phát âm, lỗi này sẽ được gửi lại cho ứng dụng.

Tôi sẽ không đi sâu vào chi tiết triển khai của chính quy trình vì đó là chủ đề cho một bài đăng riêng. Để đơn giản hóa, mọi thứ được sắp xếp như sau: âm thanh được nhận dạng thành văn bản, văn bản được dịch thành âm vị và một mô hình riêng biệt sẽ kiểm tra xem chúng có khớp với âm thanh được nói trong bản ghi âm hay không.

Quyền riêng tư: tất nhiên chúng tôi không tự thu thập các bản ghi âm mà chỉ lưu giữ số liệu thống kê về lỗi. Ngoài ra, chúng ta không cần bài phát biểu tiếng Anh có giọng nặng. Tôi có thể tự mình ghi lại điều đó hàng giờ 😅

Bước tiếp theo

Tôi liên tục làm việc để cải thiện một cách trôi chảy. Trước hết, chúng tôi đang xây dựng các ứng dụng web và di động. Để tăng đáng kể lượng khán giả tiềm năng thông thạo. Và tạo các bài tập hàng ngày như Duolingo, dựa trên những lỗi phổ biến nhất của bạn. Đó là về việc làm cho việc học trở nên thú vị và hữu ích cho thói quen hàng ngày.

Có câu hỏi hoặc phản hồi? Tôi ở đây để nghe ý kiến của bạn!