Xây dựng ứng dụng đánh vần từ đơn giản với ElevenLabs, Streamlit và Claude

Bạn có biết tiếng nói chung có khả năng gì không? Chúng mở ra những khả năng to lớn nào và có bao nhiêu lĩnh vực có thể hưởng lợi từ chúng? Có thể bạn cần một ứng dụng để lồng tiếng cho blog video hoặc sách. Có lẽ bạn muốn làm cho một nhân vật trong trò chơi trở nên sống động bằng cách lồng tiếng chuyên nghiệp. Làm thế nào về việc tạo một ứng dụng cho việc học ngoại ngữ? Hôm nay, đã chuẩn bị một hướng dẫn cho bạn để giúp bạn hiểu rõ hơn về công nghệ giọng nói AI! lablab.ai Hãy đi sâu vào! Giới thiệu Đây là một trong những thời điểm thú vị nhất để phát triển phần mềm, với sự xuất hiện của nhiều công cụ " " khác nhau trên thị trường. Chỉ cần đặt tên cho nó, tạo thư xin việc? Kiểm tra! Tạo thư điện tử? Kiểm tra! Tạo nhận xét mã tự động? Kiểm tra! Ngay cả bên ngoài mã hóa và phát triển phần mềm, khả năng trường hợp sử dụng là rất lớn. AI sáng tạo Giờ đây, chúng ta có thể tạo hình ảnh bằng lời nhắc văn bản với nhiều mô hình tạo hình ảnh khác nhau. Do đó, chúng tôi có thể kết hợp các tài sản được tạo ra trong các sản phẩm khác nhau của mình. Câu hỏi tiếp theo là: còn giọng nói thì sao? Xu hướng trải nghiệm người dùng trong vài năm qua đề cập đến "ra lệnh bằng giọng nói" là một trong những xu hướng mới nổi. Điều tự nhiên là phần mềm chúng tôi xây dựng sẽ kết hợp giọng nói như một trong những tính năng. Đó là lý do tại sao, trong hướng dẫn này, chúng tôi sẽ giới thiệu tính năng " " do cung cấp trong một ứng dụng đơn giản, tạo ra các từ ngẫu nhiên và để nó đánh vần từ đó. Để xây dựng giao diện người dùng cho này, chúng tôi sẽ sử dụng , một thư viện giao diện người dùng mới để chia sẻ các dự án khoa học dữ liệu. Speech Synthesis ElevenLabs ứng dụng dựa trên Python Streamlit Giới thiệu về ElevenLabs là một công ty nghiên cứu công nghệ giọng nói cung cấp giải pháp . Với dễ sử dụng, nó cho phép các nhà phát triển tạo các bài phát biểu chất lượng cao bằng AI. Điều đó có thể thực hiện được nhờ mô hình AI đã được đào tạo trên một lượng lớn sách nói và cả podcast. Quá trình đào tạo cho phép AI mang lại kết quả chất lượng cao và có thể dự đoán được trong quá trình tạo giọng nói. ElevenLabs tổng hợp giọng nói API Có hai tính năng chính mà cung cấp, tính năng đầu tiên là VoiceLab, nơi người dùng có thể sao chép giọng nói từ âm thanh đã ghi và/hoặc giọng nói tạo sẵn hiện có, đồng thời "thiết kế" giọng nói dựa trên giới tính, độ tuổi, dân tộc và chủng tộc. Sau khi người dùng có giọng nói để làm việc, họ có thể chuyển sang tính năng tiếp theo, Tổng hợp giọng nói, nơi họ có thể tạo giọng nói bằng giọng nói được thiết kế hoặc chỉ sử dụng giọng nói được tạo sẵn. ElevenLabs Giới thiệu về Mô hình Claude của Anthropic là mô hình AI mới nhất được phát triển bởi , một tổ chức nghiên cứu AI tập trung vào việc cải thiện khả năng tương tác, sự mạnh mẽ và an toàn của các hệ thống trí tuệ nhân tạo. Claude Anthropic Mô hình được thiết kế để tạo ra các phản hồi giống như con người, làm cho nó trở thành một công cụ mạnh mẽ cho nhiều ứng dụng, từ tạo nội dung, pháp lý đến dịch vụ khách hàng. Cũng giống như bất kỳ nào khác trên thị trường, cũng được đào tạo về nhiều loại văn bản trên internet. Tuy nhiên, không giống như hầu hết các mô hình AI, nó tập trung vào "sự an toàn", điều này cho phép từ chối các đầu ra mà nó cho là "có hại" hoặc "không trung thực" đối với người dùng. Claude mô hình AI Claude Giới thiệu về Streamlit là một thư viện mã nguồn mở giúp các nhà phát triển và nhà khoa học dữ liệu dễ dàng tạo và chia sẻ các ứng dụng web tùy chỉnh và hấp dẫn trực quan. Các nhà phát triển có thể sử dụng để xây dựng và triển khai các ứng dụng khoa học dữ liệu đầy đủ tính năng trong vài phút. Điều này được thực hiện nhờ API đơn giản và trực quan có thể được sử dụng để biến các tập lệnh dữ liệu thành các thành phần giao diện người dùng. Streamlit Python Streamlit điều kiện tiên quyết Kiến thức cơ bản về và bằng Python phát triển giao diện người dùng Streamlit Truy cập vào Anthropic API Truy cập API ElevenLabs Đề cương Đang khởi tạo của chúng tôi Dự án Streamlit Thêm tính năng tạo từ bằng Mô hình Claude Thêm tính năng tạo giọng nói bằng API ElevenLabs Kiểm tra ứng dụng Word Generator Cuộc thảo luận Có ít nhất bốn bước mà chúng ta sẽ thực hiện trong hướng dẫn này. Trước tiên, chúng ta cần khởi tạo dự án dựa trên Streamlit, để có cảm nhận chung về việc phát triển giao diện người dùng bằng Streamlit. Tiếp theo, chúng tôi bắt đầu thêm nhiều tính năng hơn, bắt đầu với lời nhắc kỹ thuật để lấy mô hình cung cấp cho chúng tôi một từ ngẫu nhiên thường bị viết sai chính tả. Sau đó, chúng tôi sẽ thêm tính năng tạo văn bản thành giọng nói do cung cấp để minh họa cách mô hình đa ngôn ngữ đánh vần các từ. Cuối cùng, chúng ta sẽ thử nghiệm ứng dụng đơn giản. Claude ElevenLabs Đang khởi tạo Dự án Streamlit của chúng tôi Hãy bắt tay vào hành động mã hóa! Trước tiên, hãy tạo một thư mục cho dự án của chúng ta và nhập nó vào! mkdir randomwords cd randomwords Tiếp theo, chúng ta sẽ sử dụng thư mục này làm cơ sở cho dự án của mình. Vì dự án về cơ bản là một dự án nên chúng ta cần thực hiện một số bước để khởi tạo dự án , chẳng hạn như xác định và kích hoạt môi trường ảo của chúng ta. Streamlit Streamlit Python Python # Creating the virtual environment python -m venv env # Activate the virtual environment # On Linux/Mac source env/bin/activate # On Windows: .\env\Scripts\activate Sau khi được kích hoạt, đầu ra của thiết bị đầu cuối của chúng tôi sẽ hiển thị tên của môi trường ảo (env), như vậy: Tiếp theo, đã đến lúc cài đặt các thư viện chúng ta cần cho dự án này! hãy sử dụng lệnh để cài đặt thư viện , và . Lưu ý rằng chúng tôi cũng cài đặt thư viện bị khóa phiên bản để ngăn lỗi liên quan đến Pydantic ở một trong các chức năng . pip streamlit anthropic elevenlabs pydantic elevenlabs pip install streamlit anthropic elevenlabs "pydantic==1.*" Với tất cả các yêu cầu của dự án, bây giờ chúng ta hãy đi sâu vào phần mã hóa! Tạo một tệp mới bên trong thư mục dự án của chúng tôi, hãy gọi nó là . randomwords_app.py touch randomwords_app.py Sau khi tệp được tạo, hãy mở tệp trong trình chỉnh sửa mã yêu thích của chúng tôi hoặc môi trường phát triển tích hợp (IDE). Để bắt đầu, hãy xây dựng ứng dụng đơn giản của chúng ta từ những phần đơn giản nhất có thể, tiêu đề và văn bản cho chú thích! import streamlit as st st.title("Random Words Generator") st.text("Hello, this is a random words generator app") Để kết thúc phần khởi tạo dự án của chúng ta, hãy thử chạy thử ứng dụng. Đảm bảo rằng thư mục làm việc hiện tại của chúng tôi vẫn nằm trong dự án của chúng tôi và môi trường ảo của chúng tôi đã được kích hoạt. Khi mọi thứ đã sẵn sàng, hãy sử dụng để chạy ứng dụng. streamlit run streamlit run randomwords_app.py Ứng dụng sẽ tự động mở trong trình duyệt mặc định của chúng tôi! bây giờ nó sẽ hiển thị tiêu đề và văn bản. Tiếp theo, chúng tôi sẽ thêm tính năng tạo từ ngẫu nhiên bằng mô hình . Claude của Anthropic Tuy nhiên, một điều cuối cùng, chúng tôi sẽ phải cung cấp cho ứng dụng của mình các khóa API cho các dịch vụ mà chúng tôi sẽ sử dụng, cụ thể là mô hình và tính năng . Vì các khóa này được coi là nhạy cảm nên chúng ta nên giữ chúng ở nơi an toàn và biệt lập. Claude của Anthropic Tổng hợp giọng nói của ElevenLabs Tuy nhiên, lần này chúng tôi không lưu trữ chúng trong tệp . Điều này là do Streamlit xử lý các biến môi trường theo cách khác. Theo , chúng ta cần tạo một tệp cấu hình bí mật bên trong thư mục . Chúng ta có thể tạo thư mục bên trong dự án của mình và sau đó tạo tệp. .env tài liệu .streamlit mkdir .streamlit touch .streamlit/secrets.toml Hãy chỉnh sửa tệp TOML mà chúng tôi đã tạo, lưu ý rằng tệp TOML sử dụng định dạng khác với tệp thông thường. .env xi_api_key = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxx" claude_key = "sk-ant-xxxxxxxxxxxxxxxxxxxxxxxxxxxxx" Thêm tính năng tạo từ bằng Mô hình Claude Trong bước này, chúng tôi sẽ thêm một nút sẽ tạo từ ngẫu nhiên, phần tử tiêu đề để hiển thị từ được tạo và tiêu đề phụ để hiển thị nghĩa của từ. Tuy nhiên, xuất phát từ nền tảng webdev, tôi thực sự tin rằng các phần tử giao diện người dùng nên được đặt và sắp xếp bên trong các thùng chứa. Vì vậy, chúng tôi sẽ làm chính xác điều đó. Nhập các thư viện cần thiết Trước hết, hãy thêm một số câu lệnh nhập. Chúng tôi sẽ nhập thư viện để tạo các từ ngẫu nhiên của chúng tôi. anthropic import streamlit as st import anthropic Sau đó, trước khi đến phần giao diện người dùng, trước tiên hãy tạo chức năng tạo từ. Xác định chức năng tạo từ def generate_word(): prompt = (f"{anthropic.HUMAN_PROMPT} Give me one non-English word that's commonly misspelled and the meaning. Please strictly follow the format! example: Word: Schadenfreude; Meaning: joy at other's expenses." f"{anthropic.AI_PROMPT} Word: Karaoke; Meaning: a form of entertainment where people sing popular songs over pre-recorded backing tracks." f"{anthropic.HUMAN_PROMPT} Great! just like that. Remember, only respond following the pattern.") c = anthropic.Anthropic(api_key=st.secrets["claude_key"]) resp = c.completions.create( prompt=f"{prompt} {anthropic.AI_PROMPT}", stop_sequences=[anthropic.HUMAN_PROMPT], model="claude-v1.3-100k", max_tokens_to_sample=900, ) print(resp.completion) return resp.completion Trong chức năng này, công việc nâng vật nặng nhất được thực hiện bởi ** **l (Cảm ơn, ! 😉). Tuy nhiên, phần của chúng ta trong chức năng này là làm thế nào để Claude trả về định dạng chính xác một cách nhất quán. Vì vậy, chúng tôi cần vừa hướng dẫn "tuân thủ nghiêm ngặt định dạng" vừa đưa ra phản hồi ví dụ bằng cách thêm nó sau lời nhắc ban đầu của chúng tôi. chế độ Claude của Anthropic Claude Claude Cuối cùng, chúng tôi đảm bảo rằng Claude tuân thủ các thỏa thuận của chúng tôi bằng cách yêu cầu nó "Hãy nhớ chỉ trả lời theo mẫu". Hàm kết thúc bằng cách trả về phản hồi từ . Claude Tiếp theo, hãy quay lại chỉnh sửa giao diện người dùng! Cập nhật giao diện người dùng st.title("Random Words Generator") with st.container(): st.header("Random Word") random_word = st.subheader("-") word_meaning = st.text("Meaning: -") st.write("Click the `Generate` button to generate new word") if st.button("Generate"): result = generate_word() # Split the string on the semicolon split_string = result.split(";") # Split the first part on ": " to get the word word = split_string[0].split(": ")[1] # Split the second part on ": " to get the meaning meaning = split_string[1].split(": ")[1] print(f"word result: {word}") random_word.subheader(word) word_meaning.text(f"Meaning: {meaning}") Lần này, chúng tôi đã thêm một thùng chứa với một số yếu tố bên trong nó. Tiêu đề, tiêu đề phụ để hiển thị từ ngẫu nhiên và thành phần văn bản để hiển thị nghĩa của từ. Chúng tôi cũng có một văn bản để hiển thị gợi ý về cách sử dụng ứng dụng, cũng như một nút bên dưới nó. Trong , chúng ta có thể khai báo trình xử lý sự kiện nhấp bằng cách sử dụng câu lệnh có điều kiện, trong đó nó trả về khi nút được nhấp. Trong mã này, chúng tôi gọi hàm trả về từ được tạo và nghĩa, đồng thời chia kết quả thành các biến riêng biệt tương ứng cho từ và nghĩa. Cuối cùng, chúng tôi cập nhật tiêu đề phụ và thành phần văn bản để hiển thị từ và nghĩa. Streamlit True generate_word() Hình thức cuối cùng Hãy kiểm tra lại mã của chúng tôi một lần nữa! Nó phải chứa các câu lệnh nhập, hàm tạo từ ngẫu nhiên và giao diện người dùng được cập nhật chứa tiêu đề phụ và các thành phần văn bản cũng như nút tạo từ bằng cách gọi hàm . generate_word() import streamlit as st import anthropic def generate_word(): prompt = (f"{anthropic.HUMAN_PROMPT} Give me one non-English word that's commonly misspelled and the meaning. Please strictly follow the format! example: Word: Schadenfreude; Meaning: joy at other's expenses." f"{anthropic.AI_PROMPT} Word: Karaoke; Meaning: a form of entertainment where people sing popular songs over pre-recorded backing tracks." f"{anthropic.HUMAN_PROMPT} Great! just like that. Remember, only respond following the pattern.") c = anthropic.Anthropic(api_key=st.secrets["claude_key"]) resp = c.completions.create( prompt=f"{prompt} {anthropic.AI_PROMPT}", stop_sequences=[anthropic.HUMAN_PROMPT], model="claude-v1.3-100k", max_tokens_to_sample=900, ) print(resp.completion) return resp.completion st.title("Random Words Generator") with st.container(): st.header("Random Word") random_word = st.subheader("-") word_meaning = st.text("Meaning: -") st.write("Click the `Generate` button to generate new word") if st.button("Generate"): result = generate_word() # Split the string on the semicolon split_string = result.split(";") # Split the first part on ": " to get the word word = split_string[0].split(": ")[1] # Split the second part on ": " to get the meaning meaning = split_string[1].split(": ")[1] print(f"word result: {word}") random_word.subheader(word) word_meaning.text(f"Meaning: {meaning}") Kiểm tra chức năng tạo từ Hãy chạy lại ứng dụng với lệnh tương tự. Chúng tôi cũng có thể chạy lại ứng dụng bằng cách nhấp vào menu phía trên bên phải và nhấp vào " " nếu chúng tôi đã chạy ứng dụng trước đó. Chạy lại Nó sẽ hiển thị giao diện người dùng được cập nhật này. Bây giờ, hãy thử nhấp vào nút ! Generate Một trong những điều thú vị về Streamlit là nó xử lý tải và cung cấp chỉ báo tải ngay lập tức. Chúng ta sẽ thấy chỉ báo ở góc trên bên phải, cũng như tùy chọn " " hoạt động. Gọn gàng nhỉ? dừng Sau vài giây, kết quả sẽ được hiển thị trong giao diện người dùng. Hoàn hảo! lưu ý rằng ứng dụng đã phân tách chính xác văn bản được tạo từ mô hình thành từ và nghĩa. Tuy nhiên, nếu kết quả không xuất hiện theo định dạng mong đợi, chúng tôi luôn có thể nhấp lại vào nút . Claude Generate Bước tiếp theo là tính năng chính của ứng dụng này, để kết hợp tạo giọng nói vào trình tạo từ ngẫu nhiên của chúng tôi. Bên cạnh việc minh họa cách tạo tệp âm thanh bằng API do ElevenLabs cung cấp, bước này còn nhằm minh họa các khả năng của mô hình đa ngôn ngữ của ElevenLabs. Thêm tính năng tạo giọng nói bằng API ElevenLabs Bước đầu tiên của phần này, như bạn có thể đoán, là thêm nhiều câu lệnh nhập hơn! Vì vậy, hãy thêm một số hàm từ mà chúng ta sẽ sử dụng cho tính năng tạo giọng nói. elevenlabs import streamlit as st import anthropic ++ from elevenlabs import generate, set_api_key Tiếp theo, chúng ta sẽ định nghĩa hàm để xử lý việc tạo giọng nói. def generate_speech(word): set_api_key(st.secrets['xi_api_key']) audio = generate( text=word, voice="Bella", model='eleven_multilingual_v1' ) return audio Nhờ tính đơn giản và dễ đọc của cũng như API dễ sử dụng , chúng tôi có thể tạo bài phát biểu chỉ bằng cách sử dụng mã này! Hàm chấp nhận từ ngẫu nhiên mà chúng tôi sử dụng để tạo bài phát biểu. Chúng tôi cũng đặc biệt sử dụng mô hình "eleven_multilingual_v1", một mô hình đa ngôn ngữ, hoàn hảo cho trường hợp sử dụng của chúng tôi để chứng minh chính tả và cách phát âm của các từ nước ngoài và từ thường bị viết sai chính tả! Cuối cùng, chúng tôi sử dụng giọng nói " " cho hướng dẫn này, đây là một trong những giọng nói được tạo sẵn do cung cấp. Python của ElevenLabs Bella ElevenLabs Tiếp theo, chúng tôi sẽ thêm trình phát âm thanh để phát bài phát biểu đã tạo. print(f"word result: {word}") random_word.subheader(word) word_meaning.text(f"Meaning: {meaning}") ++ speech = generate_speech(word) ++ st.audio(speech, format='audio/mpeg') Ngay bên dưới mã mới nhất của chúng tôi từ trước đó, chúng tôi thêm biến để lưu bài phát biểu được tạo và chạy bài phát biểu bằng trình phát âm thanh được cung cấp bởi chức năng từ Streamlit. Tại thời điểm này, ứng dụng của chúng ta sẽ hoạt động như mong đợi, chỉ hiển thị trình phát âm thanh khi có sẵn một từ ngẫu nhiên để "đọc". st.audio Tò mò làm thế nào nó hoạt động ra? Tôi cũng vậy! hãy kiểm tra ứng dụng ngay bây giờ! Kiểm tra tính năng chính tả từ Hãy chạy lại ứng dụng bằng cách sử dụng hoặc chỉ chạy lại ứng dụng nếu chúng ta đã chạy ứng dụng đó. Nó sẽ trông giống hệt như lần trước chúng ta rời khỏi nó. Tuy nhiên, lần này chúng ta hãy thử nhấp vào nút "Tạo"! streamlit run Tuyệt vời! lần này, ứng dụng cũng hiển thị trình phát âm thanh! Hãy thử chơi nó. Sử dụng mô hình đa ngôn ngữ, lời nói được tạo nên sử dụng trọng âm và ngữ điệu gần với ngôn ngữ gốc của từ đó. Ví dụ: "doanh nhân" nên được phát âm theo giọng Pháp. Phần kết luận Trong hướng dẫn ngắn này, hy vọng chúng ta đã khám phá các khả năng của công nghệ tạo giọng nói do cung cấp. Với mô hình đa ngôn ngữ, thật dễ dàng để tạo các bài phát biểu dành cho người nghe không phải tiếng Anh. Trong trường hợp sử dụng của chúng tôi, chúng tôi cần mô hình đa ngôn ngữ để hỗ trợ chúng tôi tìm cách phát âm và đánh vần chính xác các từ không phải tiếng Anh thường bị viết sai chính tả. ElevenLabs Với rất nhiều ý tưởng, chúng tôi mời các nhà phát triển tham gia cùng chúng tôi để tạo ra tương lai! , đã trong đó bạn có thể tạo ứng dụng AI bằng giọng nói của riêng mình với các mẫu ! (Ngoài ra, bạn có thể tận dụng các mô hình AI khác như mô hình ngôn ngữ lớn, mô hình tạo hình ảnh và video, v.v., miễn là chúng không cạnh tranh trực tiếp với công nghệ hackathon). Vào ngày 28 tháng 7 lablab.ai khởi động một thử thách của ElevenLabs *Your final submission should consist of a ready-to-play working prototype of your idea, a video pitch, and a presentation showcasing your solution. Bạn có thể tìm thêm hướng dẫn và bạn có thể các hackathon khác để xây dựng bằng các công nghệ tiên tiến! TẠI ĐÂY THAM GIA Và xin chân thành cảm ơn - Tác giả của bài viết này. 💚 Septian Adi Nugraha