Trang web được điều khiển bằng giọng nói với AI được nhúng trong Chrome

Giới thiệu

Xem trước sớm API nhắc nhở của Chrome.

Gần đây tôi đã được mời tham gia chương trình xem trước sớm dành cho AI tích hợp trong Chrome (API nhắc nhở). AI tích hợp là công việc khám phá những gì có khả năng sẽ trở thành tiêu chuẩn trên nhiều trình duyệt cho AI nhúng. Nó tận dụng Gemini Nano trên thiết bị, nghĩa là nó được tích hợp vào trình duyệt web của bạn và quá trình tạo LLM diễn ra trong môi trường trình duyệt cục bộ của bạn.

Những lợi ích

Tốt, Dễ, Nhanh và Miễn phí.

Có ba lý do chính để chúng tôi muốn nhúng AI cho trình duyệt của mình. Tốc độ, chi phí và khả năng sử dụng. Là một API trình duyệt gốc, nó rất dễ sử dụng. Việc truy cập API nhắc nhở cũng đơn giản như hai dòng mã này.

 const session = await window.ai.createTextSession(); const result = await session.prompt( "Tyingshoelaces.com are writing a really cool blog about you. What do you think about that then?" );

Không thể dễ dàng hơn để nhận được kết quả Generative AI khi chúng ta cần chúng trên trình duyệt. Tôi đã chạy một số thử nghiệm để kiểm tra thời gian thực hiện. Mặc dù tôi thất vọng vì chúng tôi bị giới hạn trong một phiên duy nhất (không có phiên đồng thời), nhưng hiệu suất tạo văn bản dài phức tạp vẫn rất tốt.

Hãy nhớ rằng, cũng không có độ trễ, vì vậy thời gian thực hiện theo đúng nghĩa đen là từ mili giây mà chúng tôi thực hiện yêu cầu trong trình duyệt cho đến việc sử dụng kết quả trong mã của chúng tôi.

 VM975:32 Execution Time 1: 0h 0m 3s 47ms VM975:32 Execution Time 2: 0h 0m 3s 870ms VM975:32 Execution Time 3: 0h 0m 2s 355ms VM975:32 Execution Time 4: 0h 0m 3s 176ms VM975:32 Execution Time 5: 0h 0m 7s 103ms VM975:44 Average Session Execution Time: 0h 0m 3s 910.1999999999998ms );

Thời gian thực hiện trung bình cho 5 yêu cầu theo chuỗi tới AI tích hợp là từ 3-4 giây cho mỗi yêu cầu hoàn chỉnh đối với lời nhắc tạo văn bản dài. Tôi đã chạy nó nhiều lần (tập lệnh được bao gồm trong kho GitHub) và mặc dù điều này thay đổi tùy theo thiết bị, tôi cũng mong đợi điều này sẽ cải thiện khi API được tối ưu hóa. Tôi nhận thấy rằng các tác vụ tạo JSON ngắn hơn sẽ nhanh hơn nhiều (200-400 mili giây).

Điều này có thể chấp nhận được đối với hầu hết các trường hợp sử dụng. Chúng tôi cũng đã huy động nguồn lực từ cộng đồng để giải quyết vấn đề quy mô cho LLM của mình. Trong trường hợp việc sử dụng API ở quy mô công nghiệp cực kỳ tốn kém thì mọi yêu cầu LLM đều được xử lý thông qua API trình duyệt thử nghiệm. Nó cảm thấy thực sự tốt đẹp và mở ra một thế giới đầy khả năng.

Bằng cách yêu cầu người dùng Chrome nhúng mô hình vào trình duyệt của họ, chúng tôi có cơ chế phân phối với các mô hình AI tổng hợp được tải sẵn tại thời điểm sử dụng và không cần máy chủ lớn. Điều này tương tự như WebLLM nhưng có lợi thế đáng kể là các mô hình được tải sẵn và đóng gói vào trình duyệt của chúng tôi.

Điều này có nghĩa là chúng tôi có thể tải xuống một mô hình duy nhất để sử dụng trên 'Internet' thay vì buộc phải tải xuống một mô hình dành riêng cho nhà cung cấp.

Điểm tích cực to lớn đối với API trình duyệt thử nghiệm này là những lý lẽ thuyết phục để áp dụng; nó nhanh, miễn phí (hoặc do người tiêu dùng trả tiền) và thực sự dễ sử dụng.

Nhưng sự đánh đổi là gì?

Chi phí

Nhanh chóng và miễn phí. Nhưng chi phí là bao nhiêu?

API hoàn toàn sẵn sàng để thử nghiệm chứ không phải để sử dụng trong sản xuất. Kết quả là, nhiều đầu ra kém tinh tế hơn chúng tôi mong đợi đối với các mô hình được lưu trữ và trưởng thành hơn. Những hạn chế về kích thước cùng với tính chất tổng quát của mô hình có nghĩa là chúng tôi không có kết quả đầu ra tinh tế.

Điều này dẫn đến sự thất vọng khiến chúng ta quay trở lại những ngày đầu của API AI sáng tạo. Tôi thấy mình đã sử dụng rất nhiều logic xác thực và kỹ thuật nhanh chóng để nhận được phản hồi JSON đáng tin cậy. Cứ sau một vài yêu cầu, API dường như không phản hồi, khá dễ gây nhầm lẫn cho phản hồi trong trường hợp mô hình bị loại bỏ.

Ngoài ra còn có đề cập đến thực tế là mô hình này được nhúng trong trình duyệt; nó mở ra một số giá trị như một mô hình 'riêng tư'. Tôi không chắc điều này có phù hợp với hầu hết các trường hợp sử dụng hay không, vì các trang web công khai sẽ vẫn tương tác với máy chủ của họ và đối với người dùng bình thường, thật khó để chắc chắn rằng dữ liệu không bao giờ rời khỏi môi trường cục bộ. Phải nói rằng, đối với việc sử dụng nội bộ và các hệ thống không công khai hoạt động thông qua trình duyệt (ví dụ: môi trường công ty), đây có thể là một điểm thưởng.

Sự thiếu tinh tế trong các câu trả lời do mô hình nhỏ hơn có nghĩa là chúng tôi phải rất cẩn thận về các nhiệm vụ mà chúng tôi sử dụng mô hình này. Các kiến trúc trong tương lai sẽ tối ưu hóa việc triển khai AI tổng quát của họ để sử dụng trọng lượng phù hợp (và do đó, chi phí) cho đúng nhiệm vụ. Tôi hình dung ra nhiều LLM nhỏ, được điều chỉnh cao và hướng đến nhiệm vụ, mỗi LLM được sử dụng cho một đầu ra cụ thể.

Phải nói rằng, tất cả đều có thể tha thứ, đặc biệt là khi API được thiết kế rõ ràng để thử nghiệm chứ không phải để sử dụng trong sản xuất.

Tốt
-Trị giá
-Tỉ lệ
-Tốc độ
-Khả năng sử dụng
-Riêng tư

Những người xấu
-Hy sinh về chất lượng
-Chi phí thực hiện

Ví dụ: nếu muốn phân tích sâu về các vấn đề thời sự, chúng ta sẽ cần một cửa sổ ngữ cảnh lớn và luồng RAG phức tạp để cung cấp thông tin đầu ra; AI nhúng gần như chắc chắn không phải là cách tiếp cận đúng đắn. Google ám chỉ điều này trong tài nguyên của mình.

Nhưng tôi có một lý thuyết muốn thử nghiệm; một lý thuyết ngớ ngẩn, điên rồ và cực kỳ thú vị; và một trình duyệt vi mô được lưu trữ trên máy chủ LLM là nơi hoàn hảo để làm điều đó.

Một cách suy nghĩ mới

Tế bào thần kinh, không phải não

Có một chút ngứa ngáy mà tôi đã muốn gãi từ lâu. Điều gì sẽ xảy ra nếu chúng ta đang sử dụng sai LLM? Trên thực tế, điều gì sẽ xảy ra nếu chúng ta hiểu sai mô hình khái niệm?

Khi chúng tôi chạy đua để có được các cửa sổ ngữ cảnh lớn hơn bao giờ hết với việc mở rộng dữ liệu đào tạo, chúng tôi đang cố gắng mở rộng quy mô Generative AI theo chiều dọc. Lớn hơn, mạnh hơn, nhanh hơn, tốt hơn. Tôi há hốc mồm khi thấy mọi người vui lòng yêu cầu các cửa sổ ngữ cảnh đủ lớn để cắm toàn bộ Internet, sau đó yêu cầu thuật toán ở giữa vui lòng chọn ra chính xác thông tin và đầu ra mà chúng tôi muốn từ cái hồ khổng lồ này. Và nhanh hơn.

Chúng tôi xử lý mọi thông tin đầu vào vào LLM dưới dạng API, văn bản được đưa vào, điều kỳ diệu xảy ra và văn bản xuất hiện. Phép thuật ở giữa này chúng ta gọi là trí thông minh. Càng nhiều văn bản, ma thuật càng lớn và kết quả càng tốt. Đây là con đường phía trước hiện tại của chúng tôi.

Tôi không thể không tự hỏi liệu chúng ta có đang tập trung vào tỷ lệ hoặc độ thu phóng sai, một cách giải thích sai lầm về nhận thức hay không.

Vấn đề về suy nghĩ nói chung, đặc biệt là kết quả sáng tạo (chính xác là tạo ra văn bản), đó là nó không phải là một quá trình đơn giản. Nó không phải là một chủ đề duy nhất. Chúng tôi đã thấy điều này trong các mẫu mới hơn; ví dụ: trong phần phân tích của tôi về lời nhắc hệ thống Claude 3.5 Sonnet , chúng tôi thấy rằng nhiều tiến bộ gần đây trong đầu ra LLM có thể không liên quan đến chính thuật toán mà là cơ sở hạ tầng, hệ thống và việc điều chỉnh hướng dẫn đầu ra theo ngữ cảnh.

Tôi đang muốn thử ý tưởng về những kết nối nhỏ, nhanh được kết nối với nhau để tạo nên thứ gì đó lớn hơn. Cuối cùng, cửa sổ ngữ cảnh 100k tương đương với 1k - 100 lần. Tôi nghi ngờ rằng ngay cả khi chúng ta tập trung vào sự hoành tráng, điều quan trọng là ở những chi tiết nhỏ và chính xác được kết hợp với nhau để tạo thành một thứ gì đó lớn hơn. Điều này phù hợp với mô hình tinh thần của tôi về trí thông minh hơn là một 'bộ não' máy có tri giác.

Điều này vẫn chưa thể thực hiện được cho đến nay do tính kém hiệu quả tương đối của các mô hình nói chung và chi phí quá cao. Hãy tưởng tượng Bob trong các tài khoản khi chúng tôi nói với anh ấy rằng chúng tôi sẽ tăng số lượng yêu cầu tới ChatGPT lên gấp 100 lần khi chúng tôi đưa ra giả thuyết rằng các giao dịch vi mô trong kiến trúc lưới sẽ cải thiện chất lượng hệ thống AI của chúng tôi. Tôi không nghĩ Bob làm việc tại OpenAI, nhưng đối với những người còn lại trong chúng tôi, điều đó không khả thi.

Ngay cả một mô hình nhúng nhỏ và hiệu quả trong trình duyệt cũng chưa thực sự sẵn sàng để xử lý lý thuyết của tôi. Nó không đủ nhanh và không cho phép các yêu cầu đồng thời (suy nghĩ đồng thời!), nhưng đó là một bước đi đúng hướng và chúng tôi đã vượt xa việc các API được lưu trữ trên đám mây tính phí lớn cho mỗi yêu cầu. Tôi không thể nhìn thấy kiến trúc chức năng, nhưng tôi có thể nhìn thấy con đường hướng tới nó.

Để kiểm tra lý thuyết này, tôi đã cởi bỏ găng tay lập trình của mình, mở trình duyệt và bắt đầu hành trình hoành tráng của mình tới kiến trúc dạng lưới với 1000 yêu cầu đa luồng.

Kết quả thật kỳ diệu.

Bộ não của bạn, không phải của họ

Bộ não có tính chất cục bộ, nên API của chúng tôi cũng vậy.

Tôi yêu giọng nói. Tôi nghĩ bàn phím và chuột đã trở thành phần mở rộng của bộ não khỉ của chúng ta, nhưng chúng là những thiết bị kỳ lạ của con người và do đó bị giới hạn như một giao diện một cách tổng thể hơn. Khi công nghệ tiến bộ, giao diện cũng vậy, và đến một lúc nào đó, bàn phím, chuột và thậm chí cả màn hình sẽ trở nên lỗi thời đối với tổ tiên chúng ta giống như đèn dầu và chim bồ câu đưa thư đối với chúng ta.

Vì vậy, bất cứ thứ gì tôi muốn xây dựng đều phải được điều khiển bằng giọng nói. May mắn thay, có API trình duyệt cho việc đó.

1. API nhận dạng giọng nói (có giọng nói thành văn bản)
2. API STT
3. API nhắc nhở
4. Internet (Truy cập qua trình duyệt)

Điều tôi muốn xây dựng là bản demo tương tác bằng giọng nói do trình duyệt kiểm soát. Một trang web thông minh điều hướng, phản hồi và thay đổi dựa trên ngữ cảnh trình duyệt và thông tin đầu vào không sử dụng gì khác ngoài giọng nói của tôi. Không có bàn phím. Không có chuột. “ Tôi, giọng nói của tôi, trình duyệt và API nhắc nhở. ” Nghe giống như câu chuyện dành cho trẻ em tệ nhất mà tôi từng nghe. Có lẽ tôi đã viết tệ hơn.

Về mặt khái niệm, rất giống với thiết bị Rabbit hoặc chốt AI nhân đạo . Đây đều là những dự án mạo hiểm đầy tham vọng, nhưng vấn đề chung của họ là họ đang cố gắng xây dựng một 'Hệ điều hành AI'. Giao diện hỗ trợ AI mới vào phần mềm. Tôi thấy mục tiêu quá lớn lao, về cơ bản là cố gắng xây dựng một giao diện mới cho Internet với một chút AI.

Đổi mới là sự lặp lại và Internet vào năm 2024 sẽ phổ biến khắp nơi và về cơ bản gắn liền với trình duyệt. Cố gắng phát minh ra giao diện AI OS thân thiện với con người cũng là một nỗ lực tương tự như cố gắng phát minh lại Internet. Mọi người đã hỏi, 'Tôi có thể làm gì mà tôi chưa thể làm với điện thoại di động của mình, nhưng tốt hơn'...

Sự đổi mới đòi hỏi sự kết hợp giữa cái mới và cái chưa được thử nghiệm nhưng có nền tảng vững chắc và đã được chứng minh. Quá nhiều bất ổn và kết quả sẽ là lãnh thổ của các nhà khoa học điên rồ, nhưng hãy đạt được sự cân bằng giữa điều đã được chứng minh và thử nghiệm vừa phải, và đôi khi, chỉ đôi khi thôi, điều gì đó đặc biệt sẽ xảy ra.

Mô hình nhận thức mà chúng tôi đã sai trong hầu hết các trường hợp sử dụng LLM là chúng tôi coi việc đính hôn như một cái bắt tay. Đầu vào ← LLM → Đầu ra. Nhập vào, xuất ra. Tuy nhiên, với sự tương tác thực sự của con người, chúng ta có những quá trình đa chiều có thể được chia thành những suy nghĩ và hành động khác nhau.

“
Nhân viên cửa hàng chào khách hàng ->

[Suy nghĩ]

Họ đang mặc gì, phong cách của họ ảnh hưởng đến cách mua hàng của họ như thế nào

Nhân khẩu học của họ là gì, độ tuổi của họ ảnh hưởng như thế nào đến cách mua hàng của họ

Giới tính sẽ ảnh hưởng đến cách mua hàng của họ như thế nào

Họ đang phát ra loại tâm trạng/tín hiệu xã hội nào

Họ thực sự đã nói gì sẽ ảnh hưởng đến sự lựa chọn của họ

[Hoạt động]

Xin chào buổi sáng. Ông có khoẻ không

“
Khách hàng chào nhân viên ->

[Suy nghĩ]

Nhanh lên, tôi đang bận

Hy vọng họ có được thứ tôi muốn (bằng cách đọc được suy nghĩ của tôi!)

Họ có chấp nhận trả lại không?

[Hoạt động]

Chào buổi sáng, tôi đang tìm một đôi giày.

Chúng ta đã đi sâu vào khoa học máy tính đến mức quá trình suy nghĩ của chúng ta về lĩnh vực này đã trở thành nhị phân. Chúng ta nghĩ về đầu vào và đầu ra, đúng và sai. Sự thật là sự tương tác và suy nghĩ của con người rất phức tạp và nhiều sắc thái, chúng ta không thể đơn giản hóa hoặc đơn giản hóa thành hệ nhị phân.

Nhưng những gì chúng ta có thể làm là kết hợp công nghệ tuyệt vời này theo những cách mới và sáng tạo, để phá bỏ các rào cản đồng nhất hóa đầu ra và biến Internet thành một thứ hỗn loạn. biến internet thành bùn lầy

Nhiều trong một, một trong nhiều

Hãy làm cho các tương tác Gen AI trở nên đa luồng và đa sắc thái

Đề xuất thử nghiệm của tôi sử dụng AI tích hợp để phản ánh các tương tác xã hội và con người. Hãy sử dụng một ví dụ mà tôi có trí nhớ cơ bắp; xây dựng thuật toán gợi ý cho thương mại điện tử.

 Thread 1: Social Cues, sentiment analysis – How long has it taken for user to interact? – Is their browsing behavior aggressive, slow, calm, controlled – Have they arrived from particular source, or looking for something specific? Thread 2: Behavior Cues, interpretation user input – How have they begun the conversation? A greeting? – What tone are they using? Thread 3: User context, data we have about similar demographics and their preferences – What age group do they belong to? How does this influence preferences? – How do they identify? How does this influence preferences? Thread 4: Site context, data we have how other users are using the site and trends – What are the trending products?

Không có viên đạn bạc nào để giải thích nhiều điểm dữ liệu như vậy và sẽ không bao giờ có. LLM không phải là một plugin “phân tích tình cảm, phân loại thực thể, xác định tất cả các giao dịch”. LLM là các thuật toán tổng quát có thể diễn giải các đầu vào một cách sáng tạo và hợp lý. Lưu ý rằng mỗi tín hiệu trong chuỗi không phải là kết quả đầu ra mà là các câu hỏi.

Để cung cấp thông tin về tư duy và trí tuệ nhân tạo, chúng ta cần đặt nhiều câu hỏi hơn là đưa ra câu trả lời. Chúng tôi cần phải tinh tế về cách lấy tất cả các điểm dữ liệu của mình và được cấu trúc theo cách chúng tôi đưa những điểm này vào LLM của mình. Vì vậy, để lấy hành vi và tín hiệu xã hội làm ví dụ, chúng ta cần thực hiện những việc sau:

1. Phân tích tình cảm
2. Phân tích dữ liệu về hành vi của trình duyệt so với mức trung bình của trang web và toàn cầu
3. Trích xuất dữ liệu giới thiệu từ các yêu cầu

Tất cả dữ liệu này sẽ được chuẩn bị và xử lý từ lâu trước khi chuyển đến LLM của chúng tôi. Tuy nhiên, sau khi đã chuẩn bị, chúng tôi có thể giúp thông báo bằng lời nhắc như:

Người dùng A là khách quay lại có dấu hiệu hơi khó chịu. Hãy nhớ điều này khi bạn giải quyết vấn đề với họ, đảm bảo trấn an họ rằng chúng tôi có hệ thống hoàn trả. [Hành động]: Liên kết đến chính sách hoàn trả và các sản phẩm phổ biến của chúng tôi.

Một giải pháp thay thế sẽ là:

“
Người dùng B tỏ ra thiếu kiên nhẫn và đã đến trực tiếp tìm kiếm Sản phẩm X. Đưa họ đến trang sản phẩm và đề nghị thêm vào giỏ hàng. [Hành động]: Điều hướng trực tiếp đến trang X và thêm sản phẩm vào giỏ hàng.

Theo nghĩa này, LLM là đại lý và thông dịch viên của chúng tôi, nhưng sai lầm mà mọi người đang mắc phải là cho rằng “thuật toán” là giải pháp cho đầu ra chất lượng. Cũng giống như các tác nhân thực sự, phán đoán của chúng ta chỉ đáng tin cậy khi có dữ liệu và tín hiệu mà chúng ta phải thông báo cho họ. Đặt nhiều câu hỏi hơn là bạn đưa ra câu trả lời.

Đây là một sự thật xã hội không thể chối cãi và tại sao những kỳ vọng hiện tại của chúng ta về LLM lại quá lệch lạc và các đại lý đang khiến nhiều người rơi vào tình trạng vỡ mộng. Rác vào, rác ra. Không quan trọng thuật toán tốt như thế nào.

Để có được hai nhóm tín hiệu cho thuật toán đề xuất của mình, chúng tôi cần phải dựa vào một loạt công cụ chuyên dụng và cơ sở hạ tầng AI vượt quá khả năng của tất cả ngoại trừ một số nền tảng trên hành tinh. Nhưng chúng tôi có thể đạt được điều đó nhiều lần bằng cách xây dựng sắc thái, chủ đề và sự tinh tế trong cơ sở hạ tầng đang cung cấp LLM của chúng tôi.

Và bây giờ, chúng đang ở trong trình duyệt; tương lai chưa bao giờ đến gần đến thế.

Tôi không xây dựng gì ngoài một nguyên mẫu đơn giản mô phỏng các tín hiệu và đầu vào xã hội. Rắc một chút dữ liệu người dùng rồi yêu cầu API nhắc nhở phản hồi giọng nói của tôi bằng sự kết hợp giữa suy nghĩ và hành động. Nó không gì khác hơn là một tầm nhìn về thứ gì đó 'có thể' hoạt động. Nhưng bằng cách cung cấp thông tin đầu vào chi tiết, chi tiết và được kiểm soát vào API Nhắc, chúng tôi nhận được phản hồi thông minh, chu đáo và có kiểm soát. Đó là tầm nhìn về cơ sở hạ tầng dạng lưới vì các luồng vi mô có thể tự động học hỏi, củng cố và thông báo cho nhau.

Nó vẫn chưa hoạt động. Nhưng một ngày nào đó nó có thể hoạt động và kỹ thuật nhanh chóng với đầu vào bằng giọng nói mang lại cảm giác kỳ diệu. Đó là một điểm đến đáng để hướng tới.

Phần kết luận

Tương lai đang đến gần hơn bao giờ hết.

Chúng tôi vẫn đang ở giai đoạn đầu của LLM và tôi dự đoán rằng những tiến bộ sẽ chậm hơn dự kiến và AGI (theo bất kỳ định nghĩa hợp lý nào) sẽ không xuất hiện trong nhiều thế hệ. Nhưng với mỗi bước đi trên đường, một thế giới cơ hội lại xuất hiện. Việc xây dựng cơ sở hạ tầng được xác định rõ ràng, được cân nhắc kỹ lưỡng và hiệu quả cao sẽ cải thiện đáng kể chất lượng đầu ra từ LLM của chúng tôi, bất kể quy mô mô hình hoặc chất lượng thuật toán.

Việc chuyển LLM lên trình duyệt cũng có thể hiểu là chuyển LLM sang internet. Nó sẽ rẻ, dễ chơi, dễ sử dụng và thử nghiệm. Buộc mọi người phải suy nghĩ nhỏ hơn, xây dựng hiệu quả hơn cũng như tăng thêm chiều sâu và sắc thái cho các giải pháp của họ là một điều tốt, vì vậy tôi thậm chí không quá lo lắng về các mô hình 'Micro'. Sự tinh tế nằm ở cách sử dụng chứ không chỉ ở bản thân công cụ, vì vậy đây là một bước tiến vượt bậc.

Tôi đã đính kèm bản demo của mình; đó là mã dùng một lần xem xét bằng chứng về khái niệm, được xây dựng dựa trên AI khám phá chỉ phù hợp cho mục đích demo.

Và nó chỉ hoạt động đôi khi.

Tuy nhiên, đó là một tầm nhìn tuyệt vời về tương lai.

Liên kết

Nhiêu tai nguyên hơn.

Kho lưu trữ Github

Được xuất bản lần đầu

Vui lòng giữ lại CTA này khi bạn gửi: