Các nhà đầu tư mạo hiểm & nhà sáng lập Lưu ý: ChatGPT/LLM là một bước tiến lớn - Đây là lý do tại sao

TLDR 1: Bộ dữ liệu không còn là một yêu cầu khó

TLDR 2: Nó có các trường hợp sử dụng rất rộng rãi

TLDR 3: Chi phí và Hạn chế

Nếu bạn đang trong kỳ nghỉ và không biết ChatGPT hoặc LLM (mô hình ngôn ngữ lớn) là gì - bạn có thể tìm thấy thông tin tóm tắt về công nghệ tại đây:

Vì vậy, ý tôi là gì ở dạng dài hơn?

Lấy một tách cà phê và giải quyết một chút…

Phần 1: Dữ liệu không còn là yêu cầu khó

Khóa học cấp tốc về các yêu cầu dữ liệu AI dựa trên văn bản truyền thống

Trước đây, việc xây dựng một mô hình AI thường liên quan đến việc thu thập một tập dữ liệu đủ lớn cho một trường hợp sử dụng cụ thể. Các kỹ thuật và công cụ đào tạo mô hình AI khác nhau đã tồn tại để tối ưu hóa quá trình đào tạo hoặc chi phí tính toán của nó.

Tuy nhiên, kích thước và chất lượng của tập dữ liệu vẫn là một trong những yếu tố chính trong việc đào tạo AI.

Điều này sẽ dẫn đến một biểu đồ giống như sau:

Điều này dẫn đến cuộc chạy đua vũ trang tập dữ liệu, xảy ra ở hầu hết mọi lĩnh vực chuyên môn liên quan đến AI (đặc biệt là bất kỳ lĩnh vực nào liên quan đến thị giác máy tính).

Điều này đã diễn ra trên nhiều công ty khởi nghiệp từ năm 2009 trở đi cho đến ngày nay, với một số công ty khởi nghiệp đáng chú ý được mua lại một phần nhờ bộ dữ liệu có giá trị của họ (và thường là tài năng).

Do cuộc chạy đua vũ trang không ngừng leo thang nên các công ty khởi nghiệp mới ngày càng khó cạnh tranh bằng các mô hình AI (bộ dữ liệu nhỏ) của họ với các công ty đương nhiệm (bộ dữ liệu lớn hơn).

Ví dụ: tại uilicious.com (một công ty khởi nghiệp tự động hóa thử nghiệm giao diện người dùng mã thấp), chúng tôi đã sử dụng bộ dữ liệu hạn chế của mình để đào tạo một mô hình AI (được gọi là TAMI v0.1). Chúng tôi nhận thấy rằng nó đã phun ra rác trong một nửa thời gian, khiến chúng tôi phải gạt mô hình sang một bên và phát triển công ty mà không cần AI trong khi xây dựng tập dữ liệu của mình.

Theo cách rất khái quát hóa và phi kỹ thuật, AI được đào tạo theo cách này sẽ được gọi là "Mô hình chuyên biệt" từ đây trở đi.

Sự khởi đầu của LLM hoặc Mô hình ngôn ngữ lớn

Trong quá trình tìm kiếm một AI thực sự phổ quát hoặc có mục đích chung, đặc biệt là trong lĩnh vực tương tác giọng nói của con người (vì con người tạo ra sự ngẫu nhiên nhất trong tất cả các biến), đã có những nỗ lực nhằm đào tạo một loại AI dựa trên văn bản mới cho các tập dữ liệu cực lớn. dữ liệu công khai (nghĩ rằng Wikipedia, Quora, StackOverflow và một nửa văn bản trên internet).

Bởi vì những mô hình mới này đã đẩy ranh giới của kích thước tập dữ liệu và kích thước mô hình (nghĩ về kích thước bộ não), các phương pháp được sử dụng để xây dựng chúng khác với các mô hình chuyên biệt (có xu hướng chú trọng hơn vào độ chính xác và hiệu quả).

Các mô hình AI văn bản được đào tạo theo cách này hiện được gọi chung là "Mô hình ngôn ngữ lớn" (LLM).

Nhược điểm của phương pháp này là rất lớn, ngăn cản ứng dụng sớm của nó trong nhiều trường hợp sử dụng:

• Bộ dữ liệu cực lớn cần được xây dựng và duy trì (GPT-3 đã sử dụng 45 TB)

• Đào tạo tốn hàng triệu đô la (GPT-3 tốn hơn 4 triệu đô la để đào tạo, GPT-3.5/chatGPT có lẽ cao hơn)

• Sử dụng hạn chế cho các trường hợp sử dụng chuyên biệt do thiếu dữ liệu đào tạo riêng

• Độ chính xác thấp hơn so với các mô hình chuyên dụng trong các trường hợp sử dụng chuyên biệt

• Đắt tiền để chạy (thêm về điều này trong các hạn chế sau)

Mặc dù một vài thế hệ LLM đầu tiên có thể tạo ra kết quả đáng thất vọng, vì chúng thua gần như mọi mô hình chuyên biệt trong mọi nhiệm vụ, nhưng mọi thứ đã thay đổi khi nhiều năm trôi qua và chúng đã mở rộng quy mô cả về kích thước tập dữ liệu và kích thước mô hình.

Lợi ích của họ trở nên rõ ràng hơn:

• Bỏ qua sự thật và độ chính xác, họ trở nên thực sự giỏi nói chuyện với con người

• Trong nhiều trường hợp (nhưng không phải tất cả): họ thực sự giỏi trong việc học kiến thức chuyên ngành mới khi được cung cấp bộ dữ liệu ở định dạng phù hợp (bạn không thể đổ nó vào)

Điều này đã tạo ra những thay đổi mạnh mẽ đối với các đường cong:

Nó cũng đã tạo ra một làn sóng mới về các mô hình kinh doanh được hỗ trợ bởi AI vào năm 2019. Giờ đây, các công ty khởi nghiệp có thể đào tạo các mô hình AI mới dựa trên các LLM hiện có với bộ dữ liệu trong tầm tay của họ, từ chatbot đến trình tạo slide thuyết trình, người viết mã, viết quảng cáo và thậm chí cả quản trị viên D&D.

Những mô hình AI này không còn là lĩnh vực độc quyền của các công ty công nghệ lớn nữa. Với một khoản phí nhỏ để đào tạo và chạy AI trên cơ sở hạ tầng của họ, OpenAI và Google bắt đầu mở các mô hình của họ cho những người khác xây dựng như một phương tiện để kiếm lợi từ LLM.

Điều này cũng có lợi cho các công ty khởi nghiệp vì họ không còn cần hàng triệu đô la đầu tư cho R&D để xây dựng các mô hình lớn này trong nội bộ, cho phép họ tiếp cận thị trường nhanh hơn với bằng chứng về khái niệm của mình.

Theo một cách nào đó, dữ liệu vẫn là vua. Nó có thể đã di chuyển đường cong để dễ tiếp cận hơn, nhưng nó vẫn yêu cầu một nhóm xây dựng bộ dữ liệu lớn và điều chỉnh mô hình.

Do đó, trong khi nhiều công ty khởi nghiệp năm 2019 thấy việc xây dựng nguyên mẫu dễ dàng hơn đáng kể, thì nhiều người lại thấy khó vượt qua ngưỡng "hữu ích" vì họ cần mở rộng tập dữ liệu của mình với lợi nhuận giảm dần.

Nhưng đó là khi mọi thứ bắt đầu thực sự thay đổi vào năm 2022....

Làm thế nào các mô hình ngôn ngữ lớn là những người học ít

Việc phát hành GPT3.5 (hay gọi là chatGPT trên Internet) vào tháng trước (tháng 12 năm 2022) có ý nghĩa rất lớn đối với cách đào tạo và tinh chỉnh các mô hình AI.

Nó đã mở ra khả năng tạo AI có thể sử dụng được với các bộ dữ liệu cực nhỏ - thứ mà hầu hết các công ty khởi nghiệp đều có quyền truy cập hoặc có thể tạo thủ công. Đây là một sự thay đổi cơ bản trong cách chúng ta nghĩ về đào tạo AI.

Sử dụng GPT3.5 làm khối xây dựng cơ bản, giờ đây có thể xây dựng các ứng dụng AI hữu ích cho các trường hợp sử dụng khác nhau mà không cần một nhóm hoặc cá nhân chuyên biệt.

Tùy thuộc vào trường hợp sử dụng, tập dữ liệu có thể nhỏ bằng một câu hoặc đoạn văn hoặc tối đa 100 MB hoặc 1 GB - kích thước mà nhiều công ty khởi nghiệp có thể đạt được.

Ngoài ra, nếu bạn có thể khiến chatGPT hoạt động theo cách mà bạn thấy hữu ích và có giá trị đối với công ty khởi nghiệp của mình, thì bạn có thể xây dựng nó như một dịch vụ AI chuyên dụng.

Việc giảm đáng kể tập dữ liệu cần thiết giúp chúng tôi có thể xây dựng một mô hình AI "hữu ích" chỉ với một phần nhỏ trong tập dữ liệu đầy đủ của chúng tôi - điều mà trước đây là "vô dụng" hoặc "không thể" ở quy mô của chúng tôi.

Theo nhiều cách, dữ liệu không còn là vua nữa, việc tìm kiếm và xây dựng các ứng dụng hữu ích mới là những người tạo ra vua thực sự với AI mới này. Nơi các ý tưởng có thể được xây dựng và thử nghiệm trong vài tuần (chứ không phải vài năm).

Phần 2: Cuộc săn lùng các trường hợp sử dụng (và thực tập sinh AI) đã bắt đầu

Khung thực tập để tìm kiếm các trường hợp sử dụng

GPT-3.5 và tất cả các mô hình ngôn ngữ lớn khác đều có giới hạn về độ chính xác và độ tin cậy. Điều này một phần là do bản chất của họ mơ về câu trả lời .

Mặc dù về lý thuyết (chưa được chứng minh), với một tập dữ liệu chuyên biệt đủ lớn, độ chính xác của nó có thể được cải thiện đáng kể cho các trường hợp sử dụng chuyên biệt. Tuy nhiên, nếu bạn có một tập dữ liệu lớn như vậy, rất có thể bạn đã có thể xây dựng "các mô hình chuyên biệt".

Cuối cùng, giới hạn về độ chính xác và độ tin cậy này chỉ là một vấn đề nghiêm trọng trong các ngành nhạy cảm (ví dụ: y học). Đối với hầu hết các trường hợp, nó chỉ đơn thuần là sự phân tâm trong việc tìm kiếm các trường hợp sử dụng. Khi AI vượt qua ngưỡng “đủ tốt” (đúng như vậy).

Một cách tiếp cận vấn đề lành mạnh và thực tế hơn là tưởng tượng GPT-3.5 như một “thực tập sinh đại học thông minh theo yêu cầu” từ xa và được trả lương.

Bởi vì trên thực tế, AI có tất cả những hạn chế giống nhau trong các trường hợp sử dụng như vậy, ngoài việc hoạt động từ xa và trực tuyến:

• Đừng bao giờ tin tưởng bác sĩ thực tập lúc nào cũng đúng 100% (chứ đừng nói đến việc chẩn đoán thuốc)

• Tạo quy trình làm việc cho phép thực tập sinh cung cấp giá trị hữu ích một cách an toàn, với sự giám sát, hướng dẫn và lập kế hoạch phù hợp

• Đối với các thực tập sinh một ngày hoặc một tháng, bạn sẽ tạo một kế hoạch đào tạo chính thức để nhanh chóng giúp họ làm việc hiệu quả trong một giờ hoặc một tuần đào tạo tương ứng- Bạn nên trả tiền cho các thực tập sinh của mình; chúng không miễn phí (cho cả con người và AI)

Lợi ích thực sự duy nhất mà mô hình AI mang lại cho các thực tập sinh ngoài đời thực là:

• Họ không bị ảnh hưởng bởi mùa học

• Bạn có thể mở rộng cả lên và xuống bất cứ lúc nào

• Đào tạo là điều bạn có thể thực hiện một lần mỗi đợt và mở rộng quy mô cho nhiều trường hợp

Nhược điểm của AI so với con người là chúng không thể mang cà phê trực tiếp cho bạn.

Khi bạn đóng khung nó theo các điều khoản này, việc tìm ra cách tích hợp AI vào các quy trình hoặc sản phẩm kinh doanh hiện có sẽ trở nên dễ dàng hơn đáng kể.

• Cần tạo ý tưởng bài viết? Nhận thực tập một ngày.

• Cần chuyển đổi một số mã Java sang JavaScript độc quyền? Nhận thực tập sinh một tháng với một số khóa đào tạo cơ bản về cách thực hiện quy trình.

• Vân vân và vân vân - không có thời điểm nào trong quy trình nên loại bỏ con người khỏi vòng lặp giám sát và lặp lại với thực tập sinh.

Phần 3: Chi phí và Hạn chế Kinh doanh

Chi phí cho mỗi lời nhắc sẽ tạo ra hoặc phá vỡ mô hình kinh doanh

Đây là điểm yếu lớn nhất của phương pháp mới hơn này trong AI, dựa trên các mô hình lớn hơn và tốt hơn. Thật không may, không có bữa ăn trưa miễn phí.

Mặc dù rẻ hơn và dễ đào tạo hơn cho các nhiệm vụ cụ thể về kích thước tập dữ liệu, nhưng nó đắt hơn đáng kể để chạy so với các mô hình AI truyền thống hơn.

Nó không rẻ; chi phí cho mỗi lời nhắc và câu trả lời nằm trong khoảng từ một xu đến năm mươi xu, tùy thuộc vào lượng dữ liệu cần thiết để đào tạo hoặc sử dụng trong quy trình. Con số này cao hơn rất nhiều so với một máy chủ API điển hình, có thể xử lý một triệu yêu cầu trên mỗi đô la.

Nói một cách đơn giản hơn, phần cứng máy chủ sẽ tốn nhiều chi phí hơn để xử lý một truy vấn AI cho một người dùng trong một giây nhất định so với chi phí để phục vụ một triệu yêu cầu của người dùng cho một trang web Shopify cỡ trung bình điển hình.

Điều này không phải do OpenAI hoặc Azure chỉ cố gắng kiếm lợi nhuận; nó phụ thuộc vào cơ sở hạ tầng phần cứng máy chủ thuần túy cần thiết để chạy các mô hình lớn như vậy.

Do đó, dù mạnh mẽ đến đâu, việc kết hợp AI Mô hình ngôn ngữ lớn như vậy có mức giá đắt đỏ và có thể không áp dụng được cho tất cả các trường hợp sử dụng chỉ do giới hạn này.

Kết quả cuối cùng là, trong khi nhiều trường hợp sử dụng có thể hưởng lợi từ việc sử dụng AI như vậy, thì không phải tất cả các trường hợp sử dụng đều có thể đáp ứng được; và đây phải là một cân nhắc quan trọng đối với bất kỳ việc triển khai nào.

Ví dụ A: Dịch vụ hỗ trợ Trò chuyện

Đối với bàn dịch vụ hỗ trợ, một nhân viên hỗ trợ thông thường có thể xử lý mười khách hàng mỗi giờ, với mỗi khách hàng có trung bình mười lăm lời nhắc qua lại. Nếu đó là năm xu cho mỗi lời nhắc - thì số tiền này sẽ tăng lên tới 7,50 đô la một giờ nếu AI được sử dụng để bắt chước một nhân viên hỗ trợ duy nhất.

Mức lương này không chỉ rẻ hơn so với mức lương trung bình của nhân viên trung tâm cuộc gọi điển hình của Hoa Kỳ là 15 đô la một giờ, mà còn linh hoạt hơn nhiều (không tính chi phí nhân sự, có thể tăng giảm quy mô ngay lập tức).

Tương tự như vậy, cũng có thể áp dụng cách tiếp cận "thực tập sinh" tương tự, trong đó AI hỗ trợ này chỉ đóng vai trò hỗ trợ L1, cho phép con người xử lý các trường hợp phức tạp hơn. Trong trường hợp này, sẽ hợp lý khi được thực hiện và chia tỷ lệ phù hợp trên cơ sở mỗi dấu nhắc (hoặc mỗi giờ).

Ví dụ B: Dịch vụ SaaS để soạn thảo email

Nhân viên văn phòng trung bình trả lời khoảng bốn mươi email mỗi ngày làm việc hoặc khoảng 880 email mỗi tháng. Ngay cả ở mức 5 xu cho mỗi email, trung bình đó sẽ là 44 đô la mỗi tháng cho mỗi người dùng chỉ để xử lý các email trả lời.

Điều tồi tệ hơn là thật hợp lý khi kỳ vọng rằng, với một dịch vụ như vậy, trung bình một nhân viên văn phòng có thể trả lời nhiều email hơn. Sẽ không phải là không hợp lý nếu mức trung bình tăng gấp đôi lên hai nghìn email, hoặc một trăm đô la một tháng, chỉ tính riêng chi phí AI thuần túy.

Trong trường hợp này, nếu công ty khởi nghiệp SaaS thực hiện một cách đơn giản, chẳng hạn như định giá 10 đô la mỗi tháng, thì họ có thể bị lỗ nặng theo thời gian.

Chi phí định giá và mô hình kinh doanh này trái ngược với mô hình định giá cho mỗi người dùng thông thường phổ biến trong SaaS. Đây là lý do tại sao các tích hợp như vậy thường có hệ thống "tín dụng" như một phương tiện để giới hạn việc sử dụng và phương tiện thanh toán của một AI như vậy.

OpenAI có độc quyền hiệu quả (Hiện tại)

Giá có thể bị mắc kẹt cho đến khi cạnh tranh đến

Mặc dù hiện có các Mô hình ngôn ngữ lớn mã nguồn mở, nhưng nói một cách rất thẳng thắn, chúng có thể so sánh với GPT2 hoặc ở đâu đó ở giữa đó và GPT3.5.

Đối với một số trường hợp đơn giản, khi họ bắt đầu xây dựng tập dữ liệu hợp lý, những mô hình nhỏ hơn (và rẻ hơn) này có thể hữu ích để chuyển sang như một phương tiện cắt giảm chi phí.

Tuy nhiên, đối với các trường hợp phức tạp khác, động thái như vậy có thể không thực hiện được do tính phức tạp của AI của họ, khiến OpenAI trở thành độc quyền hiệu quả mà không có động cơ giảm giá.

Tuy nhiên, người ta tin rằng trong vòng một hoặc hai năm tới, cộng đồng nguồn mở sẽ bắt kịp và, khi làm như vậy, có thể cho phép giá cải thiện nhờ các nhà cung cấp cơ sở hạ tầng thay thế tốt hơn.

Tuy nhiên, vì đây là một tương lai không chắc chắn nên nó đáng được nêu bật.

OpenAI là đối thủ cạnh tranh không mong muốn tiềm năng đối với một số mô hình

Mặc dù không cố ý, nhưng điều quan trọng là các công ty khởi nghiệp trong không gian này phải xây dựng các bộ tính năng có thể phòng thủ được ngoài các bot nhắc văn bản của họ.

Ví dụ: có một số công ty khởi nghiệp nhỏ hơn đã xây dựng các bot hoặc SaaS dựa trên GPT3 xung quanh các trường hợp sử dụng chuyển lời nhắc thành văn bản cụ thể, như trình tạo tên hoặc trình tạo ý tưởng với giao diện đơn giản.

Theo nghĩa đen, chỉ sau một đêm, với sự ra mắt của chatGPT, SaaS chuyển văn bản thành văn bản nhỏ dành cho trường hợp sử dụng một lần này đã trở nên dư thừa, vì mọi người giờ đây có thể nhận được chức năng tương tự miễn phí qua chatGPT.

Mặc dù OpenAI có thể không có ý định cạnh tranh với chính các đối tác xây dựng dựa trên họ, nhưng có thể đó là bản chất không thể tránh khỏi của nó khi họ tiếp tục cải thiện mô hình và chatGPT của mình.

Do đó, để đảm bảo điều này không lặp lại, điều quan trọng đối với bất kỳ mô hình kinh doanh nào xung quanh công nghệ này là phải tìm ra giá trị bổ sung nào mà chúng mang lại ngoài chỉ lời nhắc thành văn bản, có thể là trải nghiệm người dùng tốt hơn hoặc tích hợp với các công cụ hiện có, v.v.

Cuối cùng: Nó không hoàn hảo

Người mẫu thực tập nhắc nhở, ngày mai đừng mong dùng thứ này để chữa ung thư. Vì vậy, vui lòng không nhồi nhét AI vào mọi sản phẩm và startup trên Trái đất khi điều đó không mang lại lợi ích gì cho người dùng cuối khi làm như vậy.

~ Cho đến lần sau 🖖 sống lâu và thịnh vượng
Eugene Cheah: CTO của uilicious.com

Bài viết này ban đầu được đăng trên substack của tác giả

Ghi chú bổ sung không phù hợp

swyx cũng làm rất tốt việc cố gắng củng cố nhiều thông tin khác nhau, trong không gian đang phát triển và hỗn loạn nhanh chóng này, rất đáng đọc (được khuyến nghị!!!)

• Ngày AGI ra đời: https://lspace.swyx.io/p/everything-we-know-about-chatgpt
• Nguồn mở đang ăn AI như thế nào: https://lspace.swyx.io/p/open-source-ai
• Ghi chú AI trực tiếp của anh ấy: https://github.com/sw-yx/ai-notes/blob/main/TEXT.md#chatgpt

Hiện tại, BLOOM là ứng cử viên nguồn mở chính cho GPT3 (không phải 3.5): https://towardsdatascience.com/run-bloom-the-large-open-access-ai-model-on-your-desktop-computer-f48e1e2a9a32

Trong ngành AI / ML, khả năng LLM học nhanh các khái niệm mới và áp dụng chúng được định lượng và đo lường bằng các bài kiểm tra có tên là học tập "Zero-Shot", "One-Shot" và "Few-Shot".

Nói chung, AI càng làm tốt trong các thử nghiệm này thì bạn càng cần ít dữ liệu hơn để huấn luyện AI cho trường hợp sử dụng của mình.

Các nguồn và trích dẫn khác

• Bộ đào tạo GPT-3 45TB: https://www.springboard.com/blog/data-science/machine-learning-gpt-3-open-ai/
• GPT-3 ước tính 4 triệu USD++ cộng với chi phí đào tạo: https://lambdalabs.com/blog/demystifying-gpt-3
• Bloom AI, một đối thủ cạnh tranh mã nguồn mở với chi phí đào tạo 1,6 triệu đô la: https://techcrunch.com/2022/07/12/a-year-in-the-making-bigsciences-ai-language-model-is-finally-available/
• Mô hình giáo dục và công việc hình chữ T
  • https://wordspy.com/index.php?word=t-shape
  • https://collegeinfogeek.com/become-t-shape-person/
• Các bài báo mô hình ngôn ngữ lớn, dành cho việc học từ 0 và ít
  • https://arxiv.org/abs/2205.11916 (không bắn)
  • https://arxiv.org/abs/2005.14165 (vài ảnh)
• Mức lương của trung tâm cuộc gọi ở Hoa Kỳ: https://www.comparably.com/salaries/salaries-for-call-center-agent
• Email trung bình được gửi bởi một nhân viên văn phòng mỗi ngày: https://www.templafy.com/blog/how-many-emails-are-sent-every-day-top-email-statistics-your-business-needs-to- biết rôi/
• Thông báo OpenAI về chatGPT/GPT3.5: https://openai.com/blog/chatgpt/
• Unsplash tín dụng hình ảnh
  • https://unsplash.com/photos/7swaW1bYpWI
  • https://unsplash.com/photos/1iVKwElWrPA
  • https://unsplash.com/photos/SELXIJwN24s
  • https://unsplash.com/photos/3xwrg7Vv6Ts
  • https://unsplash.com/photos/-G3rw6Y02D0