Nguồn mở: Bước tiếp theo trong cuộc cách mạng AI

Hãy tưởng tượng một tương lai nơi AI không bị nhốt trong hầm của công ty mà được xây dựng trong môi trường mở, từng viên gạch, bởi một cộng đồng các nhà đổi mới toàn cầu. Nơi mà sự hợp tác chứ không phải cạnh tranh thúc đẩy sự tiến bộ và những cân nhắc về đạo đức có tầm quan trọng ngang bằng với hiệu suất thô. Đây không phải là khoa học viễn tưởng, đó là cuộc cách mạng nguồn mở đang diễn ra trong trung tâm phát triển AI. Nhưng Big Tech có chương trình nghị sự riêng, che giấu các mô hình bị hạn chế dưới dạng nguồn mở trong khi cố gắng thu được lợi ích từ một cộng đồng mở thực sự.

Hãy bóc tách các lớp mã và tiết lộ sự thật đằng sau những nỗ lực này. Việc khám phá tương lai của AI nguồn mở này sẽ mổ xẻ “những kẻ giả vờ” và đấu tranh cho “những kẻ thực sự” trong quá trình phát triển AI để khám phá ra động cơ đổi mới là phần mềm nguồn mở hoạt động tốt bên dưới tất cả. Điểm mấu chốt là AI nguồn mở sẽ tạo ra một kho dữ liệu nguồn mở.

Sự cần thiết

Một bài viết gần đây của Matteo Wong trên tờ The Atlantic, ' Chưa bao giờ có thứ gọi là AI 'mở' ' mô tả xu hướng ngày càng tăng trong giới học thuật và cộng đồng phần mềm về AI nguồn mở thực sự. “Ý tưởng là tạo ra các mô hình tương đối minh bạch mà công chúng có thể sử dụng, nghiên cứu và tái tạo dễ dàng và rẻ hơn, cố gắng dân chủ hóa một công nghệ tập trung cao độ có thể có tiềm năng biến đổi công việc, cảnh sát, giải trí và thậm chí cả tôn giáo.” Cũng chính Atlantic đó gợi ý rằng các công ty Big Tech như Meta đang cố gắng đáp ứng nhu cầu này trên thị trường bằng cách 'rửa mở' các sản phẩm của họ. Họ đang thừa nhận những phẩm chất và danh tiếng tích cực của cộng đồng nguồn mở mà không thực sự cung cấp nguồn mở cho sản phẩm của họ. Tuy nhiên, không có gì có thể thay thế được hàng thật. Điều này là do phần mềm nguồn mở thực sự thúc đẩy sự đổi mới và cộng tác: hai phẩm chất rất cần thiết để phát triển AI một cách có trách nhiệm.

Người giả vờ

LLaMA 2, là một mô hình ngôn ngữ lớn do Meta tạo ra, được sử dụng miễn phí cho cả mục đích nghiên cứu và thương mại. Dẫn đến một số đề xuất LLaMA 2 là nguồn mở. Tuy nhiên, Meta đã thực hiện một số hạn chế nghiêm trọng đối với việc sử dụng mô hình của họ. Ví dụ: LLaMA 2 không thể được sử dụng để cải thiện bất kỳ mô hình ngôn ngữ lớn nào khác. Một quan điểm đi ngược lại với truyền thống mô hình đổi mới tập thể tư nhân của phần mềm mở thúc đẩy sự phát hiện đổi mới tự do và cởi mở vì lợi ích của mọi người trong cộng đồng phần mềm.

Meta còn làm tê liệt việc sử dụng mô hình của họ bằng cách không cho phép tích hợp LLaMA 2 với các sản phẩm có 700 triệu người dùng hàng tháng và không tiết lộ dữ liệu nào mô hình của họ được đào tạo hoặc mã mà họ đã sử dụng để xây dựng mô hình đó. Bằng cách không tiết lộ, Meta đang tự đặt ra câu hỏi về sự thiên vị cố hữu và sự phân biệt đối xử ngẫu nhiên. Một mô hình được đào tạo về dữ liệu phân biệt đối xử sẽ đưa ra những phản ứng mang tính phân biệt đối xử . Nếu cộng đồng phần mềm nói chung không thể xem mã được sử dụng để xây dựng mô hình để xem liệu có bất kỳ biện pháp bảo vệ nào đã được tích hợp hoặc dữ liệu được sử dụng để huấn luyện nó hay không, chúng ta sẽ không biết gì về những câu hỏi đạo đức này. Vào thời điểm mà nghiên cứu được công bố về AI quan tâm đến hiệu suất hơn là công lý và tôn trọng sự che giấu này đặc biệt đáng lo ngại.

Những người thực sự

AI của Mistral đã được công nhận nhờ các mô hình ngôn ngữ lớn nguồn mở, đặc biệt là Mistral 7B và Mixtral 8x7B. Công ty nỗ lực đảm bảo khả năng tiếp cận rộng rãi các mô hình AI của mình, khuyến khích cộng đồng phần mềm mở xem xét, sửa đổi và tái sử dụng.

vLLM là viết tắt của "phân phối mô hình có độ trễ thấp được vector hóa" và là một thư viện nguồn mở được thiết kế đặc biệt để tăng tốc và tối ưu hóa các mô hình ngôn ngữ lớn (LLM). Nó là một công cụ mạnh mẽ có thể cải thiện đáng kể hiệu suất và khả năng sử dụng của LLM. Điều này khiến nó trở thành tài sản quý giá cho các nhà phát triển làm việc trên nhiều ứng dụng AI, từ chatbot và trợ lý ảo cho đến tạo nội dung và tạo mã. Vì vậy, Mistral khuyên bạn nên sử dụng vLLM làm máy chủ suy luận cho các mô hình 7B và 8x7B.

EleutherAI là một phòng thí nghiệm nghiên cứu AI phi lợi nhuận đã phát triển từ máy chủ Discord để thảo luận về GPT-3 thành tổ chức nghiên cứu phi lợi nhuận hàng đầu. Nhóm này được biết đến với công việc đào tạo và thúc đẩy các chuẩn mực khoa học mở trong Xử lý ngôn ngữ tự nhiên. Họ đã phát hành nhiều mô hình ngôn ngữ lớn nguồn mở khác nhau và tham gia vào các dự án nghiên cứu liên quan đến sự liên kết và khả năng diễn giải của AI. Của họ LM-Khai thác project có lẽ là công cụ đánh giá mã nguồn mở hàng đầu cho các mô hình ngôn ngữ.

Phi-2 là LLM của Microsoft đã vượt quá sức nặng của nó. Được đào tạo về sự kết hợp giữa văn bản tổng hợp và các trang web được lọc, mô hình nhỏ nhưng mạnh mẽ này vượt trội trong các nhiệm vụ như trả lời câu hỏi, tóm tắt và dịch thuật. Điều thực sự làm nên sự khác biệt của Phi-2 là nó tập trung vào lý luận và hiểu ngôn ngữ, mang lại hiệu suất ấn tượng ngay cả khi không có kỹ thuật căn chỉnh nâng cao.

Nhiều mô hình nhúng nguồn mở có thẩm quyền đang củng cố không gian AI tổng thể của nguồn mở. Đây là những công nghệ tiên tiến nhất hiện nay dành cho nguồn mở và bao gồm UAE-Lớn-V1 Và đa ngôn ngữ-e5-largel .

Còn rất nhiều điều nữa trong lĩnh vực ngày càng phát triển này. Danh sách giới hạn này chỉ là một sự khởi đầu.

Nguồn mở thúc đẩy đổi mới

Theo đuổi triết lý đổi mới cực kỳ mở, các công ty thực sự tham gia phát triển phần mềm nguồn mở thách thức các quan niệm truyền thống về lợi thế cạnh tranh bằng cách thừa nhận rằng không phải tất cả mã hay hoặc ý tưởng tuyệt vời đều nằm trong tổ chức của họ . Sự thay đổi này hỗ trợ lý lẽ những đổi mới được chia sẻ trong hệ sinh thái nguồn mở dẫn đến tăng trưởng thị trường nhanh hơn, thậm chí cung cấp cho các công ty phần mềm nhỏ hơn nguồn vốn R&D hạn chế hơn cơ hội được hưởng lợi từ sự lan tỏa R&D hiện diện trong phần mềm nguồn mở. Điều này là do, trái ngược với gia công phần mềm truyền thống, đổi mới mở tăng cường nội lực bằng cách tận dụng trí tuệ tập thể của cộng đồng mà không làm giảm nỗ lực R&D nội bộ. Có nghĩa là các công ty phần mềm nguồn mở không phải hy sinh ngân sách của mình để theo đuổi tư duy lãnh đạo và viết mã bên ngoài tổ chức của họ.

Ngoài ra, các công ty phần mềm nguồn mở thúc đẩy đổi mới một cách có chiến lược bằng cách phát hành mã sớm và thường xuyên , thừa nhận bản chất tích lũy của quá trình đổi mới trong cộng đồng phần mềm. Tất cả những điều đó nói lên điều mà nhiều người đã nhận ra: Phần mềm nguồn mở thúc đẩy sự đổi mới.

Mã nguồn mở thúc đẩy sự hợp tác

Bởi vì mạng trong cộng đồng phần mềm nguồn mở, các doanh nhân có thể hoàn thành cả mục tiêu ngắn hạn và dài hạn. Mục tiêu lợi nhuận ngắn hạn sẽ xây dựng công ty và mục tiêu lợi nhuận dài hạn sẽ duy trì chúng. Đồng thời, nỗ lực kết nối này sẽ tự duy trì mạng lưới - phát triển nó cho doanh nhân tiếp theo. Mọi người đều biết rằng các nền tảng nguồn mở cung cấp quyền truy cập vào mã nguồn, cho phép các nhà phát triển tạo các bản nâng cấp, plug-in và các phần mềm khác và sử dụng chúng theo yêu cầu của họ. Kiểu hợp tác đặc biệt này đã trải qua một sự bùng nổ với việc áp dụng rộng rãi Kubernetes bởi cộng đồng phần mềm rộng rãi hơn. Hơn bao giờ hết, các công nghệ hiện đại hoạt động cùng nhau với rất ít va chạm và có thể kết hợp với nhau trong vài phút ở hầu hết mọi nơi.

Các công ty Big Tech thừa nhận sự cộng tác sâu sắc vốn có của cộng đồng nguồn mở khi họ tự do phát hành các khung, thư viện và ngôn ngữ mà họ đã tạo để duy trì và phát triển các công cụ nội bộ. Làm như vậy sẽ đào sâu thêm đội ngũ các nhà phát triển có khả năng làm việc trên các sản phẩm của họ và bắt đầu đặt ra tiêu chuẩn về cách vận hành các công nghệ tương tự. Bài báo đó của Atlantic cũng trích lời người sáng lập Meta, Mark Zuckerberg, nói rằng “việc cung cấp điều đó là rất có giá trị đối với chúng tôi bởi vì hiện tại tất cả các nhà phát triển giỏi nhất trong ngành đều đang sử dụng các công cụ mà chúng tôi cũng đang sử dụng trong nội bộ”.

Nguồn mở bắt đầu nguồn mở

Đây là những yếu tố giải thích tại sao chúng ta thường thấy sự phối hợp giữa các công ty nguồn mở. Các công ty AI và ML nguồn mở sẽ phát triển các giải pháp một cách tự nhiên với các sản phẩm nguồn mở khác từ các sản phẩm nền tảng như lưu trữ đối tượng cho đến các công cụ trực quan hóa. Khi một công ty nguồn mở bước tới, tất cả chúng ta đều làm như vậy. Cách tiếp cận gắn kết và kết hợp này có lẽ là lựa chọn tốt nhất của chúng tôi để phát triển AI theo cách tiếp cận lấy con người làm trung tâm. Các lực lượng tự nhiên này vốn có trong nhu cầu thị trường về AI nguồn mở kết hợp với các phẩm chất của sự đổi mới và cộng tác của phần mềm nguồn mở sẽ thúc đẩy kho dữ liệu AI trở thành nguồn mở.

Vui lòng tham gia và đóng góp cho cuộc trò chuyện này và cộng đồng của chúng tôi bằng cách gửi email cho chúng tôi theo địa chỉ xin chà[email protected] hoặc gửi tin nhắn cho chúng tôi trên kênh Slack của chúng tôi.