Đưa AI vào Datacenter

Với tất cả các giả định mà chúng tôi đưa ra về những tiến bộ trong dữ liệu doanh nghiệp và công nghệ đám mây, có một thực tế rõ ràng thường bị bỏ qua: Phần lớn dữ liệu doanh nghiệp quan trọng nhất vẫn nằm trong trung tâm dữ liệu của công ty.

Có rất nhiều lý do cho điều này - một số hợp lý, một số thì không quá nhiều. Trong một số trường hợp, đó là do tính chất nhạy cảm cao của dữ liệu, cho dù đó là dữ liệu tuân thủ HIPAA, dữ liệu ngân hàng nhạy cảm hay các vấn đề liên quan đến quyền riêng tư khác. Trong các trường hợp khác, dữ liệu nằm trong các hệ thống (dữ liệu lập kế hoạch tài nguyên doanh nghiệp cũ hoặc dữ liệu nghiên cứu khoa học quy mô petabyte) rất khó di chuyển lên đám mây. Và đôi khi, nó chỉ là quán tính. Đó không phải là một cái cớ tuyệt vời, nhưng nó xảy ra mọi lúc.

Dù lý do là gì, dữ liệu lưu trữ trên giá đỡ máy chủ của công ty đã chứng tỏ là một trở ngại thực sự đối với khả năng tận dụng AI để chuyển đổi hoạt động kinh doanh của nhiều doanh nghiệp, bởi vì gần như không thể cung cấp sức mạnh tính toán đáng kể cần thiết để thúc đẩy AI phát triển. cơ sở hạ tầng làm nền tảng cho hầu hết các trung tâm dữ liệu.

Nhưng có một phong trào đang được tiến hành, thông qua một nhóm nhỏ các công ty khởi nghiệp và nhà sản xuất thiết bị lớn, để tối ưu hóa các mô hình học máy và cung cấp AI cho các công ty có dữ liệu không có trong đám mây. Nó sẽ là một thay đổi trò chơi.

Vấn đề sức mạnh xử lý

Đơn vị xử lý đồ họa, hay GPU, được phát triển để xử lý các ứng dụng xử lý video cường độ cao như những ứng dụng mà trò chơi điện tử hiện đại và phim độ phân giải cao yêu cầu. Nhưng khả năng của các bộ xử lý này trong việc chia nhỏ các tác vụ phức tạp thành các tác vụ nhỏ hơn và thực hiện chúng song song cũng khiến các mạch tích hợp dành riêng cho ứng dụng (ASIC) công suất cao này trở nên rất hữu ích cho trí tuệ nhân tạo. Rốt cuộc, AI yêu cầu các luồng dữ liệu khổng lồ để tinh chỉnh và đào tạo các mô hình máy học.

Mặt khác, CPU là bộ não linh hoạt của máy chủ và do đó, chúng được chế tạo để xử lý nhiều hoạt động khác nhau, như truy cập dữ liệu ổ cứng hoặc di chuyển dữ liệu từ bộ đệm sang bộ lưu trữ, nhưng chúng thiếu khả năng thực hiện song song các tác vụ này (bộ xử lý đa lõi có thể xử lý các tác vụ song song, nhưng không ở cấp độ GPU). Đơn giản là chúng không được chế tạo để xử lý loại khối lượng công việc thông lượng cao mà AI yêu cầu.

GPU hiệu suất cao rất đắt và cho đến gần đây, chúng vẫn khan hiếm do sự phụ thuộc của các công cụ khai thác tiền điện tử vào các chip hiệu suất cao này. Phần lớn, chúng là lĩnh vực của các nhà cung cấp đám mây. Thật vậy, các dịch vụ điện toán hiệu suất cao là lý do chính khiến các công ty chuyển dữ liệu của họ lên đám mây. của Google Đơn vị xử lý tenxơ , hay TPU, là một ASIC tùy chỉnh được phát triển chỉ để tăng tốc khối lượng công việc máy học. Amazon cũng có chip riêng để cung cấp năng lượng cho khối lượng công việc AI/ML.

Tối ưu hóa cho AI

GPU là nền tảng của làn sóng đổi mới AI đang trở thành tâm điểm chú ý gần đây. Phần lớn những phát triển nổi tiếng này đã được thúc đẩy bởi các công ty đẩy mạnh giới hạn về những gì có thể mà không cần suy nghĩ quá nhiều về hiệu quả hoặc tối ưu hóa. Do đó, khối lượng công việc do các công cụ AI mới tạo ra rất lớn và do đó, tất yếu phải được quản lý trên đám mây.

Nhưng trong khoảng sáu tháng qua, điều đó đã thay đổi. Đối với một điều, các mô hình ML mở rộng điều khiển tất cả các công cụ AI tiên tiến này đang được cô đọng đáng kể, nhưng vẫn tạo ra kết quả mạnh mẽ như cũ.

tôi đã cài đặt Vicuna ứng dụng trên điện thoại di động của tôi chẳng hạn. Đó là một mô hình gồm 13 tỷ tham số thực thi giống như ChatGPT và chạy trong thời gian thực, ngay trên điện thoại của tôi. Nó hoàn toàn không có trên đám mây – đó là một ứng dụng nằm trên một thiết bị.

Dự án Vicuna nổi lên từ Tổ chức hệ thống mô hình lớn , một sự hợp tác giữa UC Berkeley, UC Davis và Đại học Carnegie Mellon với sứ mệnh “làm cho mọi người có thể tiếp cận các mô hình lớn bằng cách đồng phát triển các bộ dữ liệu mở, mô hình, hệ thống và công cụ đánh giá.”

Đó là một nhiệm vụ mà công nghệ lớn không bỏ qua. Máy tính để bàn và iPhone mới nhất của Apple có khả năng xử lý chuyên biệt giúp tăng tốc quy trình ML. Google và Apple cũng đang làm rất nhiều việc để tối ưu hóa phần mềm của họ cho ML.

Ngoài ra còn có rất nhiều kỹ sư tài năng tại các công ty khởi nghiệp đang làm việc để làm cho phần cứng hoạt động hiệu quả hơn theo cách giúp AI/ML dễ tiếp cận hơn.

thứ baAI là một ví dụ tuyệt vời. Công ty cung cấp một công cụ dựa trên phần mềm có thể đào tạo các mô hình học sâu lớn bằng cách sử dụng CPU. DataStax đã thử nghiệm với nhóm ThirdAI trong nhiều tháng và rất ấn tượng với những gì họ đã phát triển — đến nỗi tuần trước chúng tôi đã công bố quan hệ đối tác với công ty để tạo ra các mô hình ngôn ngữ lớn (LLM) tinh vi và các công nghệ AI khác có thể truy cập được cho mọi tổ chức , bất kể dữ liệu của họ nằm ở đâu. (Đọc thêm về tin tức hợp tác đây ).

Đưa AI vào dữ liệu

Vì tất cả những nỗ lực và đổi mới này, AI sẽ không còn dành riêng cho các tổ chức có dữ liệu trên đám mây. Điều này cực kỳ quan trọng đối với quyền riêng tư, đó là lý do lớn khiến nhiều tổ chức giữ dữ liệu của họ trên máy chủ của riêng họ ngay từ đầu.

Với làn sóng chuyển đổi AI đã cuốn trôi mọi thứ trong khoảng 18 tháng qua, tất cả chỉ là về dữ liệu. Thật vậy, không có trí tuệ nhân tạo nào nếu không có dữ liệu, dù nó có thể cư trú ở đâu. Nỗ lực của các nhóm như ThirdAI cũng cho phép tất cả các tổ chức “đưa AI vào dữ liệu”.

Trong một thời gian dài, các công ty buộc phải làm điều ngược lại: đưa dữ liệu của họ lên AI. Họ đã phải dành nhiều nguồn lực, thời gian và ngân sách để di chuyển dữ liệu từ kho dữ liệu và hồ dữ liệu sang các nền tảng máy học chuyên dụng trước khi phân tích để có được thông tin chuyên sâu quan trọng.

Điều này dẫn đến chi phí truyền dữ liệu đáng kể và thời gian cần thiết để di chuyển, phân tích và di chuyển ảnh hưởng đến tốc độ các tổ chức có thể tìm hiểu các mẫu mới và thực hiện hành động với khách hàng tại thời điểm đó.

Đưa AI vào dữ liệu là điều mà chúng tôi đã tập trung rất nhiều tại DataStax với nỗ lực AI theo thời gian thực của mình, bởi vì đó là cách nhanh nhất để thực hiện các hành động dựa trên ML/AI, làm hài lòng khách hàng và thúc đẩy doanh thu. Đưa AI vào trung tâm dữ liệu, chứ không chỉ đám mây, là một bước rất quan trọng khác để biến công nghệ AI chuyển đổi thành làn sóng mà tất cả các công ty đều có thể tham gia.

* Tìm hiểu về cái mới Chương trình đối tác AI của DataStax , kết nối các doanh nghiệp với các công ty khởi nghiệp AI đột phá để đẩy nhanh quá trình phát triển và triển khai các ứng dụng AI cho khách hàng.*

Bởi Ed Anuff, DataStax