AI sáng tạo: Thông tin chuyên sâu của chuyên gia về sự tiến hóa, thách thức và xu hướng tương lai

AI đã thu hút sự chú ý của những người đam mê công nghệ và các chuyên gia trong ngành từ khá lâu. Trong bài viết này, chúng tôi đi sâu vào sự phát triển của AI, làm sáng tỏ các vấn đề mà nó đặt ra và các xu hướng mới nổi sắp xảy ra. Khi chúng ta quan sát sự tăng trưởng theo cấp số nhân của , việc hiểu biết toàn diện về khả năng của nó nhằm tối đa hóa lợi ích tiềm năng của nó ngày càng trở nên quan trọng. Đi sâu vào lĩnh vực phức tạp này, Volodymyr Getmanskyi, Trưởng Văn phòng Khoa học Dữ liệu tại ELEKS, chia sẻ những hiểu biết sâu sắc và chuyên môn của mình về chủ đề thịnh hành này. công nghệ AI AI so với GenAI – Giải thích những khác biệt chính Thứ nhất, AI tổng quát là một phần của lĩnh vực AI. Trong khi AI chủ yếu tập trung vào việc tự động hóa hoặc tối ưu hóa các nhiệm vụ của con người thì AI tổng quát lại tập trung vào việc tạo ra các đối tượng khác nhau. Các nhiệm vụ AI điển hình như xây dựng các tác nhân đàm thoại hoặc ra quyết định, tự động hóa thông minh, nhận dạng và xử lý hình ảnh cũng như dịch thuật có thể được nâng cao nhờ GenAI. Nó cho phép tạo văn bản và báo cáo, hình ảnh và thiết kế, lời nói và âm nhạc, v.v. Do đó, việc tích hợp AI sáng tạo vào các công việc và quy trình làm việc hàng ngày ngày càng trở nên liền mạch và có tác động mạnh mẽ. Người ta có thể tự hỏi loại tạo dữ liệu nào là phổ biến nhất. Tuy nhiên, câu trả lời không đơn giản. Các mô hình đa phương thức cho phép tạo ra các loại dữ liệu khác nhau dựa trên đầu vào đa dạng. Vì vậy, ngay cả khi chúng tôi có số liệu thống kê sử dụng, sẽ rất khó để xác định loại dữ liệu phổ biến nhất được tạo. Tuy nhiên, dựa trên nhu cầu kinh doanh hiện tại, các mô hình ngôn ngữ lớn là một trong những mô hình phổ biến nhất. Các mô hình này có thể xử lý cả thông tin văn bản và số, đồng thời có thể được sử dụng cho các tác vụ như trả lời câu hỏi, chuyển đổi văn bản (dịch, kiểm tra chính tả, bổ sung kiến thức) và tạo báo cáo. Chức năng này là một phần quan trọng trong hoạt động vận hành của các doanh nghiệp thuộc nhiều ngành, không giống như việc tạo hình ảnh hoặc video ít phổ biến hơn. Các mô hình ngôn ngữ lớn: Từ tạo văn bản đến những mô hình khổng lồ hiện đại Các mô hình ngôn ngữ lớn (LLM) là các máy biến áp khổng lồ, là một loại mô hình học sâu hay nói một cách đơn giản là các mạng lưới thần kinh cụ thể. Nói chung, LLM có từ 8 tỷ đến 70 tỷ tham số và được đào tạo về lượng dữ liệu khổng lồ. Ví dụ: Crawl, một trong những bộ dữ liệu lớn nhất, chứa các trang web và thông tin từ thập kỷ trước, lên tới hàng chục petabyte dữ liệu. Nói một cách dễ hiểu, bộ dữ liệu Titanic, bao gồm khoảng 900 mẫu mô tả những hành khách sống sót sau vụ đắm tàu Titanic, có kích thước nhỏ hơn 1 Mb và mô hình có thể dự đoán hiệu quả xác suất sống sót có thể có khoảng 25 đến 100 thông số. . LLM cũng có lịch sử lâu đời và chúng không hề xuất hiện một cách đột ngột. Ví dụ: bộ phận khoa học dữ liệu ELEKS đã sử dụng GPT-2 để tạo phản hồi vào năm 2019, trong khi mô hình GPT (máy biến áp được huấn luyện trước tổng quát) đầu tiên được phát hành vào năm 2018. Tuy nhiên, đó không phải là lần xuất hiện đầu tiên của các mô hình tạo văn bản . Trước khi kỷ nguyên máy biến áp bắt đầu vào năm 2017, các nhiệm vụ như tạo văn bản đã được giải quyết bằng nhiều cách tiếp cận khác nhau, chẳng hạn như: Mạng đối thủ tổng hợp - một cách tiếp cận trong đó trình tạo đào tạo dựa trên phản hồi từ một mạng hoặc bộ phân biệt đối xử khác, Bộ mã hóa tự động - một cách tiếp cận chung và phổ biến trong đó mô hình cố gắng tái tạo đầu vào. Vào năm 2013, các cách nhúng từ vectơ hiệu quả như word2vec đã được đề xuất và thậm chí sớm hơn, vào thế kỷ trước, đã có những ví dụ về thế hệ dựa trên xác suất và dựa trên mẫu, chẳng hạn như chatbot Eliza vào năm 1964. Vì vậy, như chúng ta có thể thấy, ngôn ngữ tự nhiên Các nhiệm vụ và nỗ lực tạo ra (NLG) đã tồn tại trong nhiều năm. Hầu hết người dùng LLM hiện tại, chẳng hạn như ChatGPT, GPT, Gemini, Copilot, Claude, v.v., có thể không biết về điều này vì kết quả không hứa hẹn như sau lần phát hành InstructGPT đầu tiên, nơi OpenAI đề xuất quyền truy cập công khai, thúc đẩy Nó. Sau lần phát hành đầu tiên của ChatGPT vào tháng 11 năm 2022, ChatGPT đã nhận được hàng triệu lượt đề cập trên mạng xã hội. Cuộc tranh luận về quy định AI: Cân bằng giữa đổi mới và an toàn Ngày nay, cộng đồng AI bị chia rẽ về chủ đề rủi ro AI và nhu cầu tuân thủ, một số người ủng hộ các quy định về AI và kiểm soát an toàn trong khi những người khác phản đối chúng. Trong số những người chỉ trích có Yann LeCun, Giám đốc AI của Meta (Facebook), người đã tuyên bố rằng những tác nhân AI như vậy có trí thông minh thậm chí không bằng trí thông minh của một con chó. Nhóm Meta AI (trước đây là Facebook AI Research) là một trong những nhà phát triển các mô hình AI miễn phí và có sẵn công khai như Detectron, Llama, SegmentAnything và ELF, có thể được tải xuống và sử dụng miễn phí chỉ với một số hạn chế về mặt thương mại. Truy cập mở chắc chắn đã được cộng đồng AI trên toàn thế giới đón nhận một cách thuận lợi. Những hệ thống đó vẫn còn rất hạn chế; họ không có bất kỳ hiểu biết nào về thực tế cơ bản của thế giới thực bởi vì họ chỉ được đào tạo về văn bản, một lượng lớn văn bản. — Yann LeCun, Nhà khoa học trưởng về AI tại Meta Những lo ngại liên quan đến các quy định cũng đã được các quan chức nêu ra. Ví dụ, Tổng thống Pháp Emmanuel Macron cảnh báo rằng đạo luật mang tính bước ngoặt của EU được thiết kế để giải quyết sự phát triển của trí tuệ nhân tạo có nguy cơ cản trở các công ty công nghệ châu Âu so với các đối thủ ở Mỹ, Anh và Trung Quốc. Mặt khác, có những người ủng hộ quy định AI. Theo Elon Musk, CEO Tesla, AI là một trong những rủi ro lớn nhất đối với tương lai của nền văn minh. Điều này cũng giống như các đại diện AI không công khai/được trả phí, nhưng ở đây, yếu tố thực sự kích thích vị trí đó có thể là sự cạnh tranh trên thị trường—để hạn chế sự lan rộng của các mô hình AI cạnh tranh. Tổng quan về Đạo luật trí tuệ nhân tạo của EU Năm 2023, quốc hội EU đã thông qua Đạo luật AI, bộ quy tắc toàn diện đầu tiên quản lý việc sử dụng công nghệ AI trong Liên minh Châu Âu. Đạo luật này đặt ra tiền lệ cho việc phát triển và triển khai AI có trách nhiệm và có đạo đức. Các vấn đề chính được giải quyết bởi Đạo luật AI của EU: Thứ nhất, có những hạn chế về mặt logic đối với dữ liệu cá nhân, như đã được nêu trong các tiêu chuẩn khác nhau, như GDPR (EU), APPI (Nhật Bản), HIPPA (Hoa Kỳ) và PIPEDA (Canada), bao gồm việc xử lý dữ liệu cá nhân, nhận dạng sinh trắc học, v.v. Kết nối với điều này là các hệ thống tính điểm hoặc bất kỳ hình thức phân loại con người nào, trong đó sự thiên vị về mô hình có thể có tác động đáng kể, có khả năng dẫn đến sự phân biệt đối xử. Cuối cùng, có hành vi thao túng, trong đó một số mô hình có thể cố gắng tăng bất kỳ KPI kinh doanh nào (tỷ lệ chuyển đổi, mức tiêu thụ quá mức). Chuẩn bị và sử dụng mô hình AI: Những thách thức và mối quan tâm Có nhiều vấn đề và mối quan tâm liên quan đến việc chuẩn bị, sử dụng mô hình và các hoạt động tiềm ẩn khác. Ví dụ: dữ liệu được sử dụng cho đào tạo mô hình bao gồm dữ liệu cá nhân không được cấp phép cho các mục đích đó. Các nhà cung cấp toàn cầu cung cấp các dịch vụ tập trung vào thư từ riêng tư (email) hoặc các tài sản riêng tư khác (ảnh, video) có thể được sử dụng để đào tạo mô hình ở chế độ ẩn mà không cần bất kỳ thông báo nào. Gần đây có một câu hỏi được gửi đến CTO của OpenAI liên quan đến việc sử dụng video riêng tư cho đào tạo SORA, một dịch vụ OpenAI không công khai để tạo video dựa trên truy vấn văn bản, nhưng cô ấy không thể đưa ra câu trả lời rõ ràng. Một vấn đề khác có thể liên quan đến việc ghi nhãn và lọc dữ liệu—chúng tôi không biết đặc điểm cá nhân, kỹ năng, khuôn mẫu và kiến thức của các chuyên gia có liên quan và điều này có thể đưa ra các tuyên bố/nội dung không mong muốn cho dữ liệu. Ngoài ra, còn có một vấn đề về đạo đức—có thông tin cho rằng một số nhà cung cấp GenAI toàn cầu có sự tham gia của các nhà dán nhãn từ Kenya và đã trả lương thấp cho họ. Sự thiên vị của mô hình và cái gọi là ảo giác mô hình, trong đó các mô hình đưa ra câu trả lời không chính xác hoặc sai một phần nhưng có vẻ hoàn hảo, cũng là những vấn đề. Gần đây, nhóm khoa học dữ liệu ELEKS đang nỗ lực cải thiện giải pháp thế hệ tăng cường truy xuất (RAG) của khách hàng, bao gồm việc hiển thị một số dữ liệu cho mô hình và mô hình tóm tắt hoặc cung cấp câu trả lời dựa trên dữ liệu đó. Trong quá trình này, nhóm của chúng tôi nhận ra rằng nhiều mô hình trực tuyến hiện đại (lớn hơn nhưng phải trả phí) hoặc ngoại tuyến (nhỏ hơn và công khai) gây nhầm lẫn giữa tên và số doanh nghiệp. Chúng tôi có dữ liệu chứa báo cáo tài chính và thông tin kiểm toán của một số công ty và yêu cầu là hiển thị doanh thu của công ty A. Tuy nhiên, doanh thu của công ty A không được cung cấp trực tiếp trong dữ liệu và cần phải tính toán. Hầu hết các mô hình, bao gồm cả những người dẫn đầu trong tiêu chuẩn LLM Arena, đều phản hồi sai mức doanh thu thuộc về công ty B. Lỗi này xảy ra do sự kết hợp ký tự một phần giống nhau trong tên các công ty như "Ltd", "Service", v.v. Ở đây, ngay cả việc học nhanh chóng cũng không giúp ích được gì; việc thêm một câu như "nếu bạn không tự tin hoặc thiếu một số thông tin, vui lòng trả lời là không biết" không giải quyết được vấn đề. Một vấn đề khác là về cách biểu diễn bằng số — LLM coi các số là mã thông báo hoặc thậm chí nhiều mã thông báo, như 0,33333 có thể được mã hóa thành '0,3' và '3333' theo phương pháp mã hóa cặp byte, do đó rất khó xử lý các số phức tạp. chuyển đổi mà không cần bộ điều hợp bổ sung. Việc bổ nhiệm Tướng quân đội Hoa Kỳ đã nghỉ hưu Paul M. Nakasone gần đây vào ban giám đốc của OpenAI đã gây ra nhiều phản ứng trái chiều. Một mặt, nền tảng sâu rộng về an ninh mạng và trí thông minh của Nakasone được coi là tài sản quan trọng, có khả năng thực hiện các chiến lược mạnh mẽ để bảo vệ chống lại các cuộc tấn công mạng, điều rất quan trọng đối với một công ty nghiên cứu và phát triển AI. Mặt khác, có những lo ngại về những tác động tiềm ẩn của việc bổ nhiệm Nakasone do nền tảng quân sự và tình báo của ông (cựu Giám đốc Cơ quan An ninh Quốc gia (NSA) và Bộ Tư lệnh Mạng Hoa Kỳ), điều này có thể dẫn đến việc chính phủ tăng cường giám sát và can thiệp. Điều đáng lo ngại là Nakasone có thể tạo điều kiện cho các cơ quan chính phủ truy cập rộng rãi hơn vào dữ liệu và dịch vụ của OpenAI. Vì vậy, một số lo ngại rằng việc chỉ định này có thể ảnh hưởng đến cả việc sử dụng dịch vụ, dữ liệu, yêu cầu của các cơ quan chính phủ và những hạn chế của bản thân dịch vụ. Cuối cùng, còn có những lo ngại khác, chẳng hạn như lỗ hổng mã được tạo, các đề xuất mâu thuẫn, cách sử dụng không phù hợp (vượt qua bài kiểm tra hoặc nhận hướng dẫn về cách tạo bom), v.v. Cách cải thiện việc sử dụng LLM để có kết quả chắc chắn hơn Đầu tiên, điều quan trọng là phải xác định xem việc sử dụng LLM có cần thiết hay không và liệu nó có phải là mô hình nền tảng chung hay không. Trong một số trường hợp, mục đích và nhiệm vụ được phân tách không quá phức tạp và có thể được giải quyết bằng các mô hình ngoại tuyến đơn giản hơn như lỗi chính tả, tạo dựa trên mẫu và phân tích cú pháp/truy xuất thông tin. Ngoài ra, mô hình chung có thể trả lời các câu hỏi không liên quan đến mục đích dự định của việc tích hợp LLM. Có những ví dụ khi công ty khuyến khích tích hợp LLM trực tuyến (ví dụ: GPT, Gemini) mà không có bất kỳ bộ điều hợp bổ sung nào (bộ xử lý trước và sau) và gặp phải hành vi không mong muốn. Ví dụ: người dùng đã yêu cầu chatbot của đại lý ô tô viết tập lệnh Python để giải phương trình dòng chất lỏng Navier-Stokes và chatbot nói: "Chắc chắn rồi! Tôi sẽ làm điều đó." Tiếp theo, đến câu hỏi nên sử dụng LLM nào — công khai và ngoại tuyến hoặc trả phí và ngoại tuyến. Quyết định phụ thuộc vào mức độ phức tạp của nhiệm vụ và khả năng tính toán. Các mô hình trực tuyến và trả phí lớn hơn và có hiệu suất cao hơn, trong khi các mô hình ngoại tuyến và công khai yêu cầu chi phí đáng kể cho việc lưu trữ, thường cần ít nhất 40Gb VRAM. Khi sử dụng các mô hình trực tuyến, điều cần thiết là phải kiểm soát chặt chẽ dữ liệu nhạy cảm được chia sẻ với nhà cung cấp. Thông thường, đối với những việc như vậy, chúng tôi xây dựng mô-đun tiền xử lý có thể xóa thông tin cá nhân hoặc nhạy cảm, chẳng hạn như chi tiết tài chính hoặc thỏa thuận riêng tư mà không thay đổi đáng kể truy vấn để duy trì ngữ cảnh, để lại thông tin như quy mô doanh nghiệp hoặc vị trí gần đúng nếu cần. Bước đầu tiên để giảm độ lệch của mô hình và tránh ảo giác là chọn dữ liệu hoặc bối cảnh phù hợp hoặc xếp hạng các ứng viên (ví dụ: đối với RAG). Đôi khi, biểu diễn vectơ và số liệu tương tự, chẳng hạn như độ tương tự cosin, có thể không hiệu quả. Điều này là do những biến thể nhỏ, như sự hiện diện của từ "không" hoặc những khác biệt nhỏ trong tên (ví dụ: Oracle vs Orache), có thể có tác động đáng kể. Đối với quá trình xử lý hậu kỳ, chúng tôi có thể hướng dẫn mô hình phản hồi bằng "không biết" nếu độ tin cậy thấp và phát triển bộ chuyển đổi xác minh để kiểm tra tính chính xác của các phản hồi của mô hình. Xu hướng mới nổi và định hướng tương lai trong lĩnh vực LLM Có nhiều hướng nghiên cứu trong lĩnh vực LLM và các bài báo khoa học mới xuất hiện hàng tuần. Các bài viết này đề cập đến nhiều chủ đề, bao gồm tối ưu hóa máy biến áp/LLM, độ bền, hiệu quả (chẳng hạn như cách tổng quát hóa các mô hình mà không làm tăng đáng kể kích thước hoặc số lượng tham số của chúng), các kỹ thuật tối ưu hóa điển hình (như chưng cất) và các phương pháp tăng đầu vào (ngữ cảnh) chiều dài. Trong số các hướng khác nhau, những hướng nổi bật trong giai đoạn gần đây bao gồm Hỗn hợp mã thông báo, Hỗn hợp chuyên gia, Hỗn hợp chiều sâu, Bộ khung suy nghĩ, RoPE và Nhắc nhở chuỗi suy nghĩ. Hãy mô tả ngắn gọn ý nghĩa của từng điều này. là một kiến trúc máy biến áp khác. Nó thường có một lớp động bao gồm một số (8 lớp trong Mixtral) hoặc nhiều lớp dày đặc/làm phẳng thể hiện các kiến thức khác nhau. Kiến trúc này bao gồm các phương pháp chuyển đổi hoặc định tuyến, ví dụ: chức năng gating cho phép chọn mã thông báo nào sẽ được xử lý bởi chuyên gia nào, dẫn đến số lượng lớp ("chuyên gia") trên mỗi mã thông báo hoặc nhóm mã thông báo giảm xuống một chuyên gia (lớp chuyển đổi) ). Hỗn hợp các chuyên gia (MoE) Điều này cho phép mở rộng mô hình hiệu quả và cải thiện hiệu suất bằng cách sử dụng các mô hình con (chuyên gia) khác nhau cho các phần đầu vào, làm cho nó hiệu quả hơn so với việc sử dụng một lớp chung và thậm chí lớn hơn. được kết nối với Hỗn hợp các chuyên gia đã đề cập, trong đó chúng tôi nhóm các mã thông báo theo tầm quan trọng của chúng (kích hoạt softmax) cho một chuyên gia cụ thể. Hỗn hợp các mã thông báo Kỹ thuật cũng được kết nối với các MoE đã đề cập, đặc biệt là về mặt định tuyến. Nó nhằm mục đích giảm biểu đồ tính toán (ngân sách tính toán), giới hạn nó ở các mã thông báo hàng đầu sẽ được sử dụng trong cơ chế chú ý. Các mã thông báo được coi là ít quan trọng hơn (ví dụ: dấu chấm câu) cho chuỗi cụ thể sẽ bị bỏ qua. Điều này dẫn đến việc tham gia mã thông báo động, nhưng số lượng mã thông báo k (k mã thông báo hàng đầu) là tĩnh, vì vậy chúng tôi có thể giảm kích thước theo ngân sách điện toán (hoặc k mà chúng tôi đã chọn). Hỗn hợp theo chiều sâu có hiệu quả trong việc mở rộng quy mô LLM và cho phép tạo song song các phần của quá trình hoàn thành (phản hồi mô hình) dựa trên yêu cầu bộ khung chính, bao gồm các điểm có thể được song song hóa. Bộ khung suy nghĩ Có những thách thức khác, chẳng hạn như kích thước đầu vào. Người dùng thường muốn cung cấp cho LLM một lượng lớn thông tin, đôi khi thậm chí là toàn bộ sách, trong khi vẫn giữ nguyên số lượng tham số. Dưới đây là hai phương pháp đã biết và , có thể ngoại suy hoặc có thể nội suy, việc nhúng đầu vào bằng cách sử dụng hệ số tỷ lệ và mã hóa vị trí động, cho phép người dùng tăng độ dài ngữ cảnh khi so sánh mà đã được sử dụng cho việc đào tạo. ALiBi (Lớp chú ý với độ lệch tuyến tính) RoPE (Nhúng vị trí quay) , là một ví dụ về lời nhắc vài lần (người dùng cung cấp sự giám sát cho LLM trong ngữ cảnh), nhằm mục đích chia câu hỏi thành nhiều bước. Hầu hết, nó được áp dụng cho các bài toán suy luận, chẳng hạn như khi bạn có thể chia logic thành một số kế hoạch tính toán. Ví dụ từ bài báo gốc: "Roger có 5 quả bóng tennis. Anh ấy mua thêm 2 lon bóng tennis. Mỗi lon có 3 quả bóng tennis. Hiện tại anh ấy có bao nhiêu quả bóng tennis? Kế hoạch suy nghĩ: Roger bắt đầu với 5 quả bóng. 2 lon trong 3 quả bóng tennis, mỗi quả có 6 quả bóng tennis 5 + 6 = 11. Câu trả lời là 11." Lời nhắc Chuỗi suy nghĩ Ngoài ra còn có nhiều hướng khác và mỗi tuần đều có một số tờ báo quan trọng mới xuất hiện xung quanh chúng. Đôi khi, các nhà khoa học dữ liệu gặp thêm một vấn đề nữa khi theo đuổi tất cả những thách thức và thành tựu này. Người dùng cuối có thể mong đợi gì từ những phát triển AI mới nhất? Ngoài ra còn có nhiều xu hướng, chỉ tóm lại, có thể có những quy định mạnh mẽ hơn về AI, điều này sẽ hạn chế các giải pháp khác nhau và cuối cùng sẽ dẫn đến sự khái quát hóa hoặc phạm vi lĩnh vực của các mô hình có sẵn. Các xu hướng khác chủ yếu là về cải tiến các phương pháp tiếp cận hiện tại, ví dụ: giảm số lượng tham số và bộ nhớ cần thiết (ví dụ: lượng tử hóa hoặc thậm chí LLM 1 bit - trong đó mỗi tham số là ternary (có thể nhận các giá trị -1, 0, 1)). Vì vậy, chúng ta có thể mong đợi LLM ngoại tuyến hoặc Máy biến áp khuếch tán (DiT – mô hình Khuếch tán hiện đại và người kế thừa Visual Transformers (chính cho các tác vụ tạo hình ảnh)) chạy ngay cả trên điện thoại của chúng ta (ngày nay, có một số ví dụ, chẳng hạn như mô hình Phi-2 của Microsoft với tốc độ tạo khoảng 3-10 mã thông báo mỗi giây trên các thiết bị Android dựa trên Snapdragon hiện đại). Ngoài ra, sẽ có tính năng cá nhân hóa nâng cao hơn (sử dụng tất cả trải nghiệm và phản hồi của người dùng trước đó để cung cấp kết quả phù hợp hơn), thậm chí lên đến bản sao kỹ thuật số. Nhiều thứ khác sẽ được cải tiến và hiện có sẵn – trợ lý/tùy chỉnh mô hình và thị trường, một mô hình cho mọi thứ (hướng đa phương thức), bảo mật (một cơ chế hiệu quả hơn để làm việc với dữ liệu cá nhân, mã hóa dữ liệu, v.v.) và người khác. Bạn đã sẵn sàng khai phá tiềm năng của AI cho doanh nghiệp của mình chưa? t. Liên hệ với chuyên gia ELEKS