Nè mọi người! và cũng giống như bạn, tôi rất thích thú với những tiến bộ gần đây của trí tuệ nhân tạo. Nhận thấy rằng tôi cần phải theo kịp mọi sự phát triển đang diễn ra, tôi quyết định bắt tay vào hành trình học tập cá nhân, thế là đã ra đời! Với loạt bài này, tôi sẽ tìm hiểu về LLM và chia sẻ ý tưởng, thử nghiệm, ý kiến, xu hướng và bài học thông qua các bài đăng trên blog của mình. Bạn có thể theo dõi hành trình trên HackerNoon hoặc trang web cá nhân của tôi . Trong bài viết hôm nay, chúng ta sẽ tìm cách xây dựng Hạt nhân ngữ nghĩa với sự trợ giúp của GPT-4. , Tôi là Nataraj 100 ngày AI tại đây tại đây Có rất nhiều điều đang xảy ra trong không gian AI tổng hợp. Nhiều đến mức Nvidia, nhà buôn vũ khí của trí tuệ nhân tạo với chip H100, hiện đã vượt qua mức định giá thị trường của Amazon. Đây cũng là một không gian rất năng động với nhiều hoạt động từ các công ty khởi nghiệp và các công ty công nghệ lớn. Trong bài đăng này, tôi sẽ nêu bật ba xu hướng lớn mà chúng ta có thể thấy trong 12-18 tháng tới. 1 – Ưu đãi dữ liệu Trong hai thập kỷ qua, chúng ta liên tục nói rằng . Cụm từ này sẽ có ý nghĩa thực sự trong năm nay. Rất nhiều công ty đã tích lũy các bộ dữ liệu độc đáo và tìm thấy sản phẩm thực sự phù hợp với thị trường. Gần đây, một tin tức nổ ra rằng Reddit đã thực hiện một thỏa thuận truy cập vào dữ liệu của mình cho một công ty giấu tên với giá 60 triệu USD. Các điều khoản của thỏa thuận vẫn chưa được biết nhưng đó là doanh thu mới 60 triệu đô la cho Reddit. Hãy để ý tới nhiều ưu đãi hơn từ các công ty có bộ dữ liệu độc đáo. dữ liệu là loại dầu mới 2 – Tập trung vào các mô hình nguồn mở Kể từ khi Open AI ra mắt chat gpt, cuộc trò chuyện chủ yếu là các mô hình cơ sở của dòng gpt là các mô hình đóng, nghĩa là không ai ngoại trừ nhóm Open AI biết chi tiết về cách mô hình được đào tạo, dữ liệu nào được đào tạo và các thông số của mô hình. người mẫu. Chúng ta sẽ thấy nhiều mô hình Nguồn mở hơn xuất hiện và thu hút sự chú ý. Người chơi chính trong lĩnh vực này cần chú ý là Meta (Facebook). Meta đang đưa trang này ra khỏi cách tiếp cận của Google trên thiết bị di động. Trong khi hệ điều hành di động của Apple bị đóng cửa, chiến lược của Google là trở thành một hệ điều hành di động nguồn mở cung cấp năng lượng cho hơn 80% điện thoại di động trên thế giới. Vì vậy hãy để mắt đến Meta. 3 – Mô hình ngôn ngữ nhỏ AI mở đã chứng minh cho thế giới thấy sức mạnh của Mô hình ngôn ngữ lớn (LLM) là gì. Nhưng vì mọi công ty trong lĩnh vực AI đang chạy đua để xây dựng các sản phẩm và tính năng sẵn sàng cho sản phẩm và cố gắng thuyết phục các doanh nghiệp áp dụng AI cho hoạt động kinh doanh của họ. LLM có thể không phải lúc nào cũng là giải pháp tốt nhất. Một mô hình nhỏ hơn có thể cần ít tính toán hơn để đào tạo và sử dụng ít dữ liệu hơn nhưng chất lượng cao hơn thực sự có thể sẽ tốt hơn. Những mô hình này được gọi là SLM có thể chạy trên điện thoại di động, điều này sẽ giúp tăng khả năng tiếp cận AI với nhiều đối tượng hơn. Một số SLM cần kiểm tra là: Phi của Microsoft Orca của Microsoft T5 của Google Một trong những mục tiêu chính buộc phải thích ứng và đổi mới với SML là giảm chi phí tính toán và từ đó làm cho AI dễ tiếp cận hơn. 4 – Tập trung vào Bảo mật LLM Tôi không nói về bảo mật dữ liệu để đào tạo LLM. Tôi đang đề cập đến những trường hợp người dùng có thể hack LLM để làm điều gì đó mà họ không được phép làm hoặc chỉ phá vỡ chúng. Có rất nhiều vấn đề bảo mật đang nảy sinh về cách hack các hành vi LLM. Một số bao gồm: để khiến LLM trả lời một điều mà lẽ ra họ không nên sản xuất chất cấm tại nhà. Bẻ khóa để ẩn các hướng dẫn nhắc nhở làm hỏng LLM Nhắc nhở là việc nhúng dữ liệu xấu trên internet mà LLM sẽ sử dụng và sau này có thể bị sử dụng sai mục đích. Ngộ độc dữ liệu Ngày càng có nhiều cách mà chúng tôi phát hiện ra rằng LLM có thể bị xâm phạm khi chúng tôi sửa những lỗi mà chúng tôi đã biết. Đây sẽ là một trong những lĩnh vực hoạt động sẽ đạt được tiến bộ vào năm 2024 cả về mặt nghiên cứu và sản phẩm. 5 – Ý nghĩa pháp lý Rõ ràng là AI sẽ có ý nghĩa rất lớn đối với xã hội trên tất cả các lĩnh vực. Nó sẽ đi qua mọi khía cạnh của xã hội và như chúng ta đã thấy mọi công ty lớn đều công bố các sáng kiến và đầu tư AI lớn vào AI trong giai đoạn 2022-2023. Microsoft đầu tư vào Open AI & Inflection Google & Amazon đầu tư vào Anthropic Jeff Bezos đầu tư vào Perplexity Airbnb mua lại một công ty AI tàng hình có tên gameplanner.ai Các cơ quan quản lý đã tập trung vào công nghệ lớn, điều này đã ngăn cản họ thực hiện bất kỳ hoạt động mua lại nào trong 3 năm qua. Với bối cảnh này, chúng ta sẽ thấy các cơ quan quản lý ở cả Hoa Kỳ và EU theo dõi chặt chẽ các khoản đầu tư vào Ai và cũng có khả năng giải quyết một số khoản đầu tư. Các khoản đầu tư được thực hiện chủ yếu để tránh các vụ mua lại vì những người đang điều hành các công ty công nghệ lớn biết rằng việc được chấp thuận sẽ là một cuộc chiến khó khăn. Nhưng ngay cả một số khoản đầu tư này cũng có thể bị giám sát chặt chẽ. Thế là xong Ngày thứ 14 trong 100 Ngày của AI. Tôi viết một bản tin có tên Trên mức trung bình, nơi tôi nói về những hiểu biết sâu sắc thứ hai đằng sau mọi thứ đang diễn ra trong ngành công nghệ lớn. Nếu bạn làm trong lĩnh vực công nghệ và không muốn ở mức trung bình, . hãy đăng ký theo dõi Theo dõi tôi trên , hoặc để biết thông tin cập nhật mới nhất về 100 ngày của AI. Nếu bạn làm trong lĩnh vực công nghệ, bạn có thể muốn tham gia cộng đồng các chuyên gia công nghệ của tôi . Twitter LinkedIn HackerNoon tại đây
