Việc phát triển các mô hình ngôn ngữ lớn đòi hỏi phải đầu tư đáng kể về thời gian và tài nguyên GPU, dẫn trực tiếp đến chi phí cao. Mô hình càng lớn thì những thách thức này càng trở nên rõ ràng hơn.  Gần đây, Yandex đã giới thiệu một giải pháp mới:   , một công cụ nguồn mở hứa hẹn sẽ cách mạng hóa việc đào tạo LLM bằng cách giảm đáng kể mức tiêu thụ tài nguyên GPU và thời gian đào tạo. Trong kịch bản đào tạo trước liên quan đến một mô hình có 70 tỷ tham số, việc sử dụng YaFSDP có thể tiết kiệm tài nguyên của khoảng 150 GPU. Điều này có nghĩa là có thể tiết kiệm được hàng tháng khoảng 0,5 đến 1,5 triệu USD, tùy thuộc vào nhà cung cấp hoặc nền tảng GPU ảo. YaFSDP  Yandex đã cung cấp YaFSDP công khai trên  .   GitHub   Thách thức của đào tạo LLM phân tán  Việc đào tạo LLM trên nhiều GPU bao gồm các hoạt động phức tạp dẫn đến kém hiệu quả và tiêu tốn nhiều bộ nhớ. Một trong những vấn đề chính là nhu cầu gửi và nhận lượng dữ liệu khổng lồ giữa các GPU. Chẳng hạn, trong một hoạt động all_reduce điển hình, lượng dữ liệu gradient gấp đôi so với các tham số mạng phải được truyền đạt. Trong trường hợp mẫu Llama 70B, điều này có nghĩa là truyền 280 GB dữ liệu mỗi lần lặp.  Hơn nữa, trọng số, độ dốc và trạng thái tối ưu hóa được nhân đôi trên các GPU, dẫn đến tải bộ nhớ rất lớn. Model Llama 70B và trình tối ưu hóa Adam yêu cầu bộ nhớ trên 1 TB, vượt xa dung lượng bộ nhớ 80 GB thông thường của hầu hết các GPU. Sự dư thừa này làm chậm nghiêm trọng quá trình đào tạo và thường khiến việc lắp các mô hình có kích thước vừa phải vào bộ nhớ GPU là không thực tế.   Giới thiệu YaFSDP  YaFSDP của Yandex cung cấp giải pháp hiệu quả cao cho những thách thức này. Bằng cách tập trung vào việc tối ưu hóa mức tiêu thụ bộ nhớ và loại bỏ các tắc nghẽn giao tiếp, YaFSDP nâng cao hiệu quả đào tạo LLM. Nó hoạt động bằng cách phân chia các lớp thay vì tham số riêng lẻ, duy trì liên lạc hiệu quả và tránh các hoạt động dư thừa. Ngoài ra, YaFSDP phân bổ trước bộ đệm cho tất cả dữ liệu cần thiết, đảm bảo rằng bộ cấp phát Torch không gây ra sự thiếu hiệu quả.  YaFSDP hoạt động bằng cách sử dụng hai bộ đệm cho trọng số và độ dốc trung gian, với các lớp lẻ sử dụng một bộ đệm và các lớp chẵn sử dụng bộ đệm kia.   Trọng số từ các lớp khác nhau được lưu trữ trong cùng một bộ nhớ. Nếu các lớp có cấu trúc giống nhau thì chúng sẽ luôn giống hệt nhau. Điều quan trọng là phải đảm bảo rằng khi bạn cần lớp X, bộ đệm chứa các trọng số cho lớp X. Tất cả các tham số sẽ được lưu trữ trong đoạn bộ nhớ tương ứng trong bộ đệm.    Tiêu thụ bộ nhớ  Trong quá trình đào tạo, người sử dụng bộ nhớ chính là trọng số, độ dốc, trạng thái tối ưu hóa, bộ đệm và kích hoạt. YaFSDP giảm đáng kể mức tiêu thụ bộ nhớ bằng cách tối ưu hóa cách lưu trữ và truy cập các phần tử này.    : Những điều này phụ thuộc vào số lượng quy trình và mức tiêu thụ bộ nhớ của chúng có xu hướng tiến gần đến 0 khi số lượng quy trình tăng lên. Bằng cách phân chia các thành phần này trên các GPU, YaFSDP giảm thiểu sự trùng lặp và do đó giảm mức sử dụng bộ nhớ. Trọng số, Độ dốc và Trạng thái tối ưu hóa    tiêu thụ một lượng bộ nhớ không đổi và lưu trữ các giá trị trung gian trong quá trình tính toán. Bộ đệm    tùy thuộc vào kích thước mô hình và số lượng mã thông báo được xử lý trên mỗi GPU. Kích hoạt   Điểm kiểm tra kích hoạt  Điểm kiểm tra kích hoạt là một kỹ thuật chỉ lưu trữ các kích hoạt cần thiết trong quá trình chuyển tiếp và tính toán lại chúng trong quá trình chuyển ngược. Điều này làm giảm đáng kể dung lượng bộ nhớ vì chỉ những dữ liệu cần thiết mới được lưu trữ. Ví dụ: khi đào tạo mô hình Llama 2 70B với kích thước lô là 8192 mã thông báo, bộ nhớ kích hoạt có thể giảm từ hơn 110 GB xuống chỉ còn 5 GB.  Tuy nhiên, cách tiếp cận này đưa ra thêm chi phí tính toán mà YaFSDP cho phép tránh bằng cách không sử dụng điểm kiểm tra kích hoạt cho một số lớp, điều này có thể xảy ra do tối ưu hóa bộ nhớ.   Tối ưu hóa truyền thông  YaFSDP cải thiện hiệu quả giao tiếp GPU bằng cách đảm bảo rằng dữ liệu chỉ được truyền khi cần thiết và bằng cách chồng chéo giao tiếp với tính toán. Nó sử dụng các luồng CUDA để quản lý các tính toán và liên lạc đồng thời một cách hiệu quả.  Công cụ này sử dụng hai luồng: luồng tính toán và luồng giao tiếp. Các sự kiện đồng bộ hóa các luồng này, đảm bảo rằng các hoạt động được thực hiện theo đúng thứ tự mà không gây ra bế tắc.   Quá trình chuyển tiếp trên lớp thứ ba không bắt đầu cho đến khi thao tác all_gather hoàn tất (điều kiện 1). Tương tự, thao tác all_gather trên lớp thứ ba sẽ không bắt đầu cho đến khi quá trình chuyển tiếp trên lớp đầu tiên sử dụng cùng bộ đệm được hoàn thành (điều kiện 2). Vì không có chu trình nào trong sơ đồ này nên bế tắc là không thể xảy ra.   Kết quả thử nghiệm và hiệu suất đạt được  Việc triển khai YaFSDP đã cho thấy sự cải thiện rõ rệt về hiệu quả đào tạo. Trong kịch bản đào tạo trước với mô hình có 70 tỷ tham số, YaFSDP có thể tiết kiệm tài nguyên của khoảng 150 GPU. Điều này giúp tiết kiệm đáng kể chi phí hàng tháng, dao động từ 0,5 đến 1,5 triệu USD, tùy thuộc vào nhà cung cấp hoặc nền tảng GPU ảo.  YaFSDP giảm thời gian đào tạo tới 26% so với các phương pháp hiện có như FSDP và tối ưu hóa việc sử dụng bộ nhớ, giúp đào tạo các mô hình lớn hơn hiệu quả hơn.   Yandex đã cung cấp YaFSDP công khai trên  . Các kỹ sư ML có thể tận dụng công cụ này để nâng cao hiệu quả của quá trình đào tạo LLM của họ. Bằng cách cung cấp nguồn mở cho YaFSDP, Yandex đặt mục tiêu thúc đẩy sự đổi mới và hợp tác trong cộng đồng AI, cho phép các nhà phát triển đào tạo các mô hình nhanh hơn và tiết kiệm chi phí hơn.   GitHub  YaFSDP thể hiện một bước tiến đáng kể trong đào tạo LLM. Việc giải quyết các thách thức quan trọng về mức tiêu thụ bộ nhớ và sự kém hiệu quả trong giao tiếp cho phép đào tạo các mô hình ngôn ngữ lớn nhanh hơn và hiệu quả hơn.

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

YaFSDP - Công cụ đào tạo LLM giúp cắt giảm 20% mức sử dụng GPU - Hiện đã ra mắt

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

223 Stories To Learn About Science

309 Stories To Learn About Smart Contracts

581 Stories To Learn About Non Fiction

94 Stories To Learn About John Locke

223 Stories To Learn About Science

309 Stories To Learn About Smart Contracts

581 Stories To Learn About Non Fiction

94 Stories To Learn About John Locke

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps