Qwen của Alibaba: Mô hình AI Trung Quốc thách thức Thung lũng Silicon

Tác giả : Nguyễn Bằng Shuai Bai Yunfei Chu Zeyu Cui Khi nguy hiểm Xiaodong Deng Fan ơi Nguyễn Thành Yu Han Huang Huang Nguyễn Thị Hương Luo Ji Mẹ Li Nguyễn Lin Lãnh đạo Lin Dayiheng Liu Gao Liu Chengqiang Lu Keming Lu Jianxin Ma Rui Men Xingzhang Ren Xuancheng Ren Chuanqi Tan Nguyễn Tan Jianhong Tu Tiền Wang Tiểu Vương Wei Wang Shengguang Wu Benfeng Xu Jin Xu An Yang Hao Yang Jian Yang Shusheng Yang Yang Yao Bowen Yu Hongyi Yuan Zheng Yuan Jianwei Zhang Xingxuan Zhang Yichang Zhang Zhenru Zhang Chang Zhou Jingren Zhou Xiaohuan Zhou Tianhang Zhu Qwen Team, Tập đoàn Alibaba Tác giả : Nguyễn Bằng Thảo Bai Yến Chu Zeyu Cui Khi nguy hiểm Tiền Giang Deng Fan ơi Nguyễn Thành Yến Han Huang Huang Nguyễn Thị Hương Luo Ji Mẹ Li Nguyễn Lin Lãnh đạo Lin Lời bài hát: Dayiheng Liu Lời bài hát Gao Liu Chengqiang Lu Đến Lu Nguyễn Văn Ma Rui đàn ông Xingzhang Ren Nguyễn Thị Hương Chuanqi Tan Nguyễn Tan Jianhong Tu Tiền Wang Tiểu Vương Ông Wang Thảo Luận Wu Benfeng Xu Jin Xu Một Yang Hà Nội Yang Tiểu Dương Shusheng Yang Yến Yao Bowen Yu Yuan Hà Nội Zheng Yuan Đạo diễn: Jianwei Zhang Xingxuan Zhang Yichang Zhang Zhenru Zhang Chang Zhou Đạo diễn Zhou Xiaohuan Zhou Tianhang Zhu Qwen Team, Alibaba Group Abstracts Các mô hình ngôn ngữ lớn (LLM) đã cách mạng hóa lĩnh vực trí tuệ nhân tạo, cho phép các nhiệm vụ xử lý ngôn ngữ tự nhiên trước đây được cho là độc quyền cho con người. , phần đầu tiên của loạt mô hình ngôn ngữ lớn của chúng tôi. QWEN là một loạt mô hình ngôn ngữ toàn diện bao gồm các mô hình khác nhau với số lượng tham số khác nhau. Nó bao gồm QWEN, các mô hình ngôn ngữ được đào tạo trước cơ bản, và QWEN-CHAT, các mô hình trò chuyện phù hợp với các kỹ thuật điều chỉnh con người. Các mô hình ngôn ngữ cơ bản liên tục thể hiện hiệu suất vượt trội trên nhiều nhiệm vụ tiếp theo, và các mô hình trò chuyện, đặc biệt là những người được đào tạo bằng cách sử dụng Reinforcement Learning from Human Feedback (RLHF), rất cạnh tranh. Các mô hình trò chuyện có khả năng sử dụng công cụ và lập kế hoạch tiên tiến để tạo các ứng dụng đại lý, thể hiện hiệu suất ấn tượng ngay cả khi so sánh với các mô hình lớn hơn trên các nhiệm vụ phức tạp như sử 1 1 Giới thiệu Các mô hình ngôn ngữ lớn (LLMs) đã cách mạng hóa lĩnh vực trí tuệ nhân tạo (AI) bằng cách cung cấp một nền tảng mạnh mẽ cho lập luận phức tạp và các nhiệm vụ giải quyết vấn đề. Những mô hình này có khả năng nén kiến thức rộng lớn vào các mạng thần kinh, làm cho chúng trở thành các đại lý vô cùng linh hoạt. Với giao diện trò chuyện, LLM có thể thực hiện các nhiệm vụ trước đây được cho là lĩnh vực độc quyền của con người, đặc biệt là những người liên quan đến sự sáng tạo và chuyên môn Họ có thể tham gia vào các cuộc trò chuyện ngôn ngữ tự nhiên với con người, trả lời các câu hỏi, cung cấp thông tin và thậm chí tạo ra nội dung sáng tạo như câu chuyện, bài thơ và âm nhạc. (Radford et al. và người khác) năm 2018; Devlin và al. năm 2018; Raffles và al. năm 2020; màu nâu và al, năm 2020; Mở cửa, năm 2023; Chowdhery và al. năm 2022; Anil và al. năm 2023; Thụy Điển et al. năm 2022; Touvron và al, năm 2023a;b) Mở rộng, năm 2022; Ouyang et al, năm 2022; Anil và al, năm 2023; của Google, năm 2023; Nhân chủng, Năm 2023a; b). LLM không chỉ giới hạn trong các nhiệm vụ ngôn ngữ. họ cũng có thể hoạt động như một đại lý tổng quát hợp tác với các hệ thống, công cụ và mô hình bên ngoài để đạt được các mục tiêu do con người đặt ra. ví dụ, LLM có thể hiểu các hướng dẫn đa phương thức thực hiện code Sử dụng công cụ Điều này mở ra một thế giới hoàn toàn mới của khả năng cho các ứng dụng AI, từ xe tự lái và robot đến chăm sóc sức khỏe và tài chính. Khi các mô hình này tiếp tục phát triển và cải thiện, chúng ta có thể mong đợi thấy các ứng dụng sáng tạo và thú vị hơn trong những năm tới.Dù nó giúp chúng ta giải quyết các vấn đề phức tạp, tạo ra các hình thức giải trí mới, hoặc biến đổi cách chúng ta sống và làm việc, LLMs sẵn sàng đóng một vai trò trung tâm trong việc định hình tương lai của AI. (Trích từ Reed et al., năm 2022; Ba và al, Năm 2022A Ông Wang et al. Năm 2023A xe ô tô, năm 2023; Hà Nội et al. năm 2023), Mở rộng, năm 2023; Ba và al, năm 2023; Liu và al. Năm 2023A Ông và al, năm 2023; Dai et al, năm 2023; Nguyễn và al, năm 2023b) (Thanh và al, năm 2021; Zheng et al, năm 2023; Li và al, năm 2023), (Thuyết minh và al. năm 2023; Công ty LangChain, Inc. năm 2023; xe ô tô, năm 2023), Mặc dù khả năng ấn tượng của họ, LLM thường bị chỉ trích vì thiếu khả năng tái tạo, khả năng điều khiển và khả năng tiếp cận với các nhà cung cấp dịch vụ. Trong công việc này, chúng tôi rất vui mừng khi trình bày và phát hành phiên bản ban đầu của loạt LLM của chúng tôi, QWEN. QWEN là một tên gọi có nguồn gốc từ cụm từ Trung Quốc Qianwen, dịch thành "hàng ngàn lời nhắc" và truyền tải ý tưởng nắm lấy một loạt các truy vấn. QWEN là một loạt các mô hình ngôn ngữ toàn diện bao gồm các mô hình riêng biệt với số lượng tham số khác nhau. Dòng mô hình bao gồm các mô hình ngôn ngữ cơ bản được đào tạo trước, mô hình trò chuyện được tinh chỉnh với các kỹ thuật sắp xếp của con người, tức là finetuning được giám sát (SFT), tăng cường học tập với phản hồi Các mô hình ngôn ngữ cơ bản, cụ thể là QWEN, đã trải qua đào tạo rộng rãi bằng cách sử dụng lên đến 3 nghìn tỷ token văn bản và mã khác nhau, bao gồm một loạt các lĩnh vực. 2. các mô hình QWEN-CHAT đã được tinh chỉnh cẩn thận trên một bộ dữ liệu được quản lý có liên quan đến thực hiện nhiệm vụ, trò chuyện, sử dụng công cụ, đại lý, an toàn, v.v. Đánh giá tiêu chuẩn cho thấy rằng các mô hình SFT có thể đạt được hiệu suất vượt trội. Hơn nữa, chúng tôi đã đào tạo các mô hình phần thưởng để bắt chước sở thích của con người và áp dụng chúng trong RLHF cho các mô hình trò chuyện có thể tạo ra các phản ứng được yêu thích bởi con người. Thông qua việc đánh giá con người của một thử nghiệm đầy thử thách, chúng tôi thấy rằng các mô hình QWEN-CHAT được đào tạo với RLHF rất cạnh tranh, vẫn còn đứng sau GPT-4 trên tiêu chuẩn của chúng tôi. Ngoài ra, chúng tôi giới thiệu các mô hình chuyên ngành được gọi là CODE-QWEN, bao gồm CODE-QWEN-7B và CODE-QWEN-14B, cũng như các mô hình trò chuyện của họ, CODE-QWEN-14B-CHAT và CODE-QWEN-7B-CHAT. Đặc biệt, CODE-QWEN đã được đào tạo trước về các tập dữ liệu mã rộng lớn và được điều chỉnh tốt hơn để xử lý các cuộc trò chuyện liên quan đến việc tạo ra mã, xử lý lỗi và giải thích. MBPP và HumanEvalPack thể hiện trình độ cao của CODE-QWEN trong việc hiểu và tạo ra mã. (Thanh và al, năm 2021), (Austin và al., năm 2021), (Truyền sư và al., năm 2023), Nghiên cứu này cũng giới thiệu MATH-QWEN-CHAT được thiết kế đặc biệt để giải quyết các vấn đề toán học. kết quả của chúng tôi cho thấy cả MATH-QWEN-7B-CHAT và MATH-QWEN-14B-CHAT đều vượt trội so với các mô hình mã nguồn mở ở cùng kích thước với lợi nhuận lớn và đang tiếp cận GPT-3.5 trên các bộ dữ liệu tham chiếu liên quan đến toán học như GSM8K Toán học (Côbê và al, năm 2021) (Nhân vật và al. năm 2021). Ngoài ra, chúng tôi có QWEN-VL và QWEN-VL-CHAT mã nguồn mở, có khả năng đa năng để hiểu các hướng dẫn thị giác và ngôn ngữ. Những mô hình này vượt trội hơn các mô hình ngôn ngữ thị giác mã nguồn mở hiện tại trên các tiêu chuẩn đánh giá khác nhau và hỗ trợ nhận dạng văn bản và định vị thị giác trong cả hai ngôn ngữ Trung Quốc và tiếng Anh. Hơn nữa, các mô hình này cho phép hội thoại đa hình ảnh và kể chuyện. Ba và al. ( 2023 ) Bây giờ, chúng tôi chính thức mã nguồn mở các mô hình 14B-parameter và 7B-parameter cơ sở được đào tạo trước QWEN và các mô hình trò chuyện phù hợp QWEN-CHAT Bản phát hành này nhằm mục đích cung cấp các LLM toàn diện và mạnh mẽ hơn ở quy mô thân thiện với nhà phát triển hoặc ứng dụng. 2 Cấu trúc của báo cáo này như sau: Phần mô tả cách tiếp cận của chúng tôi để đào tạo trước và kết quả của QWEN. phần bao gồm phương pháp của chúng tôi để sắp xếp và báo cáo kết quả của cả hai đánh giá tự động và đánh giá của con người. Ngoài ra, phần này mô tả chi tiết về những nỗ lực của chúng tôi trong việc xây dựng các mô hình trò chuyện có khả năng sử dụng công cụ, phiên dịch mã và đại lý. và chúng tôi đi sâu vào các mô hình chuyên ngành của mã hóa và toán học và hiệu suất của họ. cung cấp một cái nhìn tổng quan về các công việc liên quan, và phần kết thúc bài báo này và chỉ ra công việc tương lai của chúng tôi. 2 3 4 5 , 6 7 2 Đào tạo Giai đoạn đào tạo trước liên quan đến việc học một lượng lớn dữ liệu để có được một sự hiểu biết toàn diện về thế giới và sự phức tạp khác nhau của nó. Điều này bao gồm không chỉ khả năng ngôn ngữ cơ bản mà còn các kỹ năng tiên tiến như toán học, mã hóa và lý luận logic. Trong phần này, chúng tôi giới thiệu dữ liệu, thiết kế mô hình và quy mô, cũng như kết quả đánh giá toàn diện trên các bộ dữ liệu chuẩn. 2.1 Dữ liệu Kích thước của dữ liệu đã được chứng minh là một yếu tố quan trọng trong việc phát triển một mô hình ngôn ngữ lớn mạnh mẽ, như được nhấn mạnh trong nghiên cứu trước đây. Để tạo ra một tập dữ liệu trước đào tạo hiệu quả, điều cần thiết là đảm bảo rằng dữ liệu là đa dạng và bao gồm một loạt các loại, lĩnh vực và nhiệm vụ. tập dữ liệu của chúng tôi được thiết kế để đáp ứng các yêu cầu này và bao gồm các tài liệu web công cộng, bách khoa, sách, mã, vv Ngoài ra, tập dữ liệu của chúng tôi là đa ngôn ngữ, với một phần đáng kể của dữ liệu bằng tiếng Anh và tiếng Trung. (Thanh Hùng et al., năm 2022; Thảo và al. năm 2023b). Để đảm bảo chất lượng của dữ liệu trước khi đào tạo của chúng tôi, chúng tôi đã phát triển một quy trình xử lý dữ liệu toàn diện. Đối với dữ liệu web công cộng, chúng tôi trích xuất văn bản từ HTML và sử dụng các công cụ nhận dạng ngôn ngữ để xác định ngôn ngữ. Để tăng sự đa dạng của dữ liệu của chúng tôi, chúng tôi sử dụng các kỹ thuật deduplication, bao gồm deduplication chính xác sau khi chuẩn hóa và deduplication mờ bằng cách sử dụng thuật toán MinHash và LSH. Để lọc dữ liệu chất lượng thấp, chúng tôi sử dụng sự kết hợp của các phương pháp dựa trên quy tắc và dựa trên máy học. Đặc biệt, chúng tôi sử dụng nhiều mô hình để xếp hạng nội dung, bao gồm các mô hình ngôn ngữ, mô hình xếp hạng chất lượng văn bản và mô hình để xác định nội dung có khả năng gây tổn hại hoặc không đã được chứng minh rằng việc chuẩn bị các mô hình ngôn ngữ với các hướng dẫn đa nhiệm vụ có thể cải thiện hiệu suất zero-shot và few-shot của họ. Để nâng cao hơn nữa hiệu suất của mô hình của chúng tôi, chúng tôi đã kết hợp dữ liệu hướng dẫn chất lượng cao vào quá trình chuẩn bị của chúng tôi. Để bảo vệ tính toàn vẹn của đánh giá tiêu chuẩn của chúng tôi, chúng tôi đã áp dụng cách tiếp cận tương tự như và cẩn thận loại bỏ bất kỳ mẫu hướng dẫn nào thể hiện sự trùng lặp 13 gram với bất kỳ dữ liệu nào có trong các bộ thử nghiệm được sử dụng trong đánh giá của chúng tôi. (Thuyết minh và al. năm 2022; Nguyễn Thị Hương et al. năm 2021; Raffles và al. năm 2020), Brown và al. (2020) của tôi Do số lượng lớn các nhiệm vụ tiếp theo, không thể lặp lại quá trình lọc này cho tất cả các nhiệm vụ. Thay vào đó, chúng tôi đã đảm bảo rằng dữ liệu hướng dẫn cho các nhiệm vụ được báo cáo đã trải qua quá trình lọc của chúng tôi để đảm bảo độ chính xác và độ tin cậy của chúng. 2.2 Token hóa Thiết kế từ vựng có tác động đáng kể đến hiệu quả đào tạo và hiệu suất nhiệm vụ tiếp theo. Trong nghiên cứu này, chúng tôi sử dụng mã hóa đôi byte (BPE) như phương pháp token hóa của chúng tôi, sau GPT-3.5 và GPT-4. và chọn cơ sở từ vựng cl100k làm điểm khởi đầu của chúng tôi. Để nâng cao hiệu suất của mô hình của chúng tôi trên các nhiệm vụ đa ngôn ngữ, đặc biệt là tiếng Trung, chúng tôi tăng từ vựng bằng các ký tự và từ tiếng Trung thường được sử dụng, cũng như những từ trong các ngôn ngữ khác. chúng tôi đã chia số thành các chữ số duy nhất. Kích thước từ vựng cuối cùng là khoảng 152K. (Nhân vật năm 2022), Thảo và al. (2023a; b) Hiệu suất của tokenizer QWEN về nén được mô tả trong Hình Trong so sánh này, chúng tôi đã đánh giá QWEN so với một số tokenizers khác, bao gồm XLM-R Lời bài hát Bồ Đào Nha Trong nội bộ Những phát hiện của chúng tôi cho thấy rằng QWEN đạt được hiệu quả nén cao hơn so với đối thủ cạnh tranh của nó trong hầu hết các ngôn ngữ. Điều này ngụ ý rằng chi phí phục vụ có thể được giảm đáng kể vì một số lượng nhỏ các token từ QWEN có thể truyền tải nhiều thông tin hơn so với đối thủ cạnh tranh của nó. Hơn nữa, chúng tôi đã tiến hành các thí nghiệm sơ bộ để đảm bảo rằng việc mở rộng quy mô từ vựng của QWEN không ảnh hưởng tiêu cực đến hiệu suất downstream của mô hình được đào tạo trước. 3. (Nhân vật và al, năm 2019), (Tác giả et al. năm 2023a) (Công ty Inc. năm 2023a) (InternLM Team, năm 2023). 2.3 Architecture QWEN is designed using a modified version of the Transformer architecture. Specifically, we have adopted the recent open-source approach of training large language models, LLaMA which is widely regarded as the top open-source LLM. Our modifications to the architecture include: (Touvron et al., 2023a), . Based on preliminary experimental findings, we have opted for the untied embedding approach instead of tying the weights of input embedding and output projection. This decision was made in order to achieve better performance with the price of memory costs. Embedding and output projection . We have chosen RoPE (Rotary Positional Embedding) as our preferred option for incorporating positional information into our model. RoPE has been widely adopted and has demonstrated success in contemporary large language models, notably PaLM and LLaMA In particular, we have opted to use FP32 precision for the inverse frequency matrix, rather than BF16 or FP16, in order to prioritize model performance and achieve higher accuracy. Positional embedding (Su et al., 2021) (Chowdhery et al., 2022; Anil et al., 2023) (Touvron et al., 2023a;b). . For most layers, we remove biases following but we add biases in the QKV layer of attention to enhance the extrapolation ability of the model Bias Chowdhery et al. (2022), (Su, 2023b). . In modern Transformer models, pre-normalization is the most widely used approach, which has been shown to improve training stability compared to post-normalization. Recent research has suggested alternative methods for better training stability, which we plan to explore in future versions of our model. Additionally, we have replaced the traditional layer normalization technique described in with RMSNorm This change has resulted in equivalent performance while also improving efficiency. Pre-Norm & RMSNorm (Ba et al., 2016) (Jiang et al., 2023). . We have selected SwiGLU as our activation function, a combination of Swish and Gated Linear Unit Our initial experiments have shown that activation functions based on GLU generally outperform other baseline options, such as GeLU As is common practice in previous research, we have reduced the dimension of the feed-forward network (FFN) from 4 times the hidden size to 8/3 of the hidden size. Activation function (Shazeer, 2020) (Ramachandran et al., 2017) (Dauphin et al., 2017). (Hendrycks & Gimpel, 2016). 2.4 Training To train QWEN, we follow the standard approach of autoregressive language modeling, as described in This involves training the model to predict the next token based on the context provided by the previous tokens. We train models with context lengths of 2048. To create batches of data, we shuffle and merge the documents, and then truncate them to the specified context lengths. To improve computational efficiency and reduce memory usage, we employ Flash Attention in the attention modules We adopt the standard optimizer AdamW for pretraining optimization. We set the hyperparameters 1 = 0 * 9 2 = 0*.*95, and = 10−8. We use a cosine learning rate schedule with a specified peak learning rate for each model size. The learning rate is decayed to a minimum learning rate of 10% of the peak learning rate. All the models are trained with BFloat16 mixed precision for training stability. Radford et al. (2018). (Dao et al., 2022). (Kingma & Ba, 2014; Loshchilov & Hutter, 2017) β β ϵ 2.5 Context Length Extension Transformer models have a significant limitation in terms of the context length for their attention mechanism. As the context length increases, the quadratic-complexity computation leads to a drastic increase in both computation and memory costs. In this work, we have implemented simple training-free techniques that are solely applied during inference to extend the context length of the model. One of the key techniques we have used is NTK-aware interpolation (bloc97, 2023). Unlike position interpolation (PI) mà quy mô mỗi chiều của RoPE bằng nhau, NTK-aware interpolation điều chỉnh cơ sở của RoPE để ngăn chặn sự mất mát của thông tin tần số cao theo cách không có đào tạo. để cải thiện hơn nữa hiệu suất, chúng tôi cũng đã thực hiện một phần mở rộng tầm thường được gọi là động NTK-aware interpolation, mà sau này được thảo luận chính thức trong Nó thay đổi quy mô động theo từng mảnh, tránh sự suy giảm hiệu suất nghiêm trọng. những kỹ thuật này cho phép chúng tôi mở rộng hiệu quả chiều dài bối cảnh của các mô hình Transformer mà không làm giảm hiệu quả tính toán hoặc độ chính xác của chúng. (Chen et al., 2023a) (Peng et al., 2023a). QWEN additionally incorporates two attention mechanisms: LogN-Scaling and window attention LogN-Scaling rescales the dot product of the query and value by a factor that depends on the ratio of the context length to the training length, ensuring that the entropy of the attention value remains stable as the context length grows. Window attention restricts the attention to a limited context window, preventing the model from attending to tokens that are too far away. (Chiang & Cholak, 2022; Su, 2023a) (Beltagy et al., 2020). Chúng tôi cũng quan sát thấy rằng khả năng mô hình ngữ cảnh dài của mô hình của chúng tôi thay đổi qua các lớp, với các lớp thấp hơn là nhạy cảm hơn trong việc mở rộng chiều dài ngữ cảnh so với các lớp cao hơn. để tận dụng quan sát này, chúng tôi gán kích thước cửa sổ khác nhau cho mỗi lớp, sử dụng cửa sổ ngắn hơn cho các lớp thấp hơn và cửa sổ dài hơn cho các lớp cao hơn. 2.6 Experimental Results Để đánh giá khả năng học tập không ảnh hưởng và ít ảnh hưởng của các mô hình của chúng tôi, chúng tôi tiến hành đánh giá tiêu chuẩn kỹ lưỡng bằng cách sử dụng một loạt các tập dữ liệu. chúng tôi so sánh QWEN với các mô hình cơ sở nguồn mở mới nhất, bao gồm LLaMA LLAMA 2 MPT Falcon Baichuan2 ( ChatGLM2 InternLM XVERSE and StableBeluga2 Đánh giá của chúng tôi bao gồm tổng cộng 7 tiêu chuẩn phổ biến, đó là MMLU (5-shot) C-Eval (5-shot) GSM8K (8-shot) MATH (4-shot) HumanEval (0-shot) MBPP (0-shot) and BBH (Big Bench Hard) (3 shot) We aim to provide a comprehensive summary of the overall performance of our models across these benchmarks. (Touvron et al., 2023a), (Touvron et al., 2023b), (Mosaic ML, 2023), (Almazrouei et al., 2023), Yang et al., 2023), (Đội ngũ ChatGLM2, 2023), (InternLM Team, 2023), (Công ty Inc. 2023b), (Stability AI, 2023). (Hendrycks et al., 2020), (Huang et al., 2023), (Cobbe et al., 2021), (Hendrycks et al., 2021), (Chen và al, 2021), (Austin et al., 2021), (Suzgun et al., 2022). In this evaluation, we focus on the base language models without alignment and collect the baselines’ best scores from their official results and OpenCompass The results are presented in Table (OpenCompass Team, 2023). 2. Our experimental results demonstrate that the three QWEN models exhibit exceptional performance across all downstream tasks. It is worth noting that even the larger models, such as LLaMA2-70B, are outperformed by QWEN-14B in 3 tasks. QWEN-7B also performs admirably, surpassing LLaMA2-13B and achieving comparable results to Baichuan2-13B. Notably, despite having a relatively small number of parameters, QWEN-1.8B is capable of competitive performance on certain tasks and even outperforms larger models in some instances. The findings highlight the impressive capabilities of the QWEN models, particularly QWEN-14B, and suggest that smaller models, such as QWEN-1.8B, can still achieve strong performance in certain applications. To evaluate the effectiveness of context length extension, Table trình bày kết quả thử nghiệm trên arXiv in terms of perplexity (PPL). These results demonstrate that by combining NTK-aware interpolation, LogN-Scaling, and layer-wise window assignment, we can effectively maintain the performance of our models in the context of over 8192 tokens. 3 3 3 Alignment Các mô hình ngôn ngữ lớn được đào tạo trước đã được tìm thấy không phù hợp với hành vi của con người, khiến chúng không thích hợp để phục vụ như trợ lý AI trong hầu hết các trường hợp. Nghiên cứu gần đây đã chỉ ra rằng việc sử dụng các kỹ thuật điều chỉnh, chẳng hạn như finetuning được giám sát (SFT) và tăng cường học hỏi từ phản hồi của con người (RLHF), có thể cải thiện đáng kể khả năng của các mô hình ngôn ngữ để tham gia vào cuộc trò chuyện tự nhiên. Trong phần này, chúng tôi sẽ tìm hiểu chi tiết về cách các mô hình QWEN đã được đào tạo bằng cách sử dụng SFT và RLHF, và đánh giá hiệu suất của chúng trong bối cảnh hỗ trợ dựa trên trò chuyện. 3.1 Supervised Finetuning To gain an understanding of human behavior, the initial step is to carry out SFT, which finetunes a pretrained LLM on chat-style data, including both queries and responses. In the following sections, we will delve into the details of data construction and training methods. 3.1.1 DATA To enhance the capabilities of our supervised finetuning datasets, we have annotated conversations in multiple styles. While conventional datasets contain a vast amount of data prompted with questions, instructions, and answers in natural language, our approach takes it a step further by annotating human-style conversations. This practice, inspired by aims at improving the model’s helpfulness by focusing on natural language generation for diverse tasks. To ensure the model’s ability to generalize to a wide range of scenarios, we specifically excluded data formatted in prompt templates that could potentially limit its capabilities. Furthermore, we have prioritized the safety of the language model by annotating data related to safety concerns such as violence, bias, and pornography. (Hiện tại et al. 2022a) Ouyang et al. (2022), In addition to data quality, we have observed that the training method can significantly impact the final performance of the model. To achieve this, we utilized the ChatML-style format which is a versatile meta language capable of describing both the metadata (such as roles) and the content of a turn. This format enables the model to effectively distinguish between various types of information, including system setup, user inputs, and assistant outputs, among others. By leveraging this approach, we can enhance the model’s ability to accurately process and analyze complex conversational data. (OpenAI, 2022), 1.3 Đào tạo Consistent with pretraining, we also apply next-token prediction as the training task for SFT. We apply the loss masks for the system and user inputs. More details are demonstrated in Section A.1.1. The model’s training process utilizes the AdamW optimizer, with the following hyperparameters: 1 set to 0*. 2 set to 0. set to 10−8. The sequence length is limited to 2048, and the batch size is 128. The model undergoes a total of 4000 steps, with the learning rate gradually increased over the first 1430 steps, reaching a peak of 2 10−6. To prevent overfitting, weight decay is applied with a value of 0. . .*0. β 9, β 95, and ϵ × 1, dropout is set to 0 1, and gradient clipping is enforced with a limit of 1 3.2 Reinforcement Learning from Human Feedback Mặc dù SFT đã được chứng minh là hiệu quả, chúng tôi thừa nhận rằng khả năng tổng quát và sáng tạo của nó có thể bị hạn chế, và nó có xu hướng quá tải. Để giải quyết vấn đề này, chúng tôi đã thực hiện Reinforcement Learning from Human Feedback (RLHF) để tiếp tục điều chỉnh các mô hình SFT với sở thích của con người, theo cách tiếp cận của This process involves training a reward model and using Proximal Policy Optimization (PPO) to conduct policy training. Ouyang et al. (2022); Christiano et al. (2017). (Schulman et al., 2017) 3.2.1 Reward Model To create a successful reward model, like building a large language model (LLM), it is crucial to first undergo pretraining and then finetuning. This pretraining process, also known as preference model pretraining (PMP) necessitates a vast dataset of comparison data. This dataset consists of sample pairs, each containing two distinct responses for a single query and their corresponding preferences. Similarly, finetuning is also conducted on this type of comparison data, but with a higher quality due to the presence of quality annotations. (Bai và al., 2022b), During the fine-tuning phase, we gather a variety of prompts and adjust the reward model based on human feedback for responses from the QWEN models. To ensure the diversity and complexity of user prompts are properly taken into account, we have created a classification system with around 6600 detailed tags and implemented a balanced sampling algorithm that considers both diversity and complexity when selecting prompts for annotation by the reward model To generate a wide range of responses, we have utilized QWEN models of different sizes and sampling strategies, as diverse responses can help reduce annotation difficulties and enhance the performance of the reward model. These responses are then evaluated by annotators following a standard annotation guideline, and comparison pairs are formed based on their scores. (Lu et al., 2023). In creating the reward model, we utilize the same-sized pre-trained language model QWEN to initiate the process. It is important to mention that we have incorporated a pooling layer into the original QWEN model to extract the reward for a sentence based on a specific end token. The learning rate for this process has been set to a constant value of 3 10−6, and the batch size is 64. Additionally, the sequence length is set to 2048, and the training process lasts for a single epoch. × Chúng tôi đã áp dụng độ chính xác trên bộ dữ liệu thử nghiệm như một số liệu đánh giá quan trọng nhưng không độc quyền cho mô hình phần thưởng. we report the test pairwise accuracy of PMP and reward models on diverse human preference benchmark datasets Specifically, QWEN Helpful-base and QWEN Helpful-online are our proprietary datasets. The responses in QWEN Helpful-base are generated from QWEN without RLHF, whereas QWEN Helpful-online includes responses from QWEN with RLHF. The results show that the PMP model demonstrates high generalization capabilities on out-of-distribution data, and the reward model demonstrates significant improvement on our QWEN reward datasets. 4, (Bai et al., 2022b; Stiennon et al., 2020; Ethayarajh et al., 2022; Lightman et al., 2023). 3.2.2 Reinforcement Learning Our Proximal Policy Optimization (PPO) process involves four models: the policy model, value model, reference model, and reward model. Before starting the PPO procedure, we pause the policy model’s updates and focus solely on updating the value model for 50 steps. This approach ensures that the value model can adapt to different reward models effectively. Trong hoạt động PPO, chúng tôi sử dụng một chiến lược lấy mẫu hai câu trả lời cho mỗi truy vấn cùng một lúc. Chiến lược này đã được chứng minh là hiệu quả hơn dựa trên các đánh giá so sánh nội bộ của chúng tôi. Chúng tôi đặt tỷ lệ phân đoạn KL là 0 * * 04 và bình thường hóa phần thưởng dựa trên mức trung bình chạy. The policy and value models have learning rates of 1 10−6 and 5 10−6, respectively. To enhance training stability, we utilize value loss clipping with a clip value of 0*. . .*0, there is a faster increase in reward, ultimately resulting in consistently higher evaluation rewards under similar conditions. × × 15. For inference, the policy top-p is set to 0 9. Our findings indicate that although the entropy is slightly lower than when top-p is set to 1 Additionally, we have implemented a pretrained gradient to mitigate the alignment tax. Empirical findings indicate that, with this specific reward model, the KL penalty is adequately robust to counteract the alignment tax in benchmarks that are not strictly code or math in nature, such as those that test common sense knowledge and reading comprehension. It is imperative to utilize a significantly larger volume of the pretrained data in comparison to the PPO data to ensure the effectiveness of the pretrained gradient. Additionally, our empirical study suggests that an overly large value for this coefficient can considerably impede the alignment to the reward model, eventually compromising the ultimate alignment, while an overly small value would only have a marginal effect on alignment tax reduction. 3.3 Automatic and Human Evaluation of Aligned Models To showcase the effectiveness of our aligned models, we conduct a comparison with other aligned models on well-established benchmarks, including MMLU C-Eval GSM8K HumanEval và BBH Besides the widely used few-shot setting, we test our aligned models in the zero-shot setting to demonstrate how well the models follow instructions. The prompt in a zero-shot setting consists of an instruction and a question without any previous examples in the context. The results of the baselines are collected from their official reports and OpenCompass (Hendrycks et al., 2020), (Huang et al., 2023), (Thuyết minh và al. 2021), (Chen et al., 2021), (Suzgun et al., năm 2022). (OpenCompass Team, 2023). The results in Table QWEN-14B-Chat vượt trội so với tất cả các mô hình khác ngoại trừ ChatGPT (OpenAI, 2022) và LLAMA 2-CHAT-70B (Touvron et al., 2023b) trong tất cả các bộ dữ liệu, bao gồm MMLU (Hendrycks et al., 2020), C-Eval (Huang et al., 2023), GSM8K (Cobbe et al., 2021), HumanEval (Chen et al., 2021), và BBH (Suzgun et al., 2022). 5 Đặc biệt, hiệu suất của QWEN trong HumanEval, đo lường chất lượng mã được tạo ra, cao hơn đáng kể so với các mô hình mã nguồn mở khác. Moreover, QWEN’s performance is consistently better than that of open-source models of similar size, such as LLaMA2 ChatGLM2 InternLM and Baichuan2 This suggests that our alignment approach, which involves fine-tuning the model on a large dataset of human conversations, has been effective in improving the model’s ability to understand and generate human-like language./im (Tác giả et al. 2023b), (ChatGLM2 Team, 2023), (InternLM Team, 2023), (Yang et al., 2023). Despite this, we have reservations about the ability of traditional benchmark evaluation to accurately measure the performance and potential of chat models trained with alignment techniques in today’s landscape. The results mentioned earlier provide some evidence of our competitive standing, but we believe that it is crucial to develop new evaluation methods specifically tailored to aligned models. We believe that human evaluation is crucial, which is why we have created a carefully curated dataset for this purpose. Our process involved collecting 300 instructions in Chinese that covered a wide range of topics, including knowledge, language understanding, creative writing, coding, and mathematics. To evaluate the performance of different models, we chose the SFT version of QWEN-CHAT-7B and the SFT and RLHF versions of QWEN-CHAT-14B, and added two strong baselines, GPT-3.5 and GPT-4 , for comparison. For each instruction, we asked three annotators to rank the model responses by the overall score of helpfulness, informativeness, validity, and other relevant factors. Our dataset and evaluation methodology provides a comprehensive and rigorous assessment of the capabilities of different language models in various domains. 4 Figure illustrates the win rates of the various models. For each model, we report the percentage of wins, ties, and losses against GPT-3.5, with the segments of each bar from bottom to top representing these statistics. The experimental results clearly demonstrate that the RLHF model outperforms the SFT models by significant margins, indicating that RLHF can encourage the model to generate responses that are more preferred by humans. In terms of overall performance, we find that the RLHF model significantly outperforms the SFT models, falling behind GPT-4. This indicates the effectiveness of RLHF for aligning to human preference. To provide a more comprehensive understanding of the models’ performance, we include a case study with examples from different models in Appendix Nonetheless, it remains difficult to accurately capture the gap between our models and the proprietary models. As such, a more extensive and rigorous assessment is required for the chat models. 4 A.2.2. 3.4 Tool Use, Code Interpreter, and Agent The QWEN models, which are designed to be versatile, have the remarkable ability to assist with (semi-)automating daily tasks by leveraging their skills in tool-use and planning. As such, they can serve as agents or copilots to help streamline various tasks. We explore QWEN’s proficiency in the following areas: • Utilizing unseen tools through ReAct prompting (see Table (Yao et al., 2022) 6). • Using a Python code interpreter to enhance math reasoning, data analysis, and more (see Table and Table 7 8). • Functioning as an agent that accesses Hugging Face’s extensive collection of multimodal models while engaging with humans (see Table 9). To enhance QWEN’s capabilities as an agent or copilot, we employ the self-instruct strategy for SFT. Specifically, we utilize the in-context learning capability of QWEN for self-instruction. By providing a few examples, we can prompt QWEN to generate more relevant queries and generate outputs that follow a specific format, such as ReAct Sau đó, chúng tôi áp dụng các quy tắc và tham gia các ghi chú của con người để lọc ra bất kỳ mẫu ồn ào nào. Sau đó, các mẫu được tích hợp vào dữ liệu đào tạo của QWEN, kết quả là một phiên bản QWEN được cập nhật đáng tin cậy hơn cho việc tự hướng dẫn. Chúng tôi lặp lại quá trình này nhiều lần cho đến khi chúng tôi thu thập một số lượng lớn các mẫu có chất lượng đặc biệt và phạm vi đa dạng rộng. (Wang et al., 2023c) (Yao et al., 2022). During the finetuning process, we mix these high-quality samples with all the other general-purpose SFT samples, rather than introducing an additional training stage. By doing so, we are able to retain essential general-purpose capabilities that are also pertinent for constructing agent applications. We have created and made publicly available a benchmark for evaluating QWEN’s ability to call plugins, tools, functions, or APIs using ReAct Prompting (see To ensure fair evaluation, we have excluded any plugins that were included in QWEN’s training set from the evaluation set. The benchmark assesses the model’s accuracy in selecting the correct plugin from a pool of up to five candidates, as well as the plausibility of the parameters passed into the plugin and the frequency of false positives. In this evaluation, a false positive occurs when the model incorrectly invokes a plugin in response to a query, despite not being required to do so. Using Tools via ReAct Prompting Qwen Team, Alibaba Group, 2023b). The results presented in Table chứng minh rằng QWEN liên tục đạt được độ chính xác cao hơn trong việc xác định sự liên quan của truy vấn đối với các công cụ có sẵn khi kích thước mô hình tăng lên. Tuy nhiên, bảng cũng nhấn mạnh rằng ngoài một điểm nhất định, có rất ít cải thiện về hiệu suất khi lựa chọn công cụ phù hợp và cung cấp các lập luận có liên quan. Điều này cho thấy điểm chuẩn sơ bộ hiện tại có thể tương đối dễ dàng và có thể yêu cầu nâng cao hơn nữa trong các lần lặp lại trong tương lai. Điều đáng chú ý là GPT-3.5 nổi bật như một ngoại lệ, hiển thị hiệu suất không tối ưu trên điểm chuẩn cụ thể này. Điều này có thể được quy cho thực tế là điểm chuẩn chủ yếu tập trung vào ngôn ngữ Trung Quốc, có thể không phù hợp tốt với khả năng của GPT-3.5. Ngoài ra, chúng tôi lưu ý rằng GPT-3.5 có xu hướng 6 The Python code interpreter is widely regarded as a powerful tool for augmenting the capabilities of an LLM agent. It is worth investigating whether QWEN can harness the full potential of this interpreter to enhance its performance in diverse domains, such as mathematical reasoning and data analysis. To facilitate this exploration, we have developed and made publicly available a benchmark that is specifically tailored for this purpose (see Using Code Interpreter for Math Reasoning and Data Analysis Qwen Team, Alibaba Group, 2023a). The benchmark encompasses three primary categories of tasks: math problem-solving, data visualization, and other general-purpose tasks like file post-processing and web crawling. Within the visualization tasks, we differentiate between two levels of difficulty. The easier level can be achieved by simply writing and executing a single code snippet without the need for advanced planning skills. However, the more challenging level requires strategic planning and executing multiple code snippets in a sequential manner. This is because the subsequent code must be written based on the output of the previous code. For example, an agent may need to examine the structure of a CSV file using one code snippet before proceeding to write and execute additional code to create a plot. Regarding evaluation metrics, we consider both the executability and correctness of the generated code. To elaborate on the correctness metrics, for math problems, we measure accuracy by verifying if the ground truth numerical answer is present in both the code execution result and the final response. When it comes to data visualization, we assess accuracy by utilizing QWEN-VL a powerful multimodal language model. QWEN-VL is capable of answering text questions paired with images, and we rely on it to confirm whether the image generated by the code fulfills the user’s request. (Bai và al., 2023), The results regarding executability and correctness are presented in Table and Table respectively. It is evident that CODE LLAMA generally outperforms LLAMA 2, its generalist counterpart, which is not surprising since this benchmark specifically requires coding skills. However, it is worth noting that specialist models that are optimized for code synthesis do not necessarily outperform generalist models. This is due to the fact that this benchmark encompasses various skills beyond coding, such as abstracting math problems into equations, understanding language-specified constraints, and responding in the specified format such as ReAct. Notably, QWEN-7B-CHAT and QWEN-14B-CHAT surpass all other open-source alternatives of similar scale significantly, despite being generalist models. 7 8 , Hugging Face provides a framework called the Hugging Face Agent or Transformers Agent which empowers LLM agents with a curated set of multimodal tools, including speech recognition and image synthesis. This framework allows an LLM agent to interact with humans, interpret natural language commands, and employ the provided tools as needed. Serving as a Hugging Face Agent (Trái gương mặt gương mặt, 2023), To evaluate QWEN’s effectiveness as a Hugging Face agent, we utilized the evaluation benchmarks offered by Hugging Face. The results are presented in Table The evaluation results reveal that QWEN performs quite well in comparison to other open-source alternatives, only slightly behind the proprietary GPT-4, demonstrating QWEN’s competitive capabilities. 9. 4 Code-Qwen: Specialized Model for Coding Training on domain-specific data has been shown to be highly effective, particularly in the case of code pretraining and finetuning. A language model that has been reinforced with training on code data can serve as a valuable tool for coding, debugging, and interpretation, among other tasks. In this work, we have developed a series of generalist models using pretraining and alignment techniques. Building on this foundation, we have created domain-specific models for coding by leveraging the base language models of QWEN, including continued pretrained model, CODE-QWEN and supervised finetuned model, CODE-QWEN-CHAT. Both models have 14 billion and 7 billion parameters versions. 4.1 Chương trình đào tạo We believe that relying solely on code data for pretraining can result in a significant loss of the ability to function as a versatile assistant. Unlike previous approaches that focused solely on pretraining on code data we take a different approach by starting with our base models QWEN trained on a combination of text and code data, and then continuing to pretrain on the code data. We continue to pretrain the models on a total of around 90 billion tokens. During the pre-training phase, we initialize the model using the base language models QWEN. Many applications that rely on specialized models for coding may encounter lengthy contextual scenarios, such as tool usage and code interpretation, as mentioned in Section To address this issue, we train our models with context lengths of up to 8192. Similar to base model training in Section Sử dụng Flash Attention in the attention modules, and adopt the standard optimizer AdamW setting 1 = 0*. 2 = 0. = 10−8. We set the learning rate as 6. 10−5 for CODE-QWEN-14B and 3.*0 10−5 for CODE-QWEN-7B, with 3% warm up iterations and no learning rate decays. (Li và al, 2022; 2023d), (Rozie`re et al., 2023) 3.4. 2.4, (Dao và al, 2022) (Kingma & Ba, 2014; Loshchilov & Hutter, 2017), β 9, β 95, and ϵ 0 × × 4.2 Code Supervised Fine-Tuning After conducting a series of empirical experiments, we have determined that the multi-stage SFT strategy yields the best performance compared to other methods. In the supervised fine-tuning stage, the model CODE-QWEN-CHAT initialized by the code foundation model CODE-QWEN are optimized by the AdamW optimizer ( 1 = 0 2 = 0.*95, = 10−8) with a learning rate of 2*. 10−6 and 1.*0 10−5 for the 14B and 7B model respectively. The learning rate increases to the peaking value with the cosine learning rate schedule (3% warm-up steps) and then remains constant. (Kingma & Ba, 2014; Loshchilov & Hutter, 2017) β 9, β ϵ 0 × × 4.3 Đánh giá Our CODE-QWEN models have been compared with both proprietary and open-source language models, as shown in Tables and These tables present the results of our evaluation on the test sets of Humaneval MBPP and the multi-lingual code generation benchmark HUMANEVALPACK The comparison is based on the pass@1 performance of the models on these benchmark datasets. The results of this comparison are clearly demonstrated in Tables and 10 11. (Chen et al., 2021), (Austin et al., 2021), (Muennighoff et al., 2023). 10 11. Our analysis reveals that specialized models, specifically CODE-QWEN and CODE-QWEN-CHAT, sig-nificantly outperform previous baselines with similar parameter counts, such as OCTOGEEX InstructCodeT5+ and CodeGeeX2 In fact, these models even rival the performance of larger models like Starcoder (Muen-nighoff et al., 2023), (Wang et al., 2023d), (Zheng et al., 2023). (Li et al., 2023d). When compared to some of the extremely large-scale closed-source models, CODE-QWEN and CODE-QWEN-CHAT demonstrate clear advantages in terms of pass@1. However, it is important to note that these models fall behind the state-of-the-art methods, such as GPT-4, in general. Nonetheless, with the continued scaling of both model size and data size, we believe that this gap can be narrowed in the near future. It is crucial to emphasize that the evaluations mentioned previously are insufficient for grasping the full extent of the strengths and weaknesses of the models. In our opinion, it is necessary to develop more rigorous tests to enable us to accurately assess our relative performance in comparison to GPT-4. 5 Math-Qwen: Specialized Model for Mathematics Reasoning We have created a mathematics-specialized model series called MATH-QWEN-CHAT, which is built on top of the QWEN pretrained language models. Specifically, we have developed assistant models that are specifically designed to excel in arithmetic and mathematics and are aligned with human behavior. We are releasing two versions of this model series, MATH-QWEN-14B-CHAT and MATH-QWEN-7B-CHAT, which have 14 billion and 7 billion parameters, respectively. 5.1 Training We carry out math SFT on our augmented math instructional dataset for mathematics reasoning, and therefore we obtain the chat model, MATH-QWEN-CHAT, directly. Owing to shorter average lengths of the math SFT data, we use a sequence length of 1024 for faster training. Most user inputs in the math SFT dataset are examination questions, and it is easy for the model to predict the input format and it is meaningless for the model to predict the input condition and numbers which could be random. Vì vậy, chúng tôi che giấu các đầu vào của hệ thống và người dùng để tránh tính toán mất mát trên chúng và tìm thấy che giấu chúng tăng tốc độ hội tụ trong các thí nghiệm sơ bộ của chúng tôi. để tối ưu hóa, chúng tôi sử dụng bộ tối ưu hóa AdamW với cùng một siêu tham số của SFT ngoại trừ rằng chúng tôi sử dụng tỷ lệ học tập đỉnh của 2 10−5 and a training step of 50 000. × 5.2 Evaluation We evaluate models on the test sets of GSM8K (Grade school math) MATH (Challenging competition math problems) Math401 (Arithmetic ability) ( and Math23K (Chinese grade school math) We compare MATH-QWEN-CHAT with proprietary models ChatGPT and Minerva and open-sourced math-specialized model RFT ( WizardMath and GAIRMath-Abel in Table MATH-QWEN-CHAT models show better math reasoning and arithmetic abilities compared to open-sourced models and QWEN-CHAT models of similar sizes. Compared to proprietary models, MATH-QWEN-7B-CHAT outperforms Minerva-8B in MATH. MATH-QWEN-14B-CHAT is chasing Minerva-62B and GPT-3.5 in GSM8K and MATH and delivers better performance on arithmetic ability and Chinese math problems. (Cobbe et al., 2021), (Hendrycks et al., 2021), Yuan et al., 2023b), (Wang et al., năm 2017). (Lewkowycz et al., 2022) Yuan et al., 2023a), (Luo et al., 2023a), (Chern et al., năm 2023a) 12. 6 Related Work 6.1 Large Language Models The excitement of LLM began with the introduction of the Transformer architecture ( which was then applied to pretraining large-scale data by researchers such as These efforts led to significant success in transfer learning, with model sizes growing from 100 million to over 10 billion parameters Vaswani et al., 2017), Radford et al. (Vào năm 2018); Devlin et al. (2018); Liu et al. (2019). (Raffel et al., 2020; Thụy Điển et al. 2019). In 2020, the release of GPT-3, a massive language model that is 10 times larger than T5, demonstrated the incredible potential of few-shot and zero-shot learning through prompt engineering and in-context learning, and later chain-of-thought prompting This success has led to a number of studies exploring the possibilities of further scaling these models As a result, the community has come to view these large language models as essential foundations for downstream models (Hiện tại et al. 2022c). (Scao et al., 2022; Zhang et al., 2022; Du et al., 2021; Zeng et al., 2022; Lepikhin et al., 2020; Fedus et al., 2022; Du et al., 2022; Black et al., 2022; Rae et al., 2021; Hoffmann et al., 2022; Chowdhery et al., 2022; Thoppilan et al., 2022). (Bommasani et al., 2021). The birth of ChatGPT và sự ra mắt tiếp theo của GPT-4 marked two historic moments in the field of artificial intelligence, demonstrating that large language models (LLMs) can serve as effective AI assistants capable of communicating with humans. These events have sparked interests among researchers and developers in building language models that are aligned with human values and potentially even capable of achieving artificial general intelligence (AGI) (OpenAI, 2022) (OpenAI, 2023) (Anil et al., 2023; Anthropic, Năm 2023a; b). One notable development in this area is the emergence of open-source LLMs, specifically LLaMA and LLAMA 2 which have been recognized as the most powerful open-source language models ever created. This has led to a surge of activity in the open-source community with a series of large language models being developed collaboratively to build upon this progress (Touvron et al., năm 2023a) (Touvron et al., năm 2023b) (Wolf et al., 2019), (Mosaic ML, 2023; Almazrouei et al., 2023; ChatGLM2 Team, năm 2023; Yang et al., 2023; InternLM Team, 2023). 6.2 Alignment The community was impressed by the surprising effectiveness of alignment on LLMs. Previously, LLMs without alignment often struggle with issues such as repetitive generation, hallucination, and deviation from human preferences. Since 2021, researchers have been diligently working on developing methods to enhance the performance of LLMs in downstream tasks Furthermore, researchers have been actively exploring ways to align LLMs with human instructions One major challenge in alignment research is the difficulty of collecting data. While OpenAI has utilized its platform to gather human prompts or instructions, it is not feasible for others to collect such data. (Wei et al., Năm 2022A Sanh et al., 2021; Longpre et al., 2023; Chung et al., 2022; Muennighoff et al. và 2022). (Ouyang et al., 2022; Askell et al., 2021; Bai et al., 2022b;c). However, there has been some progress in this area, such as the self-instruct approach proposed in This innovative work offers a potential solution to the data collection problem in alignment research. As a result, there has been a surge in open-source chat data, including Alpaca MOSS Dolly Evol-Instruct and others Similarly, there has been an increase in open-source chat models, such as Alpaca Vicuna Guanaco MOSS WizardLM and others Wang et al. (2023c). (Taori et al., 2023), (Sun et al., 2023a), (Conover et al., 2023), (Xu et al., 2023b), (Sun et al., Năm 2023b Xu và al, 2023a;c; Chen et al., 2023c; Ding et al., 2023; Ji et al., 2023; Yang, 2023). (Taori et al., 2023), (Chiang et al., năm 2023), (Dettmers et al., 2023), (Sun et al., 2023a), (Xu et al., 2023b), (Xu et al., 2023c; Chen et al., 2023c; Ding et al., 2023; Wang et al., 2023b). To train an effective chat model, available solutions are mostly based on SFT and RLHF While SFT is similar to pretraining, it focuses on instruction following using the aforementioned data. However, for many developers, the limited memory capacity is a major obstacle to further research in SFT. As a result, parameter-efficient tuning methods, such as LoRA ., and Q-LoRA have gained popularity in the community. LoRA tunes only low-rank adapters, while Q-LoRA builds on LoRA and utilizes 4-bit quantized LLMs and paged attention In terms of RLHF, recent methods such as PPO have been adopted, but there are also alternative techniques aimed at addressing the complexity of optimization, such as RRHF ( DPO and PRO Despite the ongoing debate about the effectiveness of RLHF, more evidence is needed to understand how it enhances the intelligence of LLMs and what potential drawbacks it may have. (Ouyang et al., 2022). (Hu et al 2021) (Tác giả et al. 2023), (Dettmers et al., 2022; Frantar et al., 2022; Kwon et al., 2023). (Schulman et al., 2017; Touvron et al., 2023b) Yuan et al., 2023c), (Rafailov et al., 2023), (Song et al., 2023). 6.3 Tool Use and Agents LLM’s planning function allows for the invocation of tools, such as APIs or agent capabilities, through in-context learning, as demonstrated by introduced ReAct, a generation format that enables the model to generate thoughts on which tool to use, accept input from API observations, and generate a response. GPT-3.5 and GPT-4, when prompted with few shots, have shown consistent and impressive performance. In addition to tool usage, LLMs can utilize external memory sources like knowledge bases or search engines to generate more accurate and informative answers. This has led to the popularity of frameworks like LangChain The research on LLMs for tool use has also sparked interest in building agents with LLM capabilities, such as agents that can call different AI models embodied lifelong learning or multimodal agents and multiple agents interacting with each other and even building a micro-society Schick et al. (2023). Yao et al. (2022) (Hu et al., 2023; Zhong et al., 2023b) (Nakano et al., 2021; Liu et al., 2023b) (LangChain, Inc., 2023). (Shen et al., 2023; Li et al., 2023a), (Wang et al., 2023a; Driess et al., 2023), (Chen et al., 2023b; Li et al., 2023b; Xu et al., 2023d; Hong et al., 2023). 6.4 LLM for Coding Previous research has demonstrated that LLMs possess remarkable capabilities in code understanding and generation, particularly those with massive numbers of parameters Moreover, several LLMs have been pre-trained, continued pre-trained, or fine-tuned on coding-related data, which has resulted in significantly improved performance compared to general-purpose LLMs. These models include Codex AlphaCode SantaCoder Starcoder-Base InCoder CodeT5 CodeGeeX and CODE LLAMA In addition to these models, recent studies have focused on developing specialized alignment techniques for coding, such as Code Llama-Instruct and StarCoder These models can assist developers in various code-related tasks, including code generation code completion code translation bug fixing code refinement and code question answering In a word, LLMs have the potential to revolutionize the field of coding by providing developers with powerful tools for code comprehension, generation, and related tasks. (Chowdhery et al., năm 2022; Anil et al., 2023; Rae và al. 2021; Hoffmann và al. 2022). Chen et al. (2021), (Li et al., 2022), (Allal et al., 2023), (Li et al., 2023d), (Fried et al., 2022), (Wang et al., 2021), (Zheng et al., 2023), (Rozie`re et al., 2023). (Rozie`re et al., 2023) (Li et al., 2023d). (Chen et al., 2021; Austin et al., năm 2021), (tức là Zhang et al., 2023a), (Szafraniec et al., 2023), (Truyền sư và al., 2023), (Liu et al., 2023c), (Liu & Wan, 2021). 6.5 LLM về Toán học LLMs with a certain model scale have been found to possess the ability to perform mathematical reasoning In order to encourage LLMs to achieve better performance on math-related tasks, researchers have employed techniques such as chain-of-thought prompting và scratchpad which have shown promising results. Additionally, self-consistency and least-to-most prompting have further improved the performance of these models on these tasks. However, prompt engineering is a time-consuming process that requires a lot of trial and error, and it is still difficult for LLMs to consistently perform well or achieve satisfactory results in solving mathematical problems. Moreover, simply scaling the data and model size is not an efficient way to improve a model’s mathematical reasoning abilities. Instead, pretraining on math-related corpora has been shown to consistently enhance these capabilities Additionally, fine-tuning on math-related instruction-following datasets cũng có hiệu quả và hiệu quả hơn so với đào tạo trước cụ thể về toán học. Mặc dù hạn chế về độ chính xác, LLM vẫn có tiềm năng đáng kể để hỗ trợ người dùng với các vấn đề toán học thực tế. (Wei et al., 2022b; Suzgun et al., 2022). (Wei et al., 2022c) (Nye et al., 2021), (Wang et al., 2022) (Zhou et al., 2022) (Hendrycks et al., 2021; Lewkowycz et al., 2022; Taylor et al., 2022; Lightman et al., 2023). (Si et al., 2023; Yuan et al., 2023a; Luo et al., 2023a; Yue et al., 2023; Chern et al, 2023a; Yu et al., 2023), 7 Kết luận In this report, we present the QWEN series of large language models, which showcase the latest advancements in natural language processing. With 14B, 7B, and 1.8B parameters, these models have been pre-trained on massive amounts of data, including trillions of tokens, and fine-tuned using cutting-edge techniques such as SFT and RLHF. Additionally, the QWEN series includes specialized models for coding and mathematics, such as CODE-QWEN, CODE-QWEN-CHAT, and MATH-QWEN-CHAT, which have been trained on domain-specific data to excel in their respective fields. Our results demonstrate that the QWEN series is competitive with existing open-source models and even matches the performance of some proprietary models on comprehensive benchmarks and human evaluation. We believe that the open access of QWEN will foster collaboration and innovation within the community, enabling researchers and developers to build upon our work and push the boundaries of what is possible with language models. By providing these models to the public, we hope to inspire new research and applications that will further advance the field and contribute to our understanding of the variables and techniques introduced in realistic settings. In a nutshell, the QWEN series represents a major milestone in our development of large language models, and we are excited to see how it will be used to drive progress and innovation in the years to come. References Loubna Ben Allal, Raymond Li, Denis Kocetkov, Chenghao Mou, Christopher Akiki, Carlos Munoz Ferrandis, Niklas Muennighoff, Mayank Mishra, Alex Gu, Manan Dey, et al. SantaCoder: Don’t reach for the stars! , 2023. arXiv preprint arXiv:2301.03988 Ebtesam Almazrouei, Hamza Alobeidli, Abdulaziz Alshamsi, Alessandro Cappelli, Ruxandra Co-jocaru, Merouane Debbah, Etienne Goffinet, Daniel Heslow, Julien Launay, Quentin Malartic, Badreddine Noune, Baptiste Pannier, and Guilherme Penedo. Falcon-40B: An open large language model with state-of-the-art performance, 2023. Rohan Anil, Andrew M Dai, Orhan Firat, Melvin Johnson, Dmitry Lepikhin, Alexandre Passos, Siamak Shakeri, Emanuel Taropa, Paige Bailey, Zhifeng Chen, et al. PaLM 2 technical report. , 2023. arXiv preprint arXiv:2305.10403 Anthropic. Introducing Claude, 2023a. URL .nthropic. Claude 2. Technical report, Anthropic, 2023b. URL . . https://www.anthropic.com/index/ introducing-claude https://www-files anthropic.com/production/images/Model-Card-Claude-2.pdf Vamsi Aribandi, Yi Tay, Tal Schuster, Jinfeng Rao, Huaixiu Steven Zheng, Sanket Vaibhav Mehta, Honglei Zhuang, Vinh Q Tran, Dara Bahri, Jianmo Ni, et al. ExT5: Towards extreme multi-task scaling for transfer learning. , 2021. arXiv preprint arXiv:2111.10952 Amanda Askell, Yuntao Bai, Anna Chen, Dawn Drain, Deep Ganguli, Tom Henighan, Andy Jones, Nicholas Joseph, Ben Mann, Nova DasSarma, et al. A general language assistant as a laboratory for alignment. , 2021. arXiv Preprint arXiv:2112.00861 Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le, et al. Program synthesis with large language models. , 2021. arXiv preprint arXiv:2108.07732 AutoGPT: Trái tim của hệ sinh thái đại lý mã nguồn mở, 2023. . https:// github.com/Significant-Gravitas/Auto-GPT Lei Jimmy Ba, Jamie Ryan Kiros, and Geoffrey E. Hinton. Layer normalization. , abs/1607.06450, 2016. URL . CoRR http://arxiv.org/abs/1607.06450 Jinze Bai, Rui Men, Hao Yang, Xuancheng Ren, Kai Dang, Yichang Zhang, Xiaohuan Zhou, Peng Wang, Sinan Tan, An Yang andf Zeyu Cui, Yu Han, Shuai Bai, Wenbin Ge, Jianxin Ma, Junyang Lin, Jingren Zhou, and Chang Zhou. OFASys: A multi-modal multi-task learning system for building generalist models. , abs/2212.04408, 2022a. doi: 10.48550/arXiv.2212.04408. URL . CoRR https://doi.org/10.48550/arXiv.2212.04408 Jinze Bai, Shuai Bai, Shusheng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, and Jingren Zhou. Qwen-VL: A versatile vision-language model for understanding, localization, text reading, and beyond. , abs/2308.12966, 2023. doi: 10.48550/arXiv.2308.12966. URL . CoRR https://doi.org/10.48550/arXiv.2308.12966 Yuntao Bai, Andy Jones, Kamal Ndousse, Amanda Askell, Anna Chen, Nova DasSarma, Dawn Drain, Stanislav Fort, Deep Ganguli, Tom Henighan, et al. Training a helpful and harmless assistant with reinforcement learning from human feedback. , 2022b. arXiv preprint arXiv:2204.05862 Yuntao Bai, Saurav Kadavath, Sandipan Kundu, Amanda Askell, Jackson Kernion, Andy Jones, Anna Chen, Anna Goldie, Azalia Mirhoseini, Cameron McKinnon, et al. Constitutional AI: Harmlessness from AI feedback. , 2022c. arXiv preprint arXiv:2212.08073 Iz Beltagy, Matthew E Peters, and Arman Cohan. Longformer: The long-document transformer. , 2020. arXiv preprint arXiv:2004.05150 Yonatan Bisk, Rowan Zellers, Ronan Le Bras, Jianfeng Gao, and Yejin Choi. PIQA: reasoning about physical commonsense in natural language. In , pp. 7432–7439. AAAI Press, 2020. doi: The Thirty-Fourth AAAI Conference on Artificial Intelligence, AAAI 2020, The Thirty-Second Innovative Applications of Artificial Intelligence Con-ference, IAAI 2020, The Tenth AAAI Symposium on Educational Advances in Artificial Intelligence, EAAI 2020, New York, NY, USA, February 7-12, 2020 10.1609/aaai.v34i05.6239. URL . https://doi.org/10.1609/aaai.v34i05.6239 Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, et al. GPT-NeoX-20B: An open-source autoregressive language model. , 2022. arXiv preprint arXiv:2204.06745 bloc97. NTK-aware scaled RoPE allows LLaMA models to have extended (8k+) con-text size without any fine-tuning and minimal perplexity degradation., 2023. URL . https://www.reddit.com/r/LocalLLaMA/comments/14lz7j5/ntkaware_ scaled_rope_allows_llama_models_to_have/ Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill, et al. On the opportuni-ties and risks of foundation models. , 2021. arXiv preprint arXiv:2108.07258 Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. , 33:1877–1901, 2020. Advances in neural information processing systems ChatGLM2 Team. ChatGLM2-6B: An open bilingual chat LLM, 2023. URL của . https://github com/THUDM/ChatGLM2-6B Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde´ de Oliveira Pinto, Jared Kaplan, Harrison Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Joshua Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever, and Wojciech Zaremba. Evaluating large language models trained on code. , abs/2107.03374, 2021. URL . . CoRR https://arxiv org/abs/2107.03374 Shouyuan Chen, Sherman Wong, Liangjian Chen, và Yuandong Tian. Mở rộng cửa sổ ngữ cảnh của các mô hình ngôn ngữ lớn thông qua giao tiếp vị trí. , 2023a. arXiv preprint arXiv:2306.15595 Weize Chen, Yusheng Su, Jingwei Zuo, Cheng Yang, Chenfei Yuan, Chen Qian, Chi-Min Chan, Yujia Qin, Yaxi Lu, Ruobing Xie, et al. Agentverse: Facilitating multi-agent collaboration and exploring emerging behaviors in agents. , 2023b. arXiv preprint arXiv:2308.10848 Zhihong Chen, Feng Jiang, Junying Chen, Tiannan Wang, Fei Yu, Guiming Chen, Hongbo Zhang, Juhao Liang, Chen Zhang, Zhiyi Zhang, et al. Phoenix: Democratizing ChatGPT across languages. , 2023c. arXiv preprint arXiv:2304.10453 Ethan Chern, Haoyang Zou, Xuefeng Li, Jiewen Hu, Kehua Feng, Junlong Li, and Pengfei Liu. Generative ai for math: Abel. , 2023a. https://github.com/GAIR-NLP/abel I Chern, Steffi Chern, Shiqi Chen, Weizhe Yuan, Kehua Feng, Chunting Zhou, Junxian He, Graham Neubig, Pengfei Liu, et al. Factool: Factuality detection in generative ai–a tool augmented framework for multi-task and multi-domain scenarios. , 2023b. arXiv preprint arXiv:2307.13528 David Chiang and Peter Cholak. Overcoming a theoretical limitation of self-attention. In , pp. 7654–7664, 2022. Thủ tục của Hội nghị thường niên lần thứ 60 của Hiệp hội Ngôn ngữ học tính toán (Số 1: Các bài báo dài) Wei-Lin Chiang, Zhuohan Li, Zi Lin, Ying Sheng, Zhanghao Wu, Hao Zhang, Lianmin Zheng, Siyuan Zhuang, Yonghao Zhuang, Joseph E. Gonzalez, Ion Stoica, and Eric P. Xing. Vicuna: An open-source chatbot impressing GPT-4 with 90%* ChatGPT quality, March 2023. URL . https://lmsys.org/blog/2023-03-30-vicuna/ Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, Maarten Bosma, Gaurav Mishra, Adam Roberts, Paul Barham, Hyung Won Chung, Charles Sutton, Sebastian Gehrmann, et al. PaLM: Scaling language modeling with pathways. , 2022. arXiv preprint arXiv:2204.02311 Paul F. Christiano, Jan Leike, Tom B. Brown, Miljan Martic, Shane Legg, và Dario Amodei. Học tập tăng cường sâu từ sở thích của con người. Trong Isabelle Guyon, Ulrike von Luxburg, Samy Bengio, Hanna M. Wallach, Rob Fergus, S. V. N. Vishwanathan, và Roman Garnett (eds.), , pp. 4299–4307, 2017. URL . Advances in Neural Information Processing Systems 30: Annual Conference on Neu-ral Information Processing Systems 2017, December 4-9, 2017, Long Beach, CA, USA https://proceedings.neurips.cc/paper/2017/hash/ d5e2c0adad503c91f91df240d0cd4e49-Abstract.html Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Eric Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, et al. Scaling instruction-finetuned language models. , 2022. arXiv preprint arXiv:2210.11416 Christopher Clark, Kenton Lee, Ming-Wei Chang, Tom Kwiatkowski, Michael Collins, and Kristina Toutanova. Boolq: Exploring the surprising difficulty of natural yes/no questions. In Jill Burstein, Christy Doran, and Thamar Solorio (eds.), , pp. 2924–2936. Association for Computational Linguistics, 2019. doi: 10.18653/v1/n19-1300. URL . Proceedings of the 2019 Conference of the North Amer-ican Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers) https://doi.org/10.18653/v1/n19-1300 Peter Clark, Isaac Cowhey, Oren Etzioni, Tushar Khot, Ashish Sabharwal, Carissa Schoenick, và Oyvind Tafjord. , abs/1803.05457, 2018. URL . CoRR http://arxiv.org/abs/1803.05457 Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, et al. Training verifiers to solve math word problems. , 2021. arXiv preprint arXiv:2110.14168 Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Fran-cisco Guzma´n, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov. Unsupervised cross-lingual representation learning at scale. , 2019. arXiv preprint arXiv:1911.02116 Mike Conover, Matt Hayes, Ankit Mathur, Jianwei Xie, Jun Wan, Sam Shah, Ali Ghodsi, Patrick Wendell, Matei Zaharia, and Reynold Xin. Free Dolly: Introducing the world’s first truly open instruction-tuned LLM, 2023. URL . https://www.databricks.com/blog/2023/04/ 12/dolly-first-open-commercially-viable-instruction-tuned-llm Wenliang Dai, Junnan Li, Dongxu Li, Anthony Meng, Huat Tiong, Junqi Zhao, Weisheng Wang, Boyang Li, Pascale Fung, and Steven Hoi. InstructBLIP: Towards general-purpose vision-language models with instruction tuning. , 2023. arXiv preprint arXiv:2305.06500 Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, và Christopher Re ́. FlashAt-tention: Chú ý chính xác nhanh chóng và hiệu quả về trí nhớ với sự nhận thức về Io. , 2022. URL . NeurIPS http://papers.nips.cc/paper_files/paper/2022/hash/ 67d57c32e20fd0a7a302cb81d36e40d5-Abstract-Conference.html Yann N Dauphin, Angela Fan, Michael Auli, và David Grangier. Mô hình ngôn ngữ với mạng lưới xoắn ốc. Trong , pp. 933–941. PMLR, 2017. International conference on machine learning Tim Dettmers, Mike Lewis, Younes Belkada, and Luke Zettlemoyer. LLM.int8(): 8-bit matrix multiplication for transformers at scale. năm 2022. arXiv Preprint arXiv:2208.07339 Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, and Luke Zettlemoyer. QLoRA: Efficient finetuning of quantized LLMs. , 2023. arXiv preprint arXiv:2305.14314 Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. , 2018. arXiv Preprint arXiv:1810.04805 Ning Ding, Yulin Chen, Bokai Xu, Yujia Qin, Zhi Zheng, Shengding Hu, Zhiyuan Liu, Maosong Sun, and Bowen Zhou. Enhancing chat language models by scaling high-quality instructional conversations. , 2023. arXiv preprint arXiv:2305.14233 Danny Driess, Fei Xia, Mehdi SM Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, et al. Palm-e: Một mô hình ngôn ngữ đa phương thức được thể hiện. năm 2023. arXiv preprint arXiv:2303.03378 Nan Du, Yanping Huang, Andrew M Dai, Simon Tong, Dmitry Lepikhin, Yuanzhong Xu, Maxim Krikun, Yanqi Zhou, Adams Wei Yu, Orhan Firat, et al. GLaM: Efficient scaling of language models with mixture-of-experts. In , trang 5547–5569. PMLR, 2022. International Conference on Machine Learning Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, and Jie Tang. GLM: General language model pretraining with autoregressive blank infilling. , 2021. arXiv preprint arXiv:2103.10360 Kawin Ethayarajh, Yejin Choi, and Swabha Swayamdipta. Understanding dataset difficulty with -usable information. In Kamalika Chaudhuri, Stefanie Jegelka, Le Song, Csaba Szepesvari, Gang Niu, and Sivan Sabato (eds.), , volume 162 of , pp. 5988–6008. PMLR, 17–23 Jul 2022. V Proceedings of the 39th International Conference on Machine Learning Proceedings of Machine Learning Research William Fedus, Barret Zoph, and Noam Shazeer. Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. , 23(1): 5232–5270, 2022. The Journal of Machine Learning Research Elias Frantar, Saleh Ashkboos, Torsten Hoefler, and Dan Alistarh. GPTQ: Accurate post-training quantization for generative pre-trained transformers. năm 2022. arXiv Preprint arXiv:2210.17323 Daniel Fried, Armen Aghajanyan, Jessy Lin, Sida I. Wang, Eric Wallace, Freda Shi, Ruiqi Zhong, Wen tau Yih, Luke Zettlemoyer, and Mike Lewis. Incoder: A generative model for code infilling and synthesis. , abs/2204.05999, 2022. ArXiv Google. An important next step on our AI journey, 2023. URL . https://blog.google/ technology/ai/bard-google-ai-search-updates/ Dan Hendrycks và Kevin Gimpel: Kết nối các không tuyến tính và các bộ điều chỉnh stochastic với các đơn vị tuyến tính lỗi Gaussian. , abs/1606.08415, 2016 URL . . CoRR http://arxiv.org/abs/1606 08415 Dan Hendrycks, Collin Burns, Steven Basart, Andy Zou, Mantas Mazeika, Dawn Song, and Jacob Steinhardt. Measuring massive multitask language understanding. , 2020. arXiv preprint arXiv:2009.03300 Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart, Eric Tang, Dawn Song, and Jacob Steinhardt. Measuring mathematical problem solving with the math dataset. , 2021. arXiv preprint arXiv:2103.03874 Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. , 2022. arXiv preprint arXiv:2203.15556 Sirui Hong, Xiawu Zheng, Jonathan Chen, Yuheng Cheng, Ceyao Zhang, Zili Wang, Steven Ka Shing Yau, Zijuan Lin, Liyang Zhou, Chenyu Ran, et al. Metagpt: Meta programming for multi-agent collaborative framework. , 2023. arXiv preprint arXiv:2308.00352 Chenxu Hu, Jie Fu, Chenzhuang Du, Simian Luo, Junbo Zhao, and Hang Zhao. Chatdb: Augmenting llms with databases as their symbolic memory. , 2023. arXiv preprint arXiv:2306.03901 Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA: Low-rank adaptation of large language models. năm 2021. arXiv preprint arXiv:2106.09685 Hai Hu, Kyle Richardson, Liang Xu, Lu Li, Sandra Ku¨bler, and Lawrence S. Moss. OCNLI: original chinese natural language inference. In Trevor Cohn, Yulan He, and Yang Liu (eds.), , volume EMNLP 2020 of , pp. 3512–3526. Association for Computational Linguistics, 2020. doi: 10.18653/v1/2020.findings-emnlp.314. URL . Findings of the Association for Computational Linguistics: EMNLP 2020, Online Event, 16-20 November 2020 Findings of ACL https://doi.org/10.18653/v1/2020.findings-emnlp.314 Yuzhen Huang, Yuzhuo Bai, Zhihao Zhu, Junlei Zhang, Jinghan Zhang, Tangjun Su, Junteng Liu, Chuancheng Lv, Yikai Zhang, Jiayi Lei, et al. C-Eval: Một bộ đánh giá đa ngành Trung Quốc đa cấp cho các mô hình nền tảng. , 2023. arXiv preprint arXiv:2305.08322 Hugging Face. Transformers agents, 2023. URL . https://huggingface.co/docs/ transformers/transformers_agents Baichuan Inc. Baichuan-7B: A large-scale 7B pretraining language model developed by BaiChuan-Inc, 2023a. URL . https://github.com/baichuan-inc/Baichuan-7B XVERSE Technology Inc. XVERSE-13B: Một mô hình ngôn ngữ lớn đa ngôn ngữ được phát triển bởi XVERSE Technology Inc., 2023b. . https://github.com/xverse-ai/ XVERSE-13B InternLM Team. InternLM: A multilingual language model with progressively enhanced capabilities, 2023. URL . https://github.com/InternLM/InternLM Shantanu Jain. tiktoken: Một tokeniser BPE nhanh để sử dụng với các mô hình của OpenAI, 2022. . https://github.com/openai/tiktoken/ Yunjie Ji, Yong Deng, Yan Gong, Yiping Peng, Qiang Niu, Lei Zhang, Baochang Ma, and Xiangang Li. Exploring the impact of instruction data scaling on large language models: An empirical study on real-world use cases. năm 2023. arXiv preprint arXiv:2303.14742 Zixuan Jiang, Jiaqi Gu, Hanqing Zhu, và David Z. Pan. Pre-RMSNorm và Pre-CRMSNorm biến áp: tương đương và hiệu quả pre-LN biến áp. , abs/2305.14858, 2023. doi: 10.48550/arXiv.2305.14858. URL . CoRR https://doi.org/10.48550/arXiv.2305.14858 Diederik P. Kingma và Jimmy Ba. Adam: Một phương pháp tối ưu hóa Stochastic. , 2014. arXiv Preprint arXiv:1412.6980 Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur P. Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le và Slav Petrov. , 7:452–466, 2019. doi: 10.1162/tacl*\* a*\* 00276. URL của . Trans. Assoc. Comput. Linguistics https://doi.org/10 1162/tacl_a_00276 Woosuk Kwon, Zhuohan Li, Siyuan Zhuang, Ying Sheng, Lianmin Zheng, Cody Hao Yu, Joseph E. Gonzalez, Hao Zhang và Ion Stoica. Quản lý bộ nhớ hiệu quả cho mô hình ngôn ngữ lớn phục vụ với PagedAttention. năm 2023. ACM SIGOPS Hội nghị thượng đỉnh lần thứ 29 về các nguyên tắc hệ điều hành LangChain, Inc. LangChain: Xây dựng các ứng dụng với LLM thông qua khả năng kết hợp, 2023. . https://python.langchain.com/ Dmitry Lepikhin, HyoukJoong Lee, Yuanzhong Xu, Dehao Chen, Orhan Firat, Yanping Huang, Maxim Krikun, Noam Shazeer và Zhifeng Chen. năm 2020. arXiv bản in trước arXiv:2006.16668 Aitor Lewkowycz, Anders Andreassen, David Dohan, Ethan Dyer, Henryk Michalewski, Vinay Ramasesh, Ambrose Slone, Cem Anil, Imanol Schlag, Theo Gutman-Solo, Yuhuai Wu, Behnam Neyshabur, Guy Gur-Ari, and Vedant Misra. Solving quantitative reasoning problems with language models, 2022. Chenliang Li, Hehong Chen, Ming Yan, Weizhou Shen, Haiyang Xu, Zhikai Wu, Zhicheng Zhang, Wenmeng Zhou, Yingda Chen, Chen Cheng, et al. ModelScope-Agent: Building your customizable agent system with open-source large language models. năm 2023a. arXiv Preprint arXiv:2309.00986 Guohao Li, Hasan Abed Al Kader Hammoud, Hani Itani, Dmitrii Khizbullin, và Bernard Ghanem. Camel: Các đại lý truyền thông để khám phá “tâm trí” của xã hội mô hình ngôn ngữ quy mô lớn. năm 2023b. arXiv Preprint arXiv:2303.17760 Haonan Li, Yixuan Zhang, Fajri Koto, Yifei Yang, Hai Zhao, Yeyun Gong, Nan Duan, và Timothy Baldwin. , 2023c. arXiv preprint arXiv:2306.09212 Raymond Li, Loubna Ben Allal, Yangtian Zi, Niklas Muennighoff, Denis Kocetkov, Chenghao Mou, Marc Marone, Christopher Akiki, Jia Li, Jenny Chim, Qian Liu, Evgenii Zheltonozhskii, Terry Yue Umapathi, Jian Zhuo, Thomas Wang, Lipkin, Muhtamokulov, Mishig Davaadorj, Joel Lamy-Poirier, Rudra Murthy V, Jason Stiller, Siva Sank Patel, Dmitry Abulkhanov Anderson, Nicolas Gontier, Nicholas Meade, Armel Zebaze, Ming-Ho Yee, Logesh Kumar Umapathi, Jian Zhu, Jian Zhu Contiley, Benjamin, Muhtamokulov Oblahov, Zuo Wang, Rudra , abs/2305.06161, 2023d. doi: 10.48550/arXiv.2305.06161. URL . CoRR https://doi.org/10.48550/arXiv.2305.06161 Yujia Li, David H. Choi, Junyoung Chung, Nate Kushman, Julian Schrittwieser, Re ́mi Leblond, Tom Eccles, James Keeling, Felix Gimeno, Agustin Dal Lago, Thomas Hubert, Peter Choy, Cyprien de Masson d’Autume, Igor Babuschkin, Xinyun Chen, Po-Sen Huang, Johannes Welbl, Sven Gowal, Alexey Cherepanov, James Molloy, Daniel J. Mankowitz, Esme Sutherland Robson, Pushmeet Kohli, Nando de Freitas, Koray Kavayukcuoglu và Oriol Vinyals. , abs/2203.07814, năm 2022. CoRR Hunter Lightman, Vineet Kosaraju, Yura Burda, Harri Edwards, Bowen Baker, Teddy Lee, Jan Leike, John Schulman, Ilya Sutskever, and Karl Cobbe. Let’s verify step by step. , 2023. arXiv preprint arXiv:2305.20050 Chenxiao Liu and Xiaojun Wan. CodeQA: A question answering dataset for source code com-prehension. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih (eds.), , pp. 2618–2632. Associa-tion for Computational Linguistics, 2021. doi: 10.18653/v1/2021.findings-emnlp.223. URL . Kết quả của Hiệp hội Ngôn ngữ học tính toán: EMNLP 2021, Sự kiện ảo / Punta Cana, Cộng hòa Dominica, 16-20 tháng 11 năm 2021 https://doi.org/10.18653/v1/2021.findings-emnlp.223 Haotian Liu, Chunyuan Li, Qingyang Wu, and Yong Jae Lee. Visual instruction tuning. , 2023a. arXiv preprint arXiv:2304.08485 Xiao Liu, Hanyu Lai, Hao Yu, Yifan Xu, Aohan Zeng, Zhengxiao Du, Peng Zhang, Yuxiao Dong, and Jie Tang. WebGLM: Towards an efficient web-enhanced question answering system with human preferences. năm 2023b. arXiv preprint arXiv:2306.07906 Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A robustly optimized BERT pretraining approach. , 2019. arXiv preprint arXiv:1907.11692 Yue Liu, Thanh Le-Cong, Ratnadira Widyasari, Chakkrit Tantithamthavorn, Li Li, Xuan-Bach Dinh Le, và David Lo. Cải thiện mã được tạo bởi ChatGPT: Đặc trưng và giảm thiểu các vấn đề về chất lượng mã. , abs/2307.12596, 2023c. doi: 10.48550/arXiv.2307.12596. URL . CoRR https://doi.org/10.48550/arXiv.2307.12596 Shayne Longpre, Le Hou, Tu Vu, Albert Webson, Hyung Won Chung, Yi Tay, Denny Zhou, Quoc V Le, Barret Zoph, Jason Wei, et al. The Flan collection: Designing data and methods for effective instruction tuning. năm 2023. arXiv preprint arXiv:2301.13688 Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. , 2017. arXiv preprint arXiv:1711.05101 Keming Lu, Hongyi Yuan, Zheng Yuan, Runji Lin, Junyang Lin, Chuanqi Tan, Chang Zhou, and Jingren Zhou. #InsTag: Instruction tagging for analyzing supervised fine-tuning of large language models. , abs/2308.07074, 2023. doi: 10.48550/arXiv.2308.07074. URL . . CoRR https://doi org/10.48550/arXiv.2308.07074 Haipeng Luo, Qingfeng Sun, Can Xu, Pu Zhao, Jianguang Lou, Chongyang Tao, Xiubo Geng, Qingwei Lin, Shifeng Chen, and Dongmei Zhang. WizardMath: Empowering mathematical reasoning for large language models via reinforced evol-instruct. , 2023a. arXiv preprint arXiv:2308.09583 Ziyang Luo, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin, and Daxin Jiang. WizardCoder: Empowering code large language models with evol-instruct. , 2023b. arXiv preprint arXiv:2306.08568 Mosaic ML. MPT-30B: Raising the bar for open-source foundation models, 2023. URL . https://www.mosaicml.com/blog/mpt-30b Niklas Muennighoff, Thomas Wang, Lintang Sutawika, Adam Roberts, Stella Biderman, Teven Le Scao, M Saiful Bari, Sheng Shen, Zheng-Xin Yong, Hailey Schoelkopf, et al. Crosslingual generalization through multitask finetuning. , 2022. arXiv preprint arXiv:2211.01786 Niklas Muennighoff, Qian Liu, Armel Zebaze, Qinkai Zheng, Binyuan Hui, Terry Yue Zhuo, Swayam Singh, Xiangru Tang, Leandro von Werra, và Shayne Longpre. OctoPack: Hướng dẫn điều chỉnh mã mô hình ngôn ngữ lớn. , abs/2308.07124, năm 2023. CoRR Reiichiro Nakano, Jacob Hilton, Suchir Balaji, Jeff Wu, Long Ouyang, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, et al. WebGPT: Browser-assisted question-answering with human feedback. năm 2021. arXiv preprint arXiv:2112.09332 Maxwell Nye, Anders Andreassen, Guy Gur-Ari, Henryk Michalewski, Jacob Austin, David Bieber, David Dohan, Aitor Lewkowycz, Maarten Bosma, David Luan, Charles Sutton, and Augustus Odena. Show your work: Scratchpads for intermediate computation with language models. , abs/2112.00114, 2021. ArXiv OpenAI. Introducing ChatGPT, 2022. URL . https://openai.com/blog/chatgpt OpenAI. ChatML, 2022. URL . https://github.com/openai/openaipython/blob/e389823ba013a24b4c32ce38fa0bd87e6bccae94/chatml.md OpenAI. GPT4 technical report. , 2023. arXiv preprint arXiv:2303.08774 OpenCompass Team. OpenCompass: A universal evaluation platform for foundation models, 2023. URL . https://opencompass.org.cn/leaderboard-llm Long Ouyang, Jeffrey Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul F. Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback. In , 2022. URL . NeurIPS http://papers.nips.cc/paper_files/paper/2022/hash/ b1efde53be364a73914f58805a001731-Abstract-Conference.html Denis Paperno, Germa ́n Kruszewski, Angeliki Lazaridou, Quan Ngoc Pham, Raffaella Bernardi, Sandro Pezzelle, Marco Baroni, Gemma Boleda, và Raquel Ferna ́ndez. Bộ dữ liệu LAMBADA: Dự đoán từ đòi hỏi một bối cảnh thảo luận rộng. . The Association for Computer Linguistics, 2016. doi: 10.18653/v1/ p16-1144. URL . Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016, August 7-12, 2016, Berlin, Germany, Volume 1: Long Papers https://doi.org/10.18653/v1/p16-1144 Bowen Peng, Jeffrey Quesnelle, Honglu Fan, and Enrico Shippole. YaRN: Efficient context window extension of large language models. , 2023a. arXiv preprint arXiv:2309.00071 Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, and Furu Wei. Kosmos-2: Grounding multimodal large language models to the world. , 2023b. arXiv preprint arXiv:2306.14824 Qwen Team, Alibaba Group. Evaluation benchmark for code intepreter, 2023a. URL https://github.com/QwenLM/Qwen-Agent/tree/main/benchmark. Qwen Team, Alibaba Group. Điểm chuẩn đánh giá về việc sử dụng công cụ thông qua lời nhắc ReAct, 2023b. URL . https://github.com/QwenLM/Qwen-7B/tree/main/eval Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pre-training. Technical report, OpenAI, 2018. Jack W Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican, Jordan Hoffmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, et al. Mô hình ngôn ngữ quy mô: Phương pháp, phân tích và hiểu biết từ đào tạo gopher. , 2021. arXiv preprint arXiv:2112.11446 Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D Manning, and Chelsea Finn. Direct preference optimization: Your language model is secretly a reward model. , 2023. arXiv preprint arXiv:2305.18290 Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J Liu. Exploring the limits of transfer learning with a unified text-to-text transformer. , 21(1):5485–5551, 2020. The Journal of Machine Learning Research Prajit Ramachandran, Barret Zoph, và Quoc V Le. Tìm kiếm các hàm kích hoạt. , 2017. arXiv Preprint arXiv:1710.05941 Scott E. Reed, Konrad Zolna, Emilio Parisotto, Sergio Go´mez Colmenarejo, Alexander Novikov, Gabriel Barth-Maron, Mai Gimenez, Yury Sulsky, Jackie Kay, Jost Tobias Springenberg, Tom Eccles, Jake Bruce, Ali Razavi, Ashley Edwards, Nicolas Heess, Yutian Chen, Raia Hadsell, Oriol Vinyals, Mahyar Bordbar, and Nando de Freitas. A generalist agent. , 2022, 2022. URL . Trans. Mach. Learn. Res. https://openreview.net/forum?id=1ikK0kHjvj Baptiste Rozie`re, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Tal Remez, Je´re´my Rapin, et al. Code Llama: Open foundation models for code. , 2023. arXiv preprint arXiv:2308.12950 Victor Sanh, Albert Webson, Colin Raffel, Stephen H Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, et al. Multitask prompted training enables zero-shot task generalization. , 2021. arXiv preprint arXiv:2110.08207 Maarten Sap, Hannah Rashkin, Derek Chen, Ronan Le Bras, and Yejin Choi. SocialIQA: Com-monsense reasoning about social interactions. , abs/1904.09728, 2019. URL CoRR http: . //arxiv.org/abs/1904.09728 Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilic´, Daniel Hesslow, Roman Castagne´, Alexandra Sasha Luccioni, Franc¸ois Yvon, Matthias Galle´, et al. BLOOM: A 176B-parameter open-access multilingual language model. , 2022. arXiv preprint arXiv:2211.05100 Timo Schick, Jane Dwivedi-Yu, Roberto Dess`ı, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, and Thomas Scialom. Toolformer: Language models can teach themselves to use tools. năm 2023. arXiv preprint arXiv:2302.04761 John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, and Oleg Klimov. Proximal policy optimization algorithms. , 2017. arXiv preprint arXiv:1707.06347 Noam Shazeer. GLU variants improve transformer. , 2020. arXiv preprint arXiv:2002.05202 Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu, and Yueting Zhuang. Hug-gingGPT: Solving AI tasks with ChatGPT and its friends in HuggingFace. , 2023. arXiv preprint arXiv:2303.17580 Mohammad Shoeybi, Mostofa Patwary, Raul Puri, Patrick LeGresley, Jared Casper, and Bryan Catan-zaro. Megatron-LM: Training multi-billion parameter language models using model parallelism. , 2019. arXiv preprint arXiv:1909.08053 Qingyi Si, Tong Wang, Naibin Gu, Rui Liu, và Zheng Lin. Alpaca-CoT: Một nền tảng điều chỉnh hướng dẫn với giao diện thống nhất của bộ sưu tập hướng dẫn, phương pháp hiệu quả tham số và các mô hình ngôn ngữ lớn, 2023. . https://github.com/PhoebusSi/alpaca-CoT Feifan Song, Bowen Yu, Minghao Li, Haiyang Yu, Fei Huang, Yongbin Li, and Houfeng Wang. Preference ranking optimization for human alignment. , 2023. arXiv preprint arXiv:2306.17492 Stability AI. StableBeluga2, 2023. URL . https://huggingface.co/stabilityai/ ổn định2 Nisan Stiennon, Long Ouyang, Jeffrey Wu, Daniel Ziegler, Ryan Lowe, Chelsea Voss, Alec Radford, Dario Amodei, và Paul F Christiano. Học cách tóm tắt với phản hồi của con người. , 33:3008–3021, 2020. Advances in Neural Information Processing Systems Jianlin Su. Cải thiện biến áp: Khả năng extrapolation chiều dài và độ bền vị trí, 2023a. URL . https://spaces.ac.cn/archives/9444 Jianlin Su. The magical effect of the Bias term: RoPE + Bias = better length extrapolation, 2023b. URL . https://spaces.ac.cn/archives/9577 Jianlin Su, Yu Lu, Shengfeng Pan, Ahmed Murtadha, Bo Wen, and Yunfeng Liu. Roformer: Enhanced transformer with rotary position embedding. , 2021. arXiv preprint arXiv:2104.09864 Tianxiang Sun, Xiaotian Zhang, Zhengfu He, Peng Li, Qinyuan Cheng, Hang Yan, Xiangyang Liu, Yunfan Shao, Qiong Tang, Xingjian Zhao, Ke Chen, Yining Zheng, Zhejian Zhou, Ruixiao Li, Jun Zhan, Yunhua Zhou, Linyang Li, Xiaogui Yang, Lingling Wu, Zhangyue Yin, Xuanjing Huang, and Xipeng Qiu. MOSS: Training conversational language models from synthetic data, 2023a. Zhiqing Sun, Yikang Shen, Qinhong Zhou, Hongxin Zhang, Zhenfang Chen, David Cox, Yiming Yang, and Chuang Gan. Principle-driven self-alignment of language models from scratch with minimal human supervision. , 2023b. arXiv preprint arXiv:2305.03047 Mirac Suzgun, Nathan Scales, Nathanael Scha ̈rli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V Le, Ed H Chi, Denny Zhou, và những người khác. , 2022. arXiv Preprint arXiv:2210.09261 Marc Szafraniec, Baptiste Rozie`re, Hugh Leather, Patrick Labatut, Franc¸ois Charton, and Gabriel Synnaeve. Code translation with compiler representations. In . OpenReview.net, 2023. URL . Hội nghị quốc tế lần thứ 11 về đại diện học tập, ICLR 2023, Kigali, Rwanda, từ ngày 1 đến 5 tháng 5 năm 2023 https://openreview.net/pdf?id=XomEU3eNeSQ Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant. CommonsenseQA: A question answering challenge targeting commonsense knowledge. In Jill Burstein, Christy Doran, and Thamar Solorio (eds.), , trang 4149–4158. Hiệp hội Ngôn ngữ học tính toán, 2019. doi: 10.18653/v1/n19-1421. URL . Phiên bản 2019 của Hội nghị Chương Bắc Mỹ của Hiệp hội Ngôn ngữ học tính toán: Công nghệ ngôn ngữ con người, NAACL-HLT 2019, Minneapolis, MN, Hoa Kỳ, ngày 2-7, 2019, Tập 1 (Tài liệu dài và ngắn) https://doi.org/10.18653/v1/n19-1421 Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang, and Tatsunori B. Hashimoto. Stanford Alpaca: An instruction-following LLaMA model, 2023. URL . https://github.com/tatsu-lab/stanford_alpaca Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, and Robert Stojnic. Galactica: A large language model for science, 2022. Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Menegali, Yanping Huang, Maxim Krikun, Dmitry Lepikhin, James Qin, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Kathleen S. Meier-Hellstern, Meredith Ringel Morris, Tulsee Doshi, Renelito Delos Santos, Toju Duke, Johnny Soraker, Ben Zevenbergen, Vinodkumar Prabhakaran, Mark Diaz, Ben Hutchinson, Kristen Ol-son, Alejandra Molina, Erin Hoffman-John, Josh Lee, Lora Aroyo, Ravi Rajakumar, Alena Butryna, Matthew Lamm, Viktoriya Kuzmina, Joe Fenton, Aaron Cohen, Rachel Bernstein, Ray Kurzweil, Blaise Agu¨era y Arcas, Claire Cui, Marian Croak, Ed H. Chi, and Quoc Le. LaMDA: Language models for dialog applications. , abs/2201.08239, 2022. URL . CoRR https://arxiv.org/abs/2201.08239 Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothe´e Lacroix, Baptiste Rozie`re, Naman Goyal, Eric Hambro, Faisal Azhar, et al. LLaMA: Open and efficient foundation language models. , 2023a. arXiv Preprint arXiv:2302.13971 Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian Canton-Ferrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aure´lien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. Llama 2: Open foundation and fine-tuned chat models. , abs/2307.09288, 2023b. doi: 10.48550/arXiv.2307.09288. URL . CoRR https://doi.org/ 10.48550/arXiv.2307.09288 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. , 30, 2017. Advances in neural information processing systems Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Fan, and Anima Anandkumar. Voyager: An open-ended embodied agent with large language models. , 2023a. arXiv preprint arXiv:2305.16291 Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Huai hsin Chi, và Denny Zhou. tự nhất quán cải thiện chuỗi lý luận suy nghĩ trong các mô hình ngôn ngữ. , abs/2203.11171, 2022. ArXiv Yan Wang, Xiaojiang Liu, and Shuming Shi. Deep neural solver for math word problems. In , 2017. URL . semanticscholar.org/CorpusID:910689. Conference on Empirical Methods in Natural Language Processing https://api Yizhong Wang, Hamish Ivison, Pradeep Dasigi, Jack Hessel, Tushar Khot, Khyathi Raghavi Chandu, David Wadden, Kelsey MacMillan, Noah A Smith, Iz Beltagy, et al. How far can camels go? Exploring the state of instruction tuning on open resources. năm 2023b. arXiv preprint arXiv:2306.04751 Yizhong Wang, Yeganeh Kordi, Swaroop Mishra, Alisa Liu, Noah A. Smith, Daniel Khashabi, and Hannaneh Hajishirzi. Self-Instruct: Aligning language models with self-generated instructions. In Anna Rogers, Jordan L. Boyd-Graber, and Naoaki Okazaki (eds.), , trang 13484–13508. Hiệp hội Ngôn ngữ học tính toán, 2023c. doi: 10.18653/v1/2023.acl-long.754. URL . Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), ACL 2023, Toronto, Canada, July 9-14, 2023 https://doi.org/10.18653/v1/ 2023.acl dài.754 Yue Wang, Weishi Wang, Shafiq Joty, and Steven CH Hoi. CodeT5: Identifier-aware unified pre-trained encoder-decoder models for code understanding and generation. , 2021. arXiv Preprint arXiv:2109.00859 Yue Wang, Hung Le, Akhilesh Deepak Gotmare, Nghi D. Q. Bui, Junnan Li, và Steven C. H. Hoi. CodeT5+: Các mô hình ngôn ngữ mã nguồn mở cho sự hiểu biết và tạo ra mã. , abs/2305.07922, 2023d. doi: 10.48550/arXiv.2305.07922. URL . . CoRR https://doi.org/10 48550/arXiv.2305.07922 Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan Du, Andrew M. Dai, and Quoc V. Le. Finetuned language models are zero-shot learners. In . OpenReview.net, 2022a. URL . Hội nghị quốc tế lần thứ 10 về đại diện học tập, ICLR 2022, Sự kiện ảo, 25-29 tháng 4 năm 2022 https://openreview.net/forum?id= gEZrGCozdqR Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed Huai hsin Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean và William Fedus. , 2022, 2022b. URL CorpusID:249674500. Trans. Mach. Learn. Res. https://api.semanticscholar.org/ Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V Le, Denny Zhou, et al. Chuỗi suy nghĩ thúc đẩy lý luận trong các mô hình ngôn ngữ lớn. , 35:24824–24837, 2022c. Tiến bộ trong hệ thống xử lý thông tin thần kinh Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Re´mi Louf, Morgan Funtowicz, et al. HuggingFace’s transformers: State-of-the-art natural language processing. , 2019. arXiv preprint arXiv:1910.03771 Benfeng Xu, An Yang, Junyang Lin, Quan Wang, Chang Zhou, Yongdong Zhang, and Zhendong Mao. ExpertPrompting: Instructing large language models to be distinguished experts. năm 2023a. arXiv Preprint arXiv:2305.14688 Can Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao, Jiazhan Feng, Chongyang Tao, và Daxin Jiang. , 2023b. arXiv preprint arXiv:2304.12244 Canwen Xu, Daya Guo, Nan Duan, và Julian McAuley. Baize: Một mô hình trò chuyện mã nguồn mở với điều chỉnh hiệu quả đối với dữ liệu tự trò chuyện. , 2023c. arXiv Preprint arXiv:2304.01196 Yuzhuang Xu, Shuo Wang, Peng Li, Fuwen Luo, Xiaolong Wang, Weidong Liu, và Yang Liu. Khám phá các mô hình ngôn ngữ lớn cho các trò chơi truyền thông: Một nghiên cứu thực nghiệm về người sói. năm 2023d. arXiv Preprint arXiv:2309.04658 Aiyuan Yang, Bin Xiao, Bingning Wang, Borong Zhang, Chao Yin, Chenxu Lv, Da Pan, Dian Wang, Dong Yan, Fan Yang, Fei Deng, Feng Wang, Feng Liu, Guangwei Ai, Guosheng Dong, Haizhou Zhao, Hang Xu, Haoze Sun, Hongda Zhang, Hui Liu, Jiaming Ji, Jian Xie, Juntao Dai, Kun Fang, Lei Su, Liang Song, Lifeng Liu, Liyun Ru, Luyao Ma, Mang Wang, Mickel Liu, MingAn Lin, Nuolan Nie, Peidong Guo, Ruiyang Sun, Tao Zhang, Tianpeng Li, Tianyu Li, Wei Cheng, Weipeng Chen, Xiangrong Zeng, Xiaochuan Wang, Xiaoxi Chen, Xin Men, Xin Yu, Xuehai Pan, Yanjun Shen, Yiding Wang, Yiyu Li, Youxin Jiang, Yuchen Gao, Yupeng Zhang, Zenan Zhou, and Zhiying Wu. Baichuan 2: Open large-scale language models. Technical report, Baichuan Inc., 2023. URL của . https://cdn.baichuan-ai.com/paper/Baichuan2-technical-report pdf Thảo luận:Jianxin Yang Firefly , 2023. https://github.com/yangjianxin1/Firefly Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, and Yuan Cao. ReAct: Synergizing reasoning and acting in language models. , 2022. arXiv Preprint arXiv:2210.03629 Qinghao Ye, Haiyang Xu, Guohai Xu, Jiabo Ye, Ming Yan, Yiyang Zhou, Junyang Wang, Anwen Hu, Pengcheng Shi, Yaya Shi, et al. mPLUG-Owl: Modularization trao quyền cho các mô hình ngôn ngữ lớn với tính đa phương thức. năm 2023. arXiv preprint arXiv:2304.14178 Longhui Yu, Weisen Jiang, Han Shi, Jincheng Yu, Zhengying Liu, Yu Zhang, James T. Kwok, Zhenguo Li, Adrian Weller, and Weiyang Liu. Metamath: Bootstrap your own mathematical questions for large language models, 2023. Zheng Yuan, Hongyi Yuan, Chengpeng Li, Guanting Dong, Keming Lu, Chuanqi Tan, Chang Zhou, and Jingren Zhou. Scaling relationship on learning mathematical reasoning with large language models, 2023a. Zheng Yuan, Hongyi Yuan, Chuanqi Tan, Wei Wang, and Songfang Huang. How well do large language models perform in arithmetic tasks? , 2023b. arXiv preprint arXiv:2304.02015 Zheng Yuan, Hongyi Yuan, Chuanqi Tan, Wei Wang, Songfang Huang, and Fei Huang. RRHF: Rank responses to align language models with human feedback without tears, 2023c. Xiang Yue, Xingwei Qu, Ge Zhang, Yao Fu, Wenhao Huang, Huan Sun, Yu Su, and Wenhu Chen. MAmmoTH: Building math generalist models through hybrid instruction tuning. , 2023. arXiv Preprint arXiv:2309.05653 Rowan Zellers, Ari Holtzman, Yonatan Bisk, Ali Farhadi, và Yejin Choi. HellaSwag: Một cỗ máy có thể thực sự hoàn thành câu của bạn? trong Anna Korhonen, David R. Traum, và Llu ́ıs Ma`rquez (ed.), , trang 4791–4800. Hiệp hội Ngôn ngữ học tính toán, 2019. doi: 10.18653/v1/p19-1472. URL . Proceedings of the 57th Conference of the Association for Computational Linguistics, ACL 2019, Florence, Italy, July 28- August 2, 2019, Volume 1: Long Papers https://doi.org/10.18653/v1/p19-1472 Aohan Zeng, Xiao Liu, Zhengxiao Du, Zihan Wang, Hanyu Lai, Ming Ding, Zhuoyi Yang, Yifan Xu, Wendi Zheng, Xiao Xia, et al. GLM-130B: Một mô hình hai ngôn ngữ mở được đào tạo trước. năm 2022. arXiv Preprint arXiv: 2210.02414 Fengji Zhang, Bei Chen, Yue Zhang, Jin Liu, Daoguang Zan, Yi Mao, Jian-Guang Lou, and Weizhu Chen. RepoCoder: Repository-level code completion through iterative retrieval and generation. , abs/2303.12570, 2023a. doi: 10.48550/arXiv.2303.12570. URL . CoRR https://doi.org/ 10.48550/arXiv.2303.12570 Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. OPT: Open pre-trained transformer language models. năm 2022. arXiv Preprint arXiv:2205.01068 Xiaotian Zhang, Chunyang Li, Yi Zong, Zhengyu Ying, Liang He, và Xipeng Qiu. Đánh giá hiệu suất của các mô hình ngôn ngữ lớn trên tiêu chuẩn GAOKAO. , abs/2305.12474, 2023b. doi: 10.48550/arXiv.2305.12474. URL . . CoRR https://doi.org/10.48550/arXiv 2305.12474 Qinkai Zheng, Xiao Xia, Xu Zou, Yuxiao Dong, Shan Wang, Yufei Xue, Zihan Wang, Lei Shen, Andi Wang, Yang Li, Teng Su, Zhilin Yang, and Jie Tang. CodeGeeX: A pre-trained model for code generation with multilingual evaluations on humaneval-x. , abs/2303.17568, 2023. doi: 10.48550/arXiv.2303.17568. URL . CoRR https://doi.org/10.48550/arXiv.2303.17568 Wanjun Zhong, Ruixiang Cui, Yiduo Guo, Yaobo Liang, Shuai Lu, Yanlin Wang, Amin Saied, Weizhu Chen, and Nan Duan. AGIEval: A human-centric benchmark for evaluating foundation models. , abs/2304.06364, 2023a. doi: 10.48550/arXiv.2304.06364. URL . CoRR https://doi.org/ 10.48550/arXiv.2304.06364 Wanjun Zhong, Lianghong Guo, Qiqi Gao, and Yanlin Wang. MemoryBank: Enhancing large language models with long-term memory. năm 2023b. arXiv preprint arXiv:2305.10250 Denny Zhou, Nathanael Scharli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Olivier Bousquet, Quoc Le, and Ed Huai hsin Chi. Least-to-most prompting enables complex reasoning in large language models. , abs/2205.10625, năm 2022. ArXiv A Appendix A.1 Thêm chi tiết đào tạo A.1.1 Định dạng dữ liệu cho Qwen-Chat Different from conventional pretraining based on autoregressive next-token prediction, despite using a similar training task, there should be a specially design data format for SFT and RLHF to build a conversational AI assistant model. Common formats include “human-assistant” and ChatML formats. As to our knowledge, one of the earliest examples of the human-assistant format comes from Anthropic which adds a special phrase “\n\nhuman: ” in front of the user input and “\n\nassistant: ” in front of the assistant response. It is easy for the base language model to transfer to the pattern of conversational AI. However, as the specific phrases are common words, it might be hard for the model to disambiguate from these words in other contexts. (Bai et al., năm 2022b) Instead, we turned to the ChatML format proposed by OpenAI. Định dạng này cho phép sử dụng các token đặc biệt, tức là, " “Và” ”, mà không xuất hiện trong đào tạo trước, và do đó giải quyết vấn đề đã đề cập ở trên. Chúng tôi trình bày một ví dụ về định dạng dưới đây. 5 A.2 Evaluation 2.1 Đánh giá tự động To provide a whole picture of the performance of our model series QWEN, here in this section we illustrate the detailed performance of our models as well as the baselines in the comprehensive benchmark evaluation proposed by We report the results in multiple tables based on the officially provided categories, including examination, language, knowledge, understanding, and reasoning. In terms of the performance of the baseline models, we report the higher results between the reported ones and those on the leaderboard. Nhóm OpenCompass (2023). Here we evaluate the models on a series of datasets relevant to the examination. The datasets include: Examination MMLU (Hendrycks et al., 2020) Massive Multi-task Language Understanding được thiết kế để đo khả năng hiểu ngôn ngữ. C-Eval (Huang et al., 2023) C-Eval là một bộ dữ liệu đánh giá Trung Quốc bao gồm 52 ngành khác nhau. CMMLU (Li et al., 2023c) CMMLU được thiết kế để đánh giá khả năng hiểu ngôn ngữ bằng tiếng Trung. Chúng tôi báo cáo kết quả 5-shot. AGIEval (Zhong et al., 2023a) Đây là một tiêu chuẩn bao gồm các kỳ thi tập trung vào con người, bao gồm các kỳ thi nhập học đại học, các bài kiểm tra nhập học trường luật, các cuộc thi toán học và các bài kiểm tra trình độ luật sư. Gaokao-Bench (Zhang et al., 2023b) Đây là một tiêu chuẩn với các câu hỏi Gaokao (thử nghiệm nhập học đại học Trung Quốc). ARC is a dataset consisting of grade-school level, multiple-choice science questions. It includes an easy set and a challenge set, which are referred by ARC-e and ARC-c. We report zero-shot results. ARC (Clark et al., 2018) Về MMLU, chúng tôi báo cáo kết quả chi tiết trong Bảng Về C-Eval, chúng tôi báo cáo kết quả trong Bảng For the rest of the datasets, we report the results in Table Lưu ý rằng AGIEval bao gồm các phần tiếng Trung và tiếng Anh, trong khi LLAMA 2 chỉ báo cáo kết quả trong phần tiếng Anh, vì vậy chúng tôi sử dụng kết quả trên OpenCompass. 13. 14. 15. Ngoài ra, trong khi CMMLU, AGIEval và Gaokao-Bench có liên quan đến Trung Quốc, và loạt MPT, Falcon và LLaMA không được tối ưu hóa cho Trung Quốc, những mô hình này đạt được hiệu suất thấp trên các bộ dữ liệu. Ở đây chúng tôi đánh giá các mô hình trên một loạt các tập dữ liệu liên quan đến kiến thức và hiểu ngôn ngữ tự nhiên. Knowledge and Understanding This is a QA dataset, where the questions are about passages of Wikipedia, and the model should answer yes or no to the given possible answer. We report zero-shot results. BoolQ (Clark et al., 2019) This is a dataset of multiple-choice question answering that asseses the understanding of commonsense knowledge. We report 8-shot results. CommonsenseQA (Talmor et al., 2019) NaturalQuestions (Kwiatkowski et al., 2019) Đây là một tập dữ liệu của QA nơi các câu hỏi là từ người dùng và các câu trả lời được xác minh bởi các chuyên gia. (P This is dataset to evaluate language understanding by word prediction. It consists of passages related to human subjects. We report zero-shot results. LAMBADA aperno et al., 2016) Chúng tôi báo cáo kết quả trong bảng 16. Chúng tôi báo cáo kết quả đánh giá trên các tập dữ liệu liên quan đến lý luận, tập trung vào lý luận ngôn ngữ tự nhiên. Đối với các tập dữ liệu khác, chẳng hạn như toán học và mã hóa, như chúng tôi đã minh họa các kết quả chi tiết, ở đây chúng tôi không báo cáo các kết quả đó nhiều lần. Reasoning HellaSwag (Zellers et al., 2019) Đây là một tập hợp dữ liệu suy luận ngôn ngữ tự nhiên (NLI), nơi các câu hỏi dễ dàng cho con người nhưng đấu tranh cho các mô hình ngôn ngữ trước đây. PIQA (Bisk et al., 2020) Đây là một bộ dữ liệu NLI đánh giá kiến thức vật lý. SIQA (Sap et al., 2019) Đây là một bộ dữ liệu NLI đánh giá trí thông minh xã hội. This is an NLI dataset focusing on Chinese. We report zero-shot results. OCNLI (Hu et al., 2020) Chúng tôi báo cáo kết quả trong bảng 17. A.2.2 Human Evaluation Trong bộ dữ liệu đánh giá tự xây dựng của chúng tôi, các hướng dẫn là dữ liệu được viết bằng tay hoặc được sửa đổi bằng tay từ các bộ dữ liệu công cộng, chẳng hạn như CLiB , C-Eval thực tế LeetCode ) vv 6 (Người Việt và al., năm 2023), (Chern et al., năm 2023b) 7 Về từng trường hợp, chúng tôi thể hiện các câu trả lời và xếp hạng Elo Cụ thể, vì dữ liệu trong đánh giá con người của chúng tôi là tiếng Trung, chúng tôi cũng cung cấp các bản dịch của họ bằng tiếng Anh. 8 A.3 Phân tích của Code Interpreter Ở đây chúng tôi cung cấp một trường hợp so sánh giữa CODE LLAMA và QWEN-CHAT. trường hợp này cho thấy những lợi thế của QWEN-CHAT trong việc xử lý dữ liệu bảng và thực hiện các nhiệm vụ phức tạp. This paper is under CC by 4.0 Deed (Attribution 4.0 International) license. available on arxiv Bài báo này là theo giấy phép CC by 4.0 Deed (Attribution 4.0 International). Có sẵn trong Archive