Nhắc nhở và kỹ thuật nhanh chóng dễ dàng là những kỹ năng được yêu cầu nhiều nhất vào năm 2023. Sự phát triển nhanh chóng của các LLM Mô hình Ngôn ngữ Lớn chỉ chứng kiến sự xuất hiện của lĩnh vực AI mới này được gọi là kỹ thuật nhanh chóng. Trong bài viết này, chúng ta hãy tìm hiểu sơ qua về nhắc nhở là gì, kỹ sư nhắc nhở làm gì và cả các yếu tố khác nhau của nhắc nhở mà một kỹ sư nhắc nhở làm việc với.

Chính xác thì dấu nhắc là gì?

Lời nhắc chỉ đơn giản là thông tin đầu vào mà bạn cung cấp cho một mô hình “được đào tạo”. Khi tôi nói mô hình được đào tạo, trọng số của mô hình là cố định hoặc cố định và sẽ không thay đổi trong quá trình nhắc nhở. Bây giờ bạn có thể hỏi nó khác với suy luận như thế nào vì chúng tôi đã đào tạo các mô hình, triển khai và chạy suy luận trên các mô hình máy học. Vấn đề là với suy luận, đầu vào là cố định. Chúng tôi không bao giờ thay đổi nó và bất cứ điều gì mô hình đưa ra như là đầu ra, chúng tôi chấp nhận nó như là kết quả. Hãy nghĩ về việc phân loại hình ảnh như một nhiệm vụ ví dụ.

Tuy nhiên, với lời nhắc, bạn không bị giới hạn ở một đầu vào duy nhất. Bạn có thể điều chỉnh đầu vào theo nhu cầu của mình để cải thiện hành vi của mô hình. Bạn hướng dẫn mô hình nhiều hơn với ý định hướng nó đến câu trả lời đúng. Trong khi bạn chấp nhận mô hình đã cho khi suy luận, với lời nhắc, bạn đang nghiên cứu các khả năng và hạn chế của mô hình.

Nghệ thuật thiết kế hoặc chế tạo các đầu vào này sao cho phù hợp với vấn đề hiện có để phục vụ bạn tốt nhất đã khai sinh ra một bộ môn khá mới gọi là kỹ thuật nhanh chóng .

Kỹ thuật nhanh chóng

Trước khi đi sâu vào kỹ thuật nhắc nhở, hãy hiểu động cơ hoặc nhu cầu thiết kế nhắc nhở bằng các ví dụ. Hãy nói rằng tôi muốn tóm tắt một đoạn văn nhất định. Vì vậy, tôi đưa ra một đoạn văn lớn từ wikipedia làm đầu vào và cuối cùng nói, “ tóm tắt đoạn văn trên ”. Cách cung cấp các hướng dẫn đơn giản này trong lời nhắc để nhận câu trả lời từ LLM được gọi là Lời nhắc hướng dẫn .

Hãy chuyển sang một trường hợp toán học phức tạp hơn một chút và yêu cầu LLM nhân hai số. Hãy thử lời nhắc, “ 2343*1232 là gì”. Câu trả lời chúng tôi nhận được là “ 23431232 ”, đây rõ ràng không phải là phép nhân của hai số mà cả hai cộng lại với nhau.

Bây giờ, hãy để tôi sửa đổi lời nhắc và thêm một dòng trong lời nhắc để cụ thể hơn, “ 2343 nhân với 1232 bằng bao nhiêu. Hãy cho tôi câu trả lời chính xác sau khi nhân ”. Bây giờ chúng tôi nhận được, " 2886576 " câu trả lời đúng từ LLM.

Vì vậy, rõ ràng chất lượng đầu ra của mô hình được xác định bởi chất lượng của lời nhắc. Đây là nơi kỹ thuật nhanh chóng phát huy tác dụng. Mục tiêu của một kỹ sư nhanh chóng là đánh giá chất lượng đầu ra từ một mô hình và xác định các lĩnh vực cần cải thiện trong nhanh chóng để có được kết quả đầu ra tốt hơn. Vì vậy, kỹ thuật nhanh chóng là một lĩnh vực mang tính thử nghiệm cao để nghiên cứu các khả năng và hạn chế của LLM bằng cách thử và sai với mục đích vừa hiểu LLM vừa thiết kế các dấu nhắc tốt.

yếu tố nhắc nhở

Để thiết kế hoặc thiết kế lời nhắc, chúng ta phải hiểu các yếu tố khác nhau của lời nhắc. Dấu nhắc có thể chứa bất kỳ một hoặc nhiều phần tử sau.

Lời nhắc có thể là hướng dẫn khi bạn yêu cầu người mẫu làm điều gì đó. Trong ví dụ của chúng tôi, chúng tôi đã cung cấp một lượng lớn văn bản và yêu cầu người mẫu tóm tắt nó.

Lời nhắc có thể tùy chọn bao gồm ngữ cảnh để mô hình phục vụ bạn tốt hơn. Ví dụ: nếu tôi có câu hỏi về các di sản của Anh, trước tiên tôi có thể cung cấp ngữ cảnh như, “Di sản Anh quan tâm đến hơn 400 di tích, tòa nhà và địa điểm lịch sử — từ các địa điểm thời tiền sử nổi tiếng thế giới đến các lâu đài lớn thời trung cổ, từ pháo đài La Mã … “ và sau đó đặt câu hỏi của tôi là, “ di sản tiếng Anh nào lớn nhất? ”

Là một phần của lời nhắc, bạn cũng có thể hướng dẫn về định dạng mà bạn muốn xem đầu ra. Và do đó, một lời nhắc có thể tùy chọn có một chỉ báo đầu ra . Ví dụ: bạn có thể hỏi “ Tôi muốn có danh sách tất cả các di sản tiếng Anh ở Anh, vị trí và đặc điểm của chúng . Tôi muốn kết quả ở định dạng bảng .”

Hoặc nếu bạn muốn phản hồi tốt hơn nữa, bạn có thể nhập định dạng mong muốn bằng cú pháp này để cho biết bạn muốn xem các cột và hàng ở đầu ra:

Desired format:

Company names: <comma_separated_list_of_sites>

Sites: -||-Location: -||-Speciality: -||-

Lời nhắc có thể bao gồm một hoặc nhiều dữ liệu đầu vào trong đó chúng tôi cung cấp đầu vào ví dụ cho những gì được mong đợi từ mô hình. Trong trường hợp phân loại cảm tính, hãy xem lời nhắc này khi chúng tôi bắt đầu cung cấp các ví dụ để thể hiện ý định của mình và cũng chỉ định rằng chúng tôi không muốn có bất kỳ lời giải thích nào trong phản hồi:

Text: Today I saw a movie. It was amazing.

sentiment: Positive

Text: I don't very good after seeing that incident.

sentiment:

Các loại Lời nhắc — bức ảnh

Cách đưa ra ví dụ trong lời nhắc này tương tự như cách chúng ta giải thích cho con người bằng cách đưa ra các ví dụ. Trong thế giới thúc giục, nó được gọi là nhắc nhở vài lần . Chúng tôi cung cấp các ví dụ chất lượng cao có cả đầu vào và đầu ra của tác vụ. Bằng cách này, mô hình hiểu những gì bạn đang theo đuổi và do đó phản hồi tốt hơn nhiều.

Mở rộng ví dụ của chúng ta, nếu tôi muốn biết cảm xúc của một đoạn văn, thay vì chỉ hỏi, "cảm xúc của đoạn văn đó là gì", tôi có thể cung cấp một vài ví dụ về các lớp có thể có trong đầu ra. Trong trường hợp này tích cực và tiêu cực:

Text: Today I saw a movie. It was amazing.

sentiment: Positive

Text: I don't very good after seeing that incident.

sentiment: Negative

Text: Lets party this weekend to celebrate your anniversary.

sentiment: Positive

Text: Walking in that neighbourhood is quite dangerous.sentiment: Negative

Text: I love watching tennis all day long

sentiment:

Và sau đó tôi có thể để mô hình trả lời văn bản cuối cùng mà tôi đã nhập. Thông thường, 5 đến 8 ví dụ sẽ đủ tốt để nhắc vài lần. Như bạn có thể đoán bây giờ, nhược điểm của phương pháp này là sẽ có quá nhiều mã thông báo trong lời nhắc của bạn. Nếu bạn muốn bắt đầu đơn giản, bạn không cần cung cấp bất kỳ ví dụ nào, mà chuyển thẳng vào vấn đề như lời nhắc này:

Text: I love watching tennis all day long

sentimet:

Đây là lời nhắc không cần thiết khi bạn không cung cấp bất kỳ ví dụ nào nhưng vẫn mong đợi mô hình trả lời đúng cho bạn. Thông thường, trong khi nhắc nhở kỹ thuật, bạn bắt đầu với zero-shot vì nó đơn giản hơn và dựa trên phản hồi, bạn chuyển sang vài lần bằng cách cung cấp các ví dụ để nhận được phản hồi tốt hơn.

Các loại lời nhắc — vai trò

Nếu bạn muốn chuyển sang một chủ đề chuyên biệt với LLM, bạn có thể ngay lập tức hướng nó trở thành chuyên gia trong một lĩnh vực bằng cách giao cho nó một vai trò và điều này được gọi là gợi ý vai trò .

Thông thường, bạn sẽ bắt đầu lời nhắc với vai trò chuyên gia mà LLM phải đóng. Sau đó làm theo các hướng dẫn cho những gì nó cần làm. Một ví dụ đơn giản, vai trò có thể yêu cầu LLM trở thành một nhà thơ và hướng dẫn có thể chỉ là viết một bài thơ về AI Bites.

Hoặc có thể phức tạp hơn một chút bằng cách yêu cầu LLM hoạt động như một thiết bị đầu cuối linux . Và cung cấp các hướng dẫn cụ thể để sao chép 10 dòng đầu tiên của tệp vào một tệp khác và lưu tệp đó. Bạn thậm chí có thể ngăn nó đưa bất kỳ văn bản nào khác vào đầu ra bằng cách đề cập rõ ràng là không đưa ra bất kỳ lời giải thích nào.

You are a poet.

Write a poem about AI Bites

Act as a linux terminalI want you to provide the shell command to read the contents of a file named "input.txt".Copy the first 10 lines to a different file with the name "new.txt" and save it.Do not give any explanations.

Cấu trúc Prompt trang trọng

Các yếu tố có thể khác nhau của lời nhắc mà chúng tôi có thể nhập vào LLM

Với tất cả những gì đã nói, nếu bạn muốn tôi chính thức hóa cấu trúc của một lời nhắc, tôi sẽ làm như thế này. Lời nhắc thường bắt đầu với vai trò mà mô hình phải thực hiện nếu lời nhắc của bạn về một chủ đề chuyên biệt. Sau đó, nó có thể có bất kỳ hướng dẫn nào bạn muốn cung cấp cho LLM. Ngoài ra, nếu bạn muốn cung cấp thêm thông tin cho LLM, nó cũng có thể thực hiện theo hướng dẫn.

Ngay sau đó, bạn có thể cung cấp các ví dụ chất lượng cao nếu bạn đang thực hiện nhắc nhở ngắn gọn. Những ví dụ này sau đó có thể được theo sau bởi bất kỳ bối cảnh nào bạn muốn cung cấp cho mô hình. Nếu bạn muốn đặt câu hỏi và thực hiện nhiệm vụ aq và A, bạn có thể đưa câu hỏi của mình vào cuối

Định dạng Nhắc

Bây giờ chúng ta đã thấy những gì cấu thành một lời nhắc, sẽ tốt hơn nữa nếu chúng ta biết cách định dạng những lời nhắc này. Ví dụ, tốt hơn là đề cập rõ ràng định dạng mong muốn và sau đó thực sự cung cấp định dạng đó.

Extract locations from the below textDesired format:Cities: <comma_separated_list_of_cities>Countries: <comma_separated_list_of_countries>Input: Although the exact age of Aleppo in Syria is unknown,an ancient temple discovered in the city dates to around 3,000 BC Excavations in the1990s unearthed evidence of 5,000 years of civilization,dating Beirut, which is now Lebanon's capital, to around 3,000 BC

Tương tự như vậy đối với đầu vào hoặc ngữ cảnh, tốt hơn là nói đầu vào theo sau dấu hai chấm rồi cung cấp thông tin đầu vào của bạn.

Khi cung cấp các ví dụ, tốt hơn là tách chúng bằng một vài giá trị băm như trong ví dụ này.

Text: Today I saw a movie. It was amazing.sentiment: Positive

Text: I don't very good after seeing that incident.sentiment: Negative

Text: Lets party this weekend to celebrate your anniversary.sentiment: PositiveText: Walking in that neighbourhood is quite dangerous.sentiment: Negative

Nếu bạn đang cung cấp thông tin đầu vào, bạn có thể đặt nó trong dấu ngoặc kép như ví dụ sau:

Text: """{text input here}"""

Sau đó, có một thứ gọi là trình tự dừng gợi ý mô hình ngừng tạo văn bản vì nó đã hoàn thành đầu ra. Bạn có thể chọn một chuỗi dừng với bất kỳ biểu tượng nào bạn chọn. Nhưng dòng mới dường như là tùy chọn thông thường ở đây.

Text: "Banana",

Output: "yellow \\n"

Text: "Tomato",

Output: "red \\n"

Text: "Apple",

Output: "red \\n"

Nếu bạn đang làm việc với việc tạo mã nói trên, thì tốt hơn là cung cấp nhận xét theo ngôn ngữ mà bạn muốn xem mã đầu ra sẽ được tạo.

/*

Get the name of the use as input and print it

*/

# get the name of the user as input and print it

Xem video

Nếu bạn đã đọc đến đây, tôi cho rằng bạn yêu thích bài báo hoặc tò mò về AI. Dù sao đi nữa, tại sao bạn không xem video của chúng tôi về Prompt Engineering . Đây là video đầu tiên trong chuỗi video về Thúc giục. Vậy tại sao không đăng ký và theo dõi!

Phần kết luận

Với tất cả những gì giới thiệu về nhắc nhở, kỹ thuật nhắc nhở và các loại của chúng, chúng tôi mới chỉ làm xước bề mặt ở đây. Ví dụ, làm thế nào chúng ta có thể yêu cầu LLM suy luận về một tình huống nhất định? Có nhiều cách nâng cao hơn để gợi ý như chuỗi suy nghĩ, tính nhất quán của bản thân, kiến thức chung, v.v. Hãy cùng xem những cách đó trong các bài đăng và video sắp tới. Hãy theo dõi!