Rò rỉ nhắc nhở hệ thống Claude Sonnet 3.5: Phân tích pháp y

Mục lục

• Giới thiệu hiện vật

  Một bước tiến trong việc tạo đầu ra có cấu trúc.

• Suy nghĩ

  Tư duy logic là một phần quan trọng của quá trình hình thành.

• Định danh và tìm kiếm

  Tìm kiếm và truy xuất các hiện vật là một phần quan trọng của lời nhắc hệ thống.

• Cấu trúc ngôn ngữ khuôn mẫu

  Mẫu kết xuất sẽ thay đổi dựa trên các biến đầu vào

• Phần kết luận

  Một hiện vật nhỏ dành cho Claude nhưng lại là bước nhảy vọt khổng lồ đối với AI.

• Hệ thống Claude 3.5

  Hệ thống nhắc nhở đầy đủ

Giới thiệu hiện vật

Một bước tiến trong việc tạo đầu ra có cấu trúc.

Đây là bản phân tích về quá trình tạo dấu nhắc hệ thống cho Claude 3.5 Sonnet. Liên kết tới mã cho phân tích này có sẵn ở phía dưới cùng với nguồn. Trọng tâm chính của phân tích này là giới thiệu khái niệm về hiện vật và cách thức này có thể hoạt động như một phần của hệ thống phân loại và truy xuất thông minh.

“Các tạo phẩm dành cho nội dung quan trọng, độc lập mà người dùng có thể sửa đổi hoặc sử dụng lại.

Một tạo tác là một sự thay đổi mô hình vì nó hình thức hóa một khái niệm mới. Khái niệm về dữ liệu liên tục Dữ liệu liên tục là bước đệm để chúng tôi truy cập vào thư viện nội dung có cấu trúc và được quản lý chặt chẽ. Bằng cách cung cấp các tài liệu tham khảo cố định, chúng tôi bỏ chặn việc lặp lại cũng như khả năng cải thiện và tinh chỉnh dần dần đầu ra. Đây là một bước hướng tới việc kiểm soát tính chất phù du của đầu ra LLM dài dòng.

Một trong những vấn đề cố hữu của Generative AI đối với các tác vụ chức năng như hoàn thành mã là chúng thường lặp lại toàn bộ tệp đối với những thay đổi đơn giản. Có nhu cầu rất lớn về tính năng 'khác biệt', trong đó chúng tôi đưa ra sự khác biệt giữa trước và sau thay vì lặp lại cùng một nội dung.

Do đó, các đồ tạo tác phục vụ một mục đích kép; đầu tiên, chúng hoạt động như một điểm tham chiếu về cách thức và nơi chúng ta cần đầu ra. Điều này giống như việc thiết lập phạm vi hoặc định nghĩa về điểm tham chiếu. Điều này sẽ ngăn LLM mất trọng tâm của vấn đề ban đầu và cũng giữ nguyên cấu trúc và phân loại trong đầu ra.

Là một điểm thưởng, chúng tôi cũng có tính năng tự động hoàn thành. Bằng cách xác định mã 'cơ sở' và phạm vi của các thay đổi, giờ đây chúng tôi đã hướng LLM của mình tập trung vào một nhiệm vụ hoặc vấn đề cụ thể, theo cách có chủ ý và tuyển chọn. Điều này ngăn chặn những thay đổi thu phóng thất thường và cũng cung cấp toàn bộ công việc đang tiến hành cho lời nhắc. Bất kỳ kỹ sư nào vô tình xóa mã của họ với "Phần còn lại của mã ở đây" đều cảm ơn bạn. Chúng ta có thể thấy cài đặt của phạm vi ở đây:

“Nội dung phức tạp, khép kín có thể tự hiểu được mà không cần bối cảnh từ cuộc trò chuyện

Chúng tôi đang hướng trọng tâm từ đầu ra dài dòng không kiểm soát được đến một tạo phẩm cụ thể. Điều đáng chú ý là hướng dẫn rõ ràng để bỏ qua bối cảnh của cuộc trò chuyện. Đây là một phương pháp đảm bảo chất lượng bằng cách tham khảo dữ liệu được quản lý. Đây là một cơ chế kiểm soát chất lượng nhằm kiểm soát các đặc điểm dài dòng và có khả năng ngẫu nhiên của đầu vào.

Tất cả điều này phù hợp với nhau trong một kiến trúc để truy xuất. Bằng cách có một thư viện sâu gồm các hiện vật được quản lý, giờ đây chúng tôi có thể chỉ đạo hệ thống của mình truy xuất từ một tập dữ liệu được kiểm soát. Chúng tôi biết rằng tất cả các nhà cung cấp AI lớn đang tập trung nhiều vào việc đầu tư vào dữ liệu được quản lý chất lượng cao. Hiện vật là một bước hướng tới việc đóng khung đầu vào và đầu ra dài dòng bằng một cấu trúc.

Chúng ta có thể thấy trọng tâm từ đầu vào và ánh xạ tới nghiên cứu do hệ thống xác định trong lời nhắc. Dưới đây là ví dụ về một số tiêu chí loại trừ:

“Nội dung phụ thuộc vào bối cảnh đàm thoại hiện tại sẽ hữu ích.

Nội dung mà người dùng khó có thể sửa đổi hoặc lặp lại.

Yêu cầu từ người dùng có vẻ như là một câu hỏi chỉ được thực hiện một lần.

Lời nhắc đang tích cực tập trung vào bối cảnh hệ thống và nhiệm vụ hiện tại. Lời nhắc rõ ràng đang cố gắng lọc đầu vào không liên quan đến đầu ra rất cụ thể. Vì vậy, tạo phẩm này hoạt động như một điểm tham chiếu cụ thể cả trong văn bản được tạo và dưới dạng dữ liệu có cấu trúc đằng sau hậu trường. Điều này giúp chúng ta truy xuất và tập trung nhanh chóng, chính xác. Một điều gì đó rất hữu ích cho...

Suy nghĩ

Tư duy logic là một phần quan trọng của quá trình hình thành.

Các kỹ sư nhanh chóng từ lâu đã nói với chúng tôi rằng một trong những chìa khóa dẫn đến kết quả đầu ra đáng tin cậy là bắt buộc LLM phải hình thành một quy trình suy nghĩ logic và có cấu trúc gồm nhiều bước. Chúng tôi thấy sự công nhận chính thức về điều này trong lời nhắc.

“1. Nói ngắn gọn trước khi gọi một tạo phẩm, hãy suy nghĩ một câu trong thẻ <antthinking> về cách nó đánh giá dựa trên các tiêu chí cho một tạo tác tốt và xấu. Hãy xem xét liệu nội dung có hoạt động tốt nếu không có tạo phẩm hay không. Nếu nó xứng đáng với hiện vật, trong một câu khác, hãy xác định xem đó là hiện vật mới hay bản cập nhật cho hiện vật hiện có (phổ biến nhất). Để cập nhật, hãy sử dụng lại mã định danh trước đó.

Ở đây, chúng tôi bắt buộc hệ thống của mình phải thực hiện một quy trình gồm nhiều bước có cấu trúc để phân tích nhiệm vụ và đầu ra. Một lần nữa, hướng tới định nghĩa mạnh mẽ về nội dung dài dòng và ám chỉ đến hệ thống tìm kiếm và truy xuất các hiện vật.

“<antthinking>Việc tạo tập lệnh Python để tính giai thừa đáp ứng các tiêu chí của một tạo phẩm tốt. Đó là một đoạn mã độc lập có thể tự hiểu được và có thể được sử dụng lại hoặc sửa đổi. Đây là cuộc trò chuyện mới nên không có thành phần lạ nào tồn tại từ trước. Vì vậy, tôi đang tạo một hiện vật mới.</antthinking>

<antthinking>Yêu cầu này là một sửa đổi trực tiếp của tạo phẩm máy tính giai thừa hiện có. Đây không phải là một tạo phẩm mới mà là một bản cập nhật để làm cho tập lệnh trở nên mạnh mẽ hơn. Tôi sẽ sử dụng lại mã định danh của máy tính giai thừa để duy trì tính liên tục và cho thấy sự phát triển của mã của chúng tôi.</antthinking>

Ở đây, chúng ta có thể thấy việc thực hiện một quy trình tư duy logic để tạo ra các kết quả đầu ra được xác định. Bằng cách đảm bảo rằng thuật toán của chúng tôi trải qua các bước logic tương tự, chúng tôi có được hạt giống của một quy trình tạo thông minh và có thể lặp lại.

Chúng ta có thể ánh xạ logic này vào quá trình suy nghĩ của một người. Trước hết, chúng tôi có cách giải quyết vấn đề logic và hợp lý. Chúng tôi bổ sung điều này bằng các đồ tạo tác cứng. Tập dữ liệu LLM là bộ não, nhưng tạo tác là những kỹ năng và kiến thức cho phép chúng ta đạt được một đầu ra nhất định.

Nếu chúng ta tưởng tượng tất cả các mô hình cạnh tranh, chúng ta có thể rút ra rằng chúng dựa vào sự sao chép của các quá trình suy nghĩ logic. Về cơ bản, chúng tôi đang tạo ra một bộ não robot để bắt chước quá trình suy nghĩ logic của con người. Chúng ta đang xây dựng những phần còn thiếu, kiến thức, cấu trúc và quá trình truy hồi giúp cung cấp năng lượng cho bộ não.

Điều này làm cho các lời nhắc và hướng dẫn của hệ thống trở thành tài sản vô cùng quý giá. Sự hiểu biết và sàng lọc “tư duy logic” là một phần quan trọng của quá trình hình thành.

Chúng ta có thể thấy một số cách triển khai cơ bản của tư duy có cấu trúc này trong mã...

Định danh và tìm kiếm

Tìm kiếm và truy xuất các hiện vật là một phần quan trọng của lời nhắc hệ thống.

“<antartifact định danh="factorial-script" type="application/vnd.ant.code" ngôn ngữ="python" title="Simple Python giai thừa script"> def giai thừa(n): if n == 0: return 1 else : trả về n * giai thừa(n - 1)

Vậy ứng dụng/vnd.ant.code là gì? Ứng dụng đủ đơn giản, VNĐ là nhà cung cấp, ANT sẽ là Anthropic (người tạo ra Claude) và mã; đó là một cái nhìn sâu sắc về kiến trúc của họ. Tôi mong đợi một số loại dữ liệu có cấu trúc và phân loại liệt kê các nhiệm vụ mà mọi người cố gắng đạt được với LLM.

1. Nhiệm vụ mã hóa

2. Bài thuyết trình

3. Các tài liệu

4. Phân tích

5. Nhiều hơn nữa...

   
   

Ví dụ: chúng ta có thể tạo một số mã giả để thử trình bày PowerPoint.

 <antartifact identifier="powerpoint-presentation" type="application/vnd.ant.presentation" purpose="business" title="Simple powerpoint presentation"> Slide 1: Title slide Slide 2: Introduction Slide 3: Problem statement Slide 4: Solution </antartifact>

Điều này gần như chắc chắn không giống với mã sản xuất mà là một mô hình tinh thần thú vị. Để kiểm soát và cấu trúc đầu ra dài dòng, chúng ta phải gặp các quy trình hợp lý và hợp lý để phân loại và tiêu chuẩn hóa đầu vào và đầu ra.

Tôi nghi ngờ điều này có nghĩa là khi có đầu vào, chúng sẽ chạy các thuật toán cứng rắn trong chiến đấu riêng biệt để trích xuất và phân loại thực thể. Dữ liệu có cấu trúc này sau đó được chạy qua quá trình tìm kiếm và truy xuất nội dung. Đối với văn bản, chúng tôi sử dụng cơ sở dữ liệu vectơ; đối với các kết quả đầu ra được xác định khác, chúng tôi hiện đã giới thiệu khái niệm về tạo tác này. Ví dụ: một tác vụ React Code có thể diễn ra như thế này.

 "INPUT: Create a react component for a metrics dashboard", "ENTITY_EXTRACTION: Coding, React, Metrics Dashboard", "ENTITY_SEARCH: Retrieve code artifacts for Metrics Dashboard where type = React", "SYSTEM_PROMPT: create_system_prompt(artifact_id='metrics-dashboard-component', type='application/vnd.ant.code', language='react')"

Có rất nhiều điều đang diễn ra và chúng ta có thể thấy những khoảng sân cứng cần thiết ở hậu trường để tuyển chọn các ví dụ và phân loại chất lượng cao cho những gì về cơ bản là một nhóm nhiệm vụ lý thuyết không giới hạn. Sẽ có sự lặp lại với các thuật toán phân loại AI khác ở hậu trường để tự động hóa việc này.

Nhưng cốt lõi của nó, theo như chúng ta có thể thấy, là một hệ thống tìm kiếm và truy xuất ưa thích, dựa trên ngôn ngữ tạo khuôn mẫu độc quyền.

Cấu trúc ngôn ngữ khuôn mẫu

Mẫu kết xuất sẽ thay đổi dựa trên các biến đầu vào.

Tôi bắt đầu sự nghiệp của mình nhiều năm trước với tư cách là nhà phát triển Drupal. Đọc lời nhắc, từ tôi chợt nhận ra là Cành Cành. Twig là ngôn ngữ tạo khuôn mẫu HTML thường được sử dụng để hiển thị các mẫu trong HTML từ PHP. Claude gần như chắc chắn sẽ sử dụng một số cách tiếp cận tương đương để điều chỉnh đầu vào và bối cảnh dựa trên dữ liệu có cấu trúc (có thể được trích xuất bên ngoài LLM).

Có vẻ như Claude Sonnet 3.5 sử dụng thứ gì đó tương tự, điều này hoàn toàn hợp lý. Với đầu vào văn bản cho LLM, chúng ta cần tạo các khối văn bản một cách có hệ thống. Đây là các thẻ động được ghép lại với nhau để tạo lời nhắc.

1. <antartifact></antartifact>

2. <artifacts_info><artifacts_info/>

3. <example></example>

4. <user_query></user_query>

5. <example_docstring></example_docstring>

6. <assistant_response></assistant_response>

   
   

Điều này sẽ thúc đẩy một loại phương pháp gọi hàm. Mỗi thẻ có một mục đích cụ thể. Sau đó, điều này đóng vai trò như một sự trừu tượng khi chúng tôi hướng mô hình của mình tìm ra danh mục và loại phù hợp cho từng mục đích cụ thể. Tôi tưởng tượng việc xây dựng nhanh chóng sẽ diễn ra như thế này. Mã giả mang tính suy đoán ồ ạt đang đến…

 function generate_reference() { context=artifact_type, artifact_id, task examples = search_examples_by_type('react', 'hooks', 'current_ids') return structured_data } function generate_system_instruction(structured_data) { <antartifact> <artifacts_info {{ attribute(version, '1.00') }}> <% artifact_introduction %> <% artifact_selection %> <% artifact_elimination %> <% artifact_usage %> <% artifact_instruction {{ type(code, 'data-code') }} {{ type(react, 'data-react') }} %> </ artifacts_info/> <example {{ for react_example in react_code_artifact }}>{react_example }</example> <example_docstring {{ for example_thought_process in curated_artifact_generation_example }}>{example_thought_process }<example_docstring /> <user_query>{sanitized_user_query}</user_query> <assistant_response>{sanitized_user_query}</assistant_response> </antartifact }

Vì vậy, chúng ta có nó, một quá trình suy nghĩ được chia thành các khối. Trích xuất thực thể được ánh xạ với tìm kiếm và truy xuất nâng cao. Các khối xây dựng cho một quá trình suy nghĩ logic. Dữ liệu cơ bản là chìa khóa cho chất lượng đầu ra.

Phần kết luận

Một hiện vật nhỏ dành cho Claude nhưng lại là bước nhảy vọt khổng lồ đối với AI.

Các tạo phẩm dành cho đầu ra có cấu trúc, chẳng hạn như tạo mã, tìm kiếm vectơ là gì. Đây là hệ thống tìm kiếm và truy xuất các kết quả có cấu trúc.

Chúng ta thấy bằng chứng về quá trình suy nghĩ có cấu trúc và hợp lý trong Claude 3.5. Điều mà chúng tôi luôn mong đợi là quan trọng trong Generative AI, nhưng đây chỉ là bằng chứng chính thức.

Tôi có thể tưởng tượng đội quân gồm các nhà phát triển và nhà tiếp thị đang xây dựng thư viện gồm các tác phẩm được tuyển chọn. Thư viện này được truy cập thông qua phân loại và sau đó thực hiện các tác vụ tìm kiếm và truy xuất. Nhưng bước tiến thực sự là khái niệm về sự kiên trì.

Bằng cách làm việc với các tạo phẩm, chúng tôi có các điểm tham chiếu tồn tại ngoài thời gian phù du. Những thứ có thể được tinh chế và tái sử dụng. Chúng tôi đã có suy nghĩ và đầu ra dài dòng. Bây giờ, chúng ta đã có ký ức và kiến thức chuyên môn...

Hệ thống Claude 3.5

Hệ thống nhắc nhở đầy đủ