אתגר מתמשך עם מודלים של שפה גדולה (LLMs) הוא הנטייה שלהם לייצר פלט בלתי צפוי. למרות הנחיות שנעשו בקפידה, LLMs לעתים קרובות חורגים מהציפיות, מה שמקשה על הפלט שלהם לשימוש חוזר או שילוב בתהליכי עבודה. גרוע מכך, התוצאות לרוב אינן ניתנות לשחזור, מה שמסבך את העיבוד במורד הזרם.

בפוסט זה בבלוג, אנו חוקרים מטא-הנחיה מובנית , טכניקה שיוצרת באופן דינמי סכימות JSON לפתרונות לפני ביצוע משימות. זה עוזר ליצור הנחיות לשימוש חוזר, אמינות וצפויות יותר.

רֶקַע

רוב ה-LLMs המודרניים מציעים כעת מצב פלט JSON, אך התוצאות לא תמיד תואמות לסכימה הצפויה. לעתים קרובות מפתחים נעזרים במנגנוני בדיקה וניסיון חוזר, שהם גוזלים זמן, יקרים ונוטים לשבור את חווית המשתמש.

עם gpt4o , OpenAI הציגה פלטים מובנים שהבטיחו שהפלט יהיה תואם לסכימת JSON שסופק על ידי המשתמש. למרות שפרטים מדויקים אינם נחשפים, סביר להניח שהדבר מושג בשילוב של פענוח מוגבל והטיית לוגיט מראש. יכולות דומות מוצעות על ידי כלים אחרים כמו הדרכה, קווי מתאר, היפוך, CommandR, SGLang. גישות אלו מעצימות מפתחים להנחות פלטים לתוך סכימות JSON, שלכל אחת מהן פשרות ייחודיות.

מהי מטא הנחיה מובנית?

מטא-הנחיה מובנית היא כל טכניקה המשתמשת ב-LLM כדי ליצור באופן דינמי תיאור מובנה של בעיה לפני הפקת פתרון. שיטה זו מציעה מספר יתרונות על פני הנחיה ישירה:

1. דינמי : מבני פלט נוצרים בזמן ריצה בהתבסס על תיאורי משימות, במקום להיות בקידוד קשיח או כוונון עדין לתוך המודל.
2. ניתנת להתאמה : הסכימה שנוצרה ניתנת לקריאה על ידי אדם וניתנת לבדיקה, אימות או שינוי על ידי בני אדם או LLMs אחרים.
3. לשימוש חוזר : ניתן לשמור את הסכימה ולעשות שימוש חוזר במספר משימות, ריצות ומכונות.
4. צפוי : פתרונות יתאימו למבנה מוגדר היטב, מה שיהפוך אותם למתאימים לחישוב במורד הזרם.

קוד

הבה נעבור על דוגמה שבה אנו משתמשים במטא הנחיה מובנית כדי ליצור מתווה לרומן מותחן ריגול רב מכר חדש.

כל הקוד לפוסט זה בבלוג זמין במחברת Colab זה.

1. יצירת מבנה

d הצעד הראשון הוא הגדרת סכימת JSON שמתארת את הפלט הרצוי. לשם כך, ניצור סכימת JSON עבור סכימת JSON - למעשה, מטא-סכימה ! זה מסופק כחלק מהמפרט אבל אנחנו צריכים לעשות כמה שינויים.

1.1 התאמה של המטא-סכימה

ממשקי ה-API המובנים של OpenAI ו-Cohere מטילים מספר הגבלות על סכימות JSON סטנדרטיות. זה די מצער אבל משהו שאנחנו יכולים לעקוף אותו כרגע. אנו נשנה את המטא-סכימה כדי להבטיח תאימות:

 from jsonschema import Draft202012Validator def openai_compatible_metaschema(schema: Dict[str, object]): schema["type"] = "object" del schema["allOf"] return schema openai_json_metaschema = openai_compatible_metaschema( copy.deepcopy(Draft202012Validator.META_SCHEMA) )

הערה *: ככל הנראה* להיפוך אין הגבלות כאלה ותומך בסכימות JSON שרירותיות...אבל עדיין אין גישה ציבורית!

1.2 הוספת הגבלות למטא-הנחיה שלנו

לאחר מכן, אנו משלבים הנחיות בהנחיה כדי להבטיח שסכימת ה-JSON שהתקבלה תואמת לאילוצים של OpenAI. לְמָשָׁל:

• כל השדות חייבים להידרש.
• לחפצים יש מגבלות על עומק וגודל הקינון.
• יש לאסור מאפיינים נוספים ( "additionalProperties": false ).

 system_guidelines = "\n".join( [ "All fields must be required - To use Structured Outputs, all fields or function parameters must be specified as required. NOTE: Although all fields must be required (and the model will return a value for each parameter), it is possible to emulate an optional parameter by using a union type with null." "Objects have limitations on nesting depth and size - A schema may have up to 100 object properties total, with up to 5 levels of nesting.", "Limitations on total string size - In a schema, total string length of all property names, definition names, enum values, and const values cannot exceed 15,000 characters.", "Limitations on enum size - A schema may have up to 500 enum values across all enum properties. For a single enum property with string values, the total string length of all enum values cannot exceed 7,500 characters when there are more than 250 enum values.", "additionalProperties: false must always be set in objects - additionalProperties controls whether it is allowable for an object to contain additional keys / values that were not defined in the JSON Schema. Structured Outputs only supports generating specified keys / values, so we require developers to set additionalProperties: false to opt into Structured Outputs.", "Some type-specific keywords are not yet supported - Notable keywords not supported include: For strings: minLength, maxLength, pattern, format; For numbers: minimum, maximum, multipleOf; For objects: patternProperties, unevaluatedProperties, propertyNames, minProperties, maxProperties; For arrays: unevaluatedItems, contains, minContains, maxContains, minItems, maxItems, uniqueItems", "For anyOf, the nested schemas must each be a valid JSON Schema per this subset", "Definitions are supported - You can use definitions to define subschemas which are referenced throughout your schema. The following is a simple example.", "Recursive schemas are supported - Sample recursive schema using # to indicate root recursion.", ] )

1.3 הגדרת המטה-הנחיה

כעת אנו מגדירים את המטא הנחיה ליצור סכימת JSON עבור מתווה מותחן הריגול

 from langchain.prompts import ChatPromptTemplate task_description = "Write an outline for a bestselling spy thriller novel" task_guidelines = """ - You must follow one of the six basic story arcs: Rags to riches, Riches to rags, Icarus, Oedipus, Cinderella, Man in a hole - Outputs must include characters, plot points (including exposition, rising action, climax, falling action, and resolution), central conflict, setting, major turning points or "beats," character arcs, and a synopsis of the story; essentially, a detailed breakdown of the key elements that will drive the narrative throughout the novel. """ prompt_messages = ChatPromptTemplate.from_messages( [ ( "system", "You are an expert in creating JSON schemas. You have been asked to generate a detailed JSON schema for the output of a given task based based on a task desciption and some guidelines.", ), ( "system", "Your JSON schema must always adhere to the following system system guidelines for JSON schemas:\n<system_guidelines>\n{system_guidelines}\n</system_guidelines>", ), ( "user", "Use the task description and guidelines below to generate an output JSON schema for the following task based on the guidelines provided.\n\n<task_description>\n{task_description}\n</task_description>\n\n<guidelines>\n{task_guidelines}\n</guidelines>", ), ] )

1.4 יצירת המבנה

אנו מפעילים את ה-LLM כדי ליצור את הסכימה:

 messages = prompt_messages.format_messages( system_guidelines=system_guidelines, task_description=task_description, task_guidelines=task_guidelines ) ## Make sure to set up OPENAI_API_KEY in your Colab Secrets ## https://x.com/GoogleColab/status/1719798406195867814 client = OpenAI(api_key=userdata.get('OPENAI_API_KEY')) model = "gpt-4o" metaprompt_completion = client.beta.chat.completions.parse( model=model, messages=convert_to_penai_messages(messages), response_format={ "type": "json_schema", "json_schema": JSONSchema( name="JsonMetaschema", description="JSON Metaschema for the 2020-12 Draft of the JSON Schema specification that can be used to validate JSON data", schema=openai_json_metaschema, strict=False, ) } ) task_output_schema = json.loads(metaprompt_completion.choices[0].message.content) print(json.dumps(task_output_schema, indent=2))

 { "$schema": "https://json-schema.org/draft/2020-12/schema", "title": "Outline for a Bestselling Spy Thriller Novel", "type": "object", "properties": { "storyArc": { "type": "string", "enum": [ "Rags to riches", "Riches to rags", "Icarus", "Oedipus", "Cinderella", "Man in a hole" ] }, "characters": { "type": "array", "items": { "type": "object", "properties": { "name": { "type": "string" }, "role": { "type": "string" }, "description": { "type": "string" }, "arc": { "type": "string" } }, "required": ["name", "role", "description", "arc"], "additionalProperties": false }, "minItems": 1 }, "plotPoints": { "type": "object", "properties": { "exposition": { "type": "string" }, "risingAction": { "type": "string" }, "climax": { "type": "string" }, "fallingAction": { "type": "string" }, "resolution": { "type": "string" } }, "required": [ "exposition", "risingAction", "climax", "fallingAction", "resolution" ], "additionalProperties": false }, "centralConflict": { "type": "string" }, "setting": { "type": "string" }, "majorTurningPoints": { "type": "array", "items": { "type": "string" }, "minItems": 1 }, "characterArcs": { "type": "object", "properties": { "protagonistArc": { "type": "string" }, "antagonistArc": { "type": "string" }, "supportingCharactersArcs": { "type": "array", "items": { "type": "string" }, "minItems": 0 } }, "required": [ "protagonistArc", "antagonistArc", "supportingCharactersArcs" ], "additionalProperties": false }, "synopsis": { "type": "string" } }, "required": [ "storyArc", "characters", "plotPoints", "centralConflict", "setting", "majorTurningPoints", "characterArcs", "synopsis" ], "additionalProperties": false }

כעת יש לנו סכימה המתארת את המתווה לרומן מותחן הריגול שלנו. זה יכול להימשך בקובץ או במסד נתונים.

2. יצירת פתרון

2.1 הגדרה מהירה

באמצעות הסכמה, אנו מגדירים הנחיה למתווה הרומן. נשתמש בכמה הנחיה ובהנחיות בסיסיות למשחק תפקידים:

 user_requirements = "Tell a story about counter-intelligence operative working against the clock. The novel should be extremely realistic, slow burn." task_prompt = ChatPromptTemplate.from_messages( [ ( "system", "You are a world-renowned author that has written dozens of bestselling thriller novels. Your task is to create an outline for a new novel based on the user's requirements.", ), ( "user", "Please write a novel outline based strictly on the following requirements <requirements>{requirements}</requirements>", ), ] ) task_completion = client.beta.chat.completions.parse( model=model, messages=convert_to_openai_messages(task_prompt.format_messages(requirements=user_requirements)), response_format={ "type": "json_schema", "json_schema": JSONSchema( ## TODO: You can change this depending your task name="ThrillerNovelOutlineSchema", description="A schema for outlining a new novel", schema=task_output_schema, strict=False, ) } ) task_result = json.loads(task_completion.choices[0].message.content)

הנה המתווה למותחן הריגול הבא שלנו:

 { "storyArc": "Cinderella", "synopsis": "In 'The Clockwork Veil', Ethan Cross, a savvy counter-intelligence operative, is thrust into a high-pressure scenario where leaked documents threaten national integrity. As he races against time to unmask a mole within the agency, Ethan confronts his personal fears and the boundaries of the meticulous strategies he's known for. This slow-burn thriller follows Ethan's transformation in a world where every second could spell disaster, culminating in a showdown with Lena Grey\u2014a former ally who has turned the clockwork of espionage into her personal vendetta. Through grit and cunning, Ethan must adapt his methods, realizing that in the world of espionage, the most powerful weapon is a well-timed intuition.", "characters": [ { "name": "Ethan Cross", "role": "Protagonist", "description": "A meticulous and resourceful counter-intelligence operative known for his analytical mind and calm demeanor under pressure.", "arc": "Ethan transforms from a methodical planner to a decisive action-taker as he confronts his personal fears and realizes the importance of instinct." }, { "name": "Lena Grey", "role": "Antagonist", "description": "A brilliant but disillusioned former operative now turned mole, seeking vengeance against the agency she believes wronged her.", "arc": "Lena starts with a single-minded focus on revenge but gradually becomes conflicted as old loyalties resurface." }, { "name": "Dr. Julia Ward", "role": "Supporting Character", "description": "An astute psychologist who helps Ethan manage the stress of his demanding role and assists in profiling Lena's psychological state.", "arc": "Julia grows from a secondary advisory role to a key player in helping Ethan unearth Lena's motivations." }, { "name": "Michael Garner", "role": "Supporting Character", "description": "Ethan's trusted field partner and an expert in electronic surveillance, providing vital technical support.", "arc": "Michael's experience is tested as he learns to adapt to unpredictable situations, becoming more versatile in his approach." } ], "plotPoints": { "exposition": "Ethan Cross is tasked with investigating a series of leaked documents that could compromise national security. The leaks point to an insider within the agency.", "risingAction": "As Ethan dives deeper, he uncovers a trail leading to Lena Grey, a former colleague presumed dead. Evidence mounts as Ethan closes in, forcing him to question his long-standing methodologies.", "climax": "Ethan finally confronts Lena, who has rigged a trap to destroy critical evidence. In a tense standoff, Ethan must choose between following protocol or taking a risk to stop her.", "fallingAction": "With quick thinking and a new reliance on intuition, Ethan manages to disarm the trap. Lena, deflated, questions her own motives as old memories of camaraderie surface.", "resolution": "Lena is apprehended, the mole hunt ends, and Ethan reflects on his journey, acknowledging the balance between calculated strategy and spontaneity." }, "centralConflict": "Ethan Cross must identify and capture a mole within the agency who is leaking classified information, while dealing with his own rigid attachment to protocol in a dynamically evolving threat landscape.", "setting": "The story unfolds across various global locations including the bustling intelligence hub of Langley, a remote cabin in the Swiss Alps, and the teeming streets of Berlin, lending an authentic and international scope to the narrative.", "majorTurningPoints": [ "Ethan discovers the identity of the mole as his former colleague Lena Grey.", "Lena executes a series of diversions leading to a crisis within the agency.", "Ethan's adherence to protocol nearly costs him a critical breakthrough.", "Ethan's confrontation with Lena culminates in an uncharacteristic display of intuition that saves the mission." ], "characterArcs": { "protagonistArc": "Ethan evolves from strictly adhering to procedures to embracing a balance between strategy and instinctive decision-making, essential in high-stakes situations.", "antagonistArc": "Lena's journey from spite-fueled revenge to questioning her own motivations reflects a shift from isolation to an internal struggle with her past loyalties.", "supportingCharactersArcs": [ "Julia grows from providing psychological insights to playing an active role in strategizing the final approach to Lena.", "Michael transitions from a technical support role to becoming a crucial element in executing Ethan\u2019s plans, emphasizing adaptability." ] } } d

כעת אנו יכולים לעשות שימוש חוזר בסכימה זו כדי ליצור מספר פתרונות בצנרת עם ערבויות חזקות לגבי השדות שהפלט מכיל.

מַסְקָנָה

מטא הנחיה מובנית מאפשרת לך להגדיר מבנה תוך כדי תנועה, מה שהופך את פלטי LLM לאמינים יותר עבור תהליכים במורד הזרם. הישארו מעודכנים לפוסט הבא, שבו נחקור את השילוב של מטא הנחיה מובנית עם טכניקות אחרות.