ການຄົ້ນຄວ້າຜະລິດຕະພັນສໍາລັບ Multi-Agent AI (ມີ KAOS + OTel + SigNoz)

ການຝຶກອົບຮົມສໍາລັບການເພີ່ມການຄົ້ນຄວ້າລະດັບການຜະລິດໃນລະບົບ AI multi-agent ກັບລະບົບ K8s Agent Orchestration ໂດຍໃຊ້ OpenTelemetry ແລະ SigNoz ທ່ານໄດ້ສ້າງອຸປະກອນ AI ທີ່ເຮັດວຽກໃນໂທລະສັບມືຖືຂອງທ່ານ. ມັນອັດຕະໂນມັດຊຸດອຸປະກອນໄດ້, ສະຫນັບສະຫນູນການເຮັດວຽກກັບ sub-agent ສະຫນັບສະຫນູນ, ແລະຜະລິດຜົນປະໂຫຍດທີ່ດີ. ຫຼັງຈາກນັ້ນທ່ານຈະນໍາໃຊ້ມັນເພື່ອຜະລິດ: ຊື່ຫຍໍ້ຂອງ : One user reports that a request “togot forever”. ຂ້າພະເຈົ້າຫວັງວ່າທ່ານຈະໄດ້ຮັບການຕອບສະຫນອງທີ່ສວຍງາມ logs ຂອງທ່ານສະແດງໃຫ້ເຫັນຜູ້ຊ່ຽວຊານ ແຕ່, ສິ່ງທີ່ເກີດຂຶ້ນໃນ 45 ວິນາທີລະຫວ່າງການທົດລອງແລະການຕອບ? ຍິນດີຕ້ອນຮັບ The observability challenge of agentic systems. “Logs Traditional ທ່ານຮູ້ວ່າມັນໄດ້ເຮັດວຽກ. Observability ທ່ານຮູ້ວ່າມັນໄດ້ເຮັດວຽກໃນປັດຈຸບັນ.” “Logs Traditional ທ່ານຮູ້ວ່າມັນໄດ້ເຮັດວຽກ. Observability ທ່ານຮູ້ວ່າມັນໄດ້ເຮັດວຽກໃນປັດຈຸບັນ.” ໃນບົດຄວາມນີ້, ພວກເຮົາມີຄວາມຮູ້ສຶກວ່າພວກເຮົາມີຄວາມຮູ້ສຶກທີ່ດີທີ່ສຸດກ່ຽວກັບການຄົ້ນຄວ້າສໍາລັບລະບົບ multi-agent. ຂ້າງລຸ່ມນີ້ແມ່ນການຄາດຄະເນຂອງລະບົບ multi-agent ທີ່ພວກເຮົາຈະທົດສອບ, ການຄວບຄຸມແລະ diagnose ໃນບົດຄວາມນີ້: ພວກເຮົາຈະເລີ່ມຕົ້ນກັບຄໍາຖາມທີ່ສໍາຄັນຂອງ ... ລະບົບ Multi-Agent ຕ້ອງການ (ທີ່ແຕກຕ່າງກັນ) ການຕິດຕາມ? Microservices Traditional ມີຮູບແບບທີ່ສາມາດຄາດຄະເນ: ຄໍາຮ້ອງສະຫມັກຢູ່, ການປິ່ນປົວບາງຢ່າງ, ຄໍາຮ້ອງສະຫມັກຫຼັງຈາກ. Latency ແມ່ນຄຸນນະສົມບັດທີ່ເຫມາະສົມ, ວິທີການລະຫັດແມ່ນ deterministic, ແລະການປິ່ນປົວຄຸນນະສົມບັດປົກກະຕິປະກອບດ້ວຍການຊອກຫາສາຍຫນຶ່ງຂອງການປະຕິບັດ. ມັນບໍ່ແມ່ນພຽງແຕ່ຄວາມຕ້ອງການການຕອບສະຫນອງ ລະບົບ Agentic ດໍາ ເນີນ ການ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນູນ: Traditional API Agentic System Synchronous request-response Iterative reasoning loops Predictable latency (50-500ms) Variable: 100ms to 60+ seconds Deterministic code paths Non-deterministic LLM decisions Single service per request Model calls + tool calls + delegations Fixed cost per request Cost varies by token usage ຄໍາຮ້ອງສະຫມັກ synchronous ປະເພດຂອງ Iterative Reasoning Loops ການຄາດຄະເນດິນຟ້າອາກາດ (50-500ms) ອັດຕະໂນມັດ: 100ms ກັບ 60+ ວິນາທີ ລະຫັດ Deterministic ຄໍາຮ້ອງສະຫມັກ LLM Non-Deterministic ການບໍລິການ Single Per Request ໂທລະສັບຮູບແບບ + ໂທລະສັບມືຖື + Delegations ລາຄາ Fixed Per Request ລາຄາທີ່ແຕກຕ່າງກັນໂດຍການນໍາໃຊ້ token AI Agents 101: The Agentic Loop ການຄາດຄະເນດິນດີຕ້ອນຮັບຂອງລະບົບ multi-AI agent ນີ້ແມ່ນຮູບແບບງ່າຍດາຍທີ່ສ້າງຕັ້ງຂຶ້ນໃນປັດຈຸບັນຂອງຄວາມຄິດສ້າງສັນໃນລະບົບ AI. ຂ້າງລຸ່ມນີ້ແມ່ນ loop agentic simplified ໃນຂະນະທີ່ພວກເຮົາມີຄວາມສຸກຫຼາຍ, ແຕ່ຄວາມຄິດແມ່ນວ່າພວກເຮົາມີການໂທເລີ່ມຕົ້ນສໍາລັບ LLM ເພື່ອຕອບສະຫນອງກັບການໂທເຄື່ອງມືຫຼືການໂທ delegation, ແລະຫຼັງຈາກນັ້ນ, ຖ້າຫາກວ່າບໍ່ມີຫຼືພວກເຮົາມີການຫຼຸດຜ່ອນ max, ຫຼັງຈາກນັ້ນພວກເຮົາມີການຕອບສະຫນອງຫຼັງຈາກນັ້ນ. async def process_message(self, messages): for step in range(self.max_steps): # 1. Call the LLM specifically for tool/delegation requests response = await self.model.process_tool_request(messages) # 2. If the model wants to use a tool, execute it if response.has_tool_call: result = await self.execute_tool(response.tool_call) messages.append({"role": "tool", "content": result}) continue # 3. If the model wants to delegate, call another agent elif response.needs_delegation: result = await self.delegate_to_agent(response.delegation) messages.append({"role": "assistant", "content": result}) continue else: # If no tools/delegations we move to final answer break # 4. We return our final answer with any context gathered return await self.model.process_final_answer(messages) ໃນຂະນະທີ່ພວກເຮົາມີຄວາມຮູ້ສຶກວ່າການດໍາເນີນການປະເພດໃດຫນຶ່ງຂອງ loop ນີ້ສາມາດໃຊ້ເວລາທີ່ແຕກຕ່າງກັນ. model might need one tool call or five. ມັນສາມາດສະຫນັບສະຫນູນໃຫ້ຫນຶ່ງ sub-agent ຫຼືຊຸດໂດຍຜ່ານການສາມ. logging ອັດຕະໂນມັດ (ລວມທັງ “ການຢັ້ງຢືນທີ່ເລີ່ມຕົ້ນ” ... “ການຢັ້ງຢືນທີ່ປັບປຸງ”) ບໍ່ໃຫ້ທ່ານຮູ້ກ່ຽວກັບສິ່ງທີ່ແທ້ຈິງໄດ້ເກີດຂຶ້ນ. ແລະຫຼັງຈາກນັ້ນ, ໃນເວລາທີ່ພວກເຮົາໄດ້ນໍາໃຊ້ມັນໃນລະບົບການແບ່ງອອກ, ມັນຈະໄດ້ຮັບຫຼາຍກວ້າງຂວາງເພື່ອຄວາມຮູ້ສຶກວ່າສິ່ງທີ່ເກີດຂຶ້ນ - ເຊັ່ນດຽວກັນກັບພວກເຮົາຈະເບິ່ງໃນບົດຄວາມນີ້. ໃນພາກສ່ວນທີ່ຜ່ານມາຂອງບົດຄວາມນີ້, ພວກເຮົາຈະສະແດງໃຫ້ເຫັນທ່ານວ່າພວກເຮົາມີວິທີການນໍາໃຊ້ loop agentic ນີ້. ພວກເຮົາມີການປ່ຽນແປງ “request-response” ກັບ “request-panic-tool-panic-delegate-panic-response”. ພວກເຮົາມີການປ່ຽນແປງ “request-response” ກັບ “request-panic-tool-panic-delegate-panic-response”. The Three Pillars of Agent Observability OpenTelemetry ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນູນ ສະ ຫນັບ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ. Traces ການຄາດຄະເນດິນດີຕ້ອນຮັບໂດຍຜ່ານການຄາດຄະເນດິນດີຕ້ອນຮັບໂດຍຜ່ານການຄາດຄະເນດິນດີຕ້ອນຮັບໂດຍຜ່ານການຄາດຄະເນດິນດີຕ້ອນຮັບໂດຍຜ່ານການຄາດຄະເນດິນດີຕ້ອນຮັບໂດຍຜ່ານການຄາດຄະເນດິນດີຕ້ອນຮັບໂດຍຜ່ານການຄາດຄະເນດິນດີຕ້ອນຮັບໂດຍຜ່ານການຄາດຄະເນດິນດີຕ້ອນຮັບໂດຍຜ່ານການຄາດຄະເນດິນດີຕ້ອນຮັບໂດຍການຄາດຄະເນດິນດີຕ້ອນຮັບ. HTTP POST /v1/chat/completions (15.2s total) -> agent.agentic_loop -> agent.step.1 (3.1s) -> model.inference (3.0s) -> agent.step.2 (8.5s) ->model.inference (2.1s) -> tool.web_search (6.3s) agent.step.3 (3.4s) -> model.inference (3.3s) Traces reply: "ການຝຶກອົບຮົມທີ່ນີ້ໄດ້ນໍາໃຊ້ໂດຍໃບຢັ້ງຢືນຂອງຂ້າພະເຈົ້າ?" ຄໍາຖາມ: "ການຝຶກອົບຮົມນີ້ໄດ້ນໍາໃຊ້ໂດຍການຊ່ວຍເຫຼືອຂອງຂ້າພະເຈົ້າ?" Traces Logs Traditionally in software, logging provides an inside view into the behaviour and flow of the application. ພວກເຮົາມີວິທີການທີ່ຈະຮູ້ວ່າສິ່ງທີ່ເກີດຂຶ້ນໃນໄລຍະການຢັ້ງຢືນທີ່ແຕກຕ່າງກັນຫຼືການຮ່ວມເພດ, ແລະຍັງຊອກຫາຂໍ້ມູນທີ່ສໍາຄັນເຊັ່ນດຽວກັນເຊັ່ນດຽວກັນ. ໃນ OpenTelemetry, logs ຍັງໄດ້ຮັບການເກັບຮັກສາໂດຍຜ່ານ tracks respective ໃນຂະນະທີ່ພວກເຂົາເຈົ້າສາມາດເຊື່ອມຕໍ່. 2024-01-15 10:30:45 INFO [trace_id=abc123] Starting message processing 2024-01-15 10:30:47 DEBUG [trace_id=abc123] Model response: calling tool 'web_search' 2024-01-15 10:30:53 ERROR [trace_id=abc123] Tool execution failed: API rate limited Logs reply: “Against what did the agent ‘think’ at each step?” ຄວາມຄິດເຫັນທີ່ "What did the agent 'think' at each step?" Logs Metrics ການຢັ້ງຢືນໃຫ້ KPIs ຂະຫນາດໃຫຍ່ທີ່ແຕກຕ່າງກັນໃນເວລາທີ່ແຕກຕ່າງກັນ, ແລະສາມາດຖືກກວດສອບແລະກວດສອບເພື່ອບັນລຸປະຫວັດສາດທີ່ແຕກຕ່າງກັນ. <- Store number of tokens per request <- Store success / failure rate of requests <- Store latency for model calls Metrics reply: “ການເຮັດວຽກຂອງລະບົບຂອງຂ້າພະເຈົ້າໃນທົ່ວໄປ?” Metrics reply: “ການເຮັດວຽກຂອງລະບົບຂອງຂ້າພະເຈົ້າໃນທົ່ວໄປ?” Bringing it all together ກາຕູນທີ່ເກີດຂຶ້ນໃນເວລາທີ່ພວກເຂົາເຈົ້າມີຄຸນນະສົມບັດ (ຄຸນນະສົມບັດ) ນີ້ຈະຊ່ວຍໃຫ້ພວກເຮົາທີ່ຈະເຮັດສິ່ງທີ່ເປັນ "klik on that ERROR log in your observability backend" ແລະ diagnose span ຄຸນນະສົມບັດໃນເສັ້ນທາງທີ່ທັນສະໄຫມໄດ້ເກີດຂຶ້ນ. ການ ນໍາ ໃຊ້ Multi-Agent Context ການທົດສອບທີ່ແທ້ຈິງແມ່ນມີລະບົບ multi-agent. When Agent A delegates to Agent B, which delegates to Agent C, you want a single unified trace - not three disconnected ones. ການຄຸ້ມຄອງ . context propagation ນີ້ປະກອບດ້ວຍການຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບຂັບ W3C. The result is a unified trace across all agents - here’s an example that shows how a trace context spans across the coordinator agent, the researcher agent and the analyst agent. coordinator.agent.agentic_loop (trace_id: abc123) -> coordinator.model.inference -> coordinator.delegate.researcher -> researcher.agent.agentic_loop (trace_id: abc123) -> researcher.model.inference -> researcher.tool.web_search -> coordinator.model.inference -> coordinator.delegate.analyst -> analyst.agent.agentic_loop (trace_id: abc123) -> analyst.model.inference -> analyst.tool.calculator ໂດຍບໍ່ມີການສົ່ງເສີມການສະພາບແວດລ້ອມ, multi-agent debugging ແມ່ນພຽງແຕ່ການຄາດຄະເນດຽວກັນ. Without context propagation, multi-agent debugging is just distributed guessing. ລະບົບການຄົ້ນຄວ້າ Multi-Agent ໃນປັດຈຸບັນ, ພວກເຮົາຈະເລີ່ມຕົ້ນການສ້າງສິ່ງທີ່ແທ້ຈິງ. ພວກເຮົາຈະນໍາໃຊ້ , framework open-source ສໍາລັບການຕິດຕັ້ງ, ການຄຸ້ມຄອງແລະ scale ລະບົບ multi-agent ໃນ Kubernetes. ປະເພດ Chaos ລະບົບ Kubernetes Agent Orchestration ປະເພດ Chaos ລະບົບ Multi-Agent ເພື່ອຄວບຄຸມ ປະເພດການນໍາໃຊ້ຂອງພວກເຮົາປະກອບດ້ວຍຜູ້ຊ່ຽວຊານ Co-ordinator, ຜູ້ທີ່ສະຫນັບສະຫນູນການຄົ້ນຄວ້າແລະການທົດສອບກັບຜູ້ຊ່ຽວຊານ sub-agent: ປະເພດຂອງອຸປະກອນ, ອຸປະກອນ, ແລະ APIs Model - ສະຫນອງ traces, metrics, ແລະ logs ກັບ Collector OpenTelemetry, ເຊິ່ງສົ່ງທຸກສິ່ງທຸກຢ່າງກັບ backend ຂອງທ່ານທີ່ເລືອກສໍາລັບການເບິ່ງແລະການທົດສອບ. ຄໍາຮ້ອງສະຫມັກ: Commands & Tools ຫຼັງຈາກການເລີ່ມຕົ້ນ, ທ່ານຈະຕ້ອງການ: ການຕິດຕັ້ງ KAOS CLI: pip install kaos-cli==0.2.7 ເປັນ LLM API key (ລວມທັງ OpenAI, Nebius, ແລະອື່ນໆ) kubectl, helm ແລະ cluster Kubernetes (KIND, minikube, ຫຼື cluster cloud) ການຕິດຕັ້ງ Chaos ຫນ້າທໍາອິດ, ກະລຸນາຕິດຕັ້ງ operator KAOS ມີ OpenTelemetry ອັດຕະໂນມັດແລະ backend observability. ພວກເຮົາຈະນໍາໃຊ້ SigNoz ເປັນ open-source, OpenTelemetry-native option. ຊື່ຫຍໍ້ຂອງ : Using the KAOS CLI # Install the KAOS operator kaos system install \ --set logLevel=DEBUG \ --wait \ --monitoring-enabled # Enables monitoring setup (supports signoz and jaeger) # Verify the installation kaos system status # Change context to use (+create) this current namespace for convenience kaos system working-namespace kaos-hierarchy ຫຼັງຈາກການເຮັດວຽກ, ພວກເຮົາສາມາດສ້າງລະບົບ multi-agent ຂອງພວກເຮົາໂດຍໃຊ້ຫນຶ່ງໃນຕົວຢ່າງທີ່ສະຫນອງກັບ CLI. You can also see the ANNEX at the end of the blog post to deploy each of the components one by one. kaos samples deploy \ 3-hierarchical-agents \ --provider openai \ --wait \ --api-secret # This will prompt your api-key secret You can see the --provider flag which specifies the backend, such as nebius, gemini, bedrock and 100s of other providers [KAOS documents], as well as your --api-secret which will be prompted interactively. You can see the --provider flag which specifies the backend, such as nebius, gemini, bedrock and 100s of other providers [KAOS documents], as well as your --api-secret which will be prompted interactively. ຫຼັງຈາກການຕິດຕັ້ງ, ທ່ານຈະເປີດ UI ກັບຄໍາສັ່ງນີ້. kaos ui --monitoring-enabled ນີ້ໃຫ້ພວກເຮົາມີຄວາມສາມາດໃນການເບິ່ງລະບົບ multi-agent ການນໍາໃຊ້: ການເຊື່ອມຕໍ່ທັງຫມົດ: ການຄວບຄຸມ Chaos ໃນປັດຈຸບັນ, ກະລຸນາ generate some traffic ແລະເລີ່ມຕົ້ນການຄວບຄຸມ Chaos. ການສື່ສານກັບ agents You can interact with agents ໃນປະເພດຕ່າງໆ: # Invoke the coordinator agent directly kaos agent invoke supervisor \ --message "Research the current AI chip market and calculate the market share of the top 3 companies." ການອັບໂຫລດ Chat ໂດຍຜ່ານ Interface User: ຫຼັງຈາກການສົນທະນາກັບສະຖານທີ່ນີ້, ມັນໄດ້ເລີ່ມຕົ້ນເປັນຊຸດທີ່ສົມບູນແບບຂອງການປະຕິບັດ: ຜູ້ຊ່ຽວຊານໄດ້ຮັບການຢັ້ງຢືນ ການຄວບຄຸມຈະໂທ LLM, ເຊິ່ງຄົ້ນຄວ້າການລົງທຶນ ຜູ້ຊ່ຽວຊານຜູ້ຊ່ຽວຊານໄດ້ຖືກນໍາໃຊ້ສໍາລັບການຄົ້ນຄວ້າຕະຫຼາດ (ແລະໄດ້ນໍາໃຊ້ສອງຜູ້ຊ່ຽວຊານຜູ້ຊ່ຽວຊານ) ຜູ້ຊ່ຽວຊານ Analyst calculates market shares (ແລະໂທສອງຜູ້ຊ່ຽວຊານ Analyst sub-agents) ຜູ້ຊ່ຽວຊານ synthesizes ຄໍາຕອບທີ່ຜ່ານມາ ທັງຫມົດນີ້ແມ່ນ captured ໃນເສັ້ນທາງການຢັ້ງຢືນ: ທັງຫມົດການໂທ LLM, ທັງຫມົດການປະຕິບັດເຄື່ອງມື, ທັງຫມົດການສະຫນັບສະຫນູນ. ດາວນ໌ໂຫລດ Traces: Understanding Request Flow : ບໍ່ວ່າຈະເປັນການບໍລິການຢັ້ງຢືນຢັ້ງຢືນຢັ້ງຢືນຢັ້ງຢືນຢັ້ງຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢັ້ງຢືນຢັ້ງຢືນຢັ້ງຢືນຢັ້ງຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢືນຢັ້ງຢືນຢືນຢັ້ງຢືນຢືນຢືນຢັ້ງຢືນຢືນຢືນ Why traces matter for agentic systems ຊື່ຫຍໍ້ຂອງ : The trace list shows all requests flowing through your agents. Each trace represents a complete user interaction. Click on a trace to see the full request flow: ທັດສະນະຫນຶ່ງທີ່ສະແດງໃຫ້ເຫັນຜູ້ຕອບສະຫນອງໃຫ້ຜູ້ຊ່ຽວຊານແລະຜູ້ຊ່ຽວຊານ analyst, ມີແຕ່ລະ span ສະຫນັບສະຫນູນການປະຕິບັດທີ່ແຕກຕ່າງກັນ. ການຄາດຄະເນດິນດີຕ້ອນຮັບຂອງພວກເຮົາແມ່ນການຄາດຄະເນດິນດີຕ້ອນຮັບຂອງພວກເຮົາ. ວິທີການນີ້ໃຊ້ເວລາ 15 ວິນາທີ? ເຄື່ອງມື web_search ໄດ້ໃຊ້ເວລາ 8 ນາທີ. ຜູ້ຊ່ຽວຊານທີ່ກ່ຽວຂ້ອງ? Coordinator → Researcher → Analyst → Coordinator. ການໂທ LLM ຫຼາຍ? 6 ການໂທໃນໄລຍະສາມອຸປະກອນ. ເຄື່ອງມືທີ່ບໍ່ໄດ້ຮັບຜົນປະໂຫຍດ? ເຄື່ອງມືທັງຫມົດໄດ້ຮັບຜົນປະໂຫຍດທີ່ດີເລີດ (ຂະຫນາດໃຫຍ່). Log Correlation: ຄວາມຄິດເຫັນຂອງ Agent Reasoning ຄວາມຄິດເຫັນທີ່ Traces ດາວນ໌ໂຫລດ Logs Tell You . OpenTelemetry ຄິດຈະກໍາໂດຍໃຊ້ການເຊື່ອມຕໍ່ ແລະ ປະເພດ Atributes ປະເພດ ວິທີການ trace_id span_id ການເຂົ້າລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດ Click on a span in your trace ດາວນ໌ໂຫລດ All logs issued during that span ຄວາມຄິດເຫັນຂອງຜູ້ຊ່ຽວຊານໃນແຕ່ລະການ It is possible to see the view of the logs themselves as well as further details. We can then drill deeper into individual log entries. ໃນປັດຈຸບັນ, ພວກເຮົາສາມາດຊອກຫາ Log ປະເພດການເຮັດວຽກ: ... » This shows us the entire prompt that was delegated, which is quite useful for diagnostics and debugging. This includes ເງື່ອນໄຂຂອງບັນຊີລາຍລະອຽດທັງຫມົດ, ລວມທັງຄຸນນະສົມບັດ, ຊື່ຫຍໍ້ຂອງຄຸນນະສົມບັດ, ແລະບັນຊີລາຍລະອຽດທັງຫມົດ. ການຄົ້ນຄວ້າທີ່ແຕກຕ່າງກັນ: Finding Production Issues OpenTelemetry captures exceptions as first-class citizens, ແລະເຊື່ອມຕໍ່ກັບ span ທີ່ພວກເຂົາເຈົ້າໄດ້ເກີດຂຶ້ນ. We can try this by asking the supervisor to delegate to a non-existing sub-agent: # Invoke the coordinator agent directly kaos agent invoke supervisor \ --message "We are now testing valid exception functionality. Try to delegate to a non-existing agent to validate that it works correctly." ຫຼືໂດຍຜ່ານ UI: ໃນປັດຈຸບັນ, ຖ້າຫາກວ່າພວກເຮົາມີຄວາມເປັນໄປໄດ້ກັບ tab Exceptions, ພວກເຮົາມີຄວາມເປັນໄປໄດ້, ພວກເຮົາມີຄວາມເປັນໄປໄດ້. ນີ້ແມ່ນການເບິ່ງລາຍລະອຽດ Exceptions, ທີ່ມີລາຍລະອຽດທັງຫມົດສໍາລັບເວລາ. ການອັບໂຫລດນີ້ກວມເອົາຄວາມຜິດພາດໃນໄລຍະລະບົບແລະເຊື່ອມຕໍ່ພວກເຂົາກັບລັກສະນະການຊອກຫາທີ່ກ່ຽວຂ້ອງແລະລັກສະນະ. ພວກເຮົາມີຄວາມສາມາດໃນການກັ່ນຕອງໂດຍການບໍລິການທີ່ແຕກຕ່າງກັນ (agent), ເຊັ່ນດຽວກັນກັບຄຸນນະສົມບັດອື່ນໆ. We can see clearly that the exception was due to an attempted incorrect delegation. ແລະພວກເຮົາມີຄວາມສາມາດໃນການຊອກຫາຄວາມຜິດພາດໃນ Trace View. Metrics: Operational Overview ໃນຂະນະທີ່ traces ສະແດງໃຫ້ເຫັນຄວາມຕ້ອງການສ່ວນບຸກຄົນ, metrics ສະແດງໃຫ້ເຫັນການຝຶກອົບຮົມໃນໄລຍະເວລາ. Here are some example key metrics in agentic systems: Metric What It Tells You kaos.requests Request volume by agent kaos.request.duration Latency distribution (P50, P95, P99) kaos.model.calls LLM API usage (cost indicator) kaos.tool.calls Tool execution frequency kaos.delegations Multi-agent coordination patterns kaos.requests Request volume by agent kaos.request.duration ການຈັດການ Latency (P50, P95, P99) kaos.model.calls ການນໍາໃຊ້ API LLM (Index ຄ່າໃຊ້ຈ່າຍ) kaos.tool.calls ລະຫັດ QR kaos.delegations Multi-agent coordination patterns ຂະຫນາດເຫຼົ່ານີ້ສາມາດໃຫ້ເຫັນຄວາມປອດໄພກ່ຽວກັບບັນຫາການຜະລິດ: ຄໍາຮ້ອງສະຫມັກ latency > 30s Error rate > 5% Model call failures > 1% We can also visualise them: Under the Hood: How It Works ໃນປັດຈຸບັນທີ່ທ່ານໄດ້ຊອກຫາການຄົ້ນຄວ້າໃນກິດຈະກໍາ, ພວກເຮົາມີຄວາມຮູ້ສຶກກ່ຽວກັບວິທີການນໍາໃຊ້ມັນ. ຄວາມປອດໄພທີ່ຢູ່ນີ້ບໍ່ແມ່ນສະດວກສະບາຍເຖິງທີ່ທ່ານເລີ່ມຕົ້ນການກໍ່ສ້າງ - ແລະການປິ່ນປົວແມ່ນຖືກນໍາໃຊ້ຢ່າງກວ້າງຂວາງກັບລະບົບອົງປະກອບໃດໆ. ວິທະຍາໄລ KAOS ດໍາ ເນີນການຄວບຄຸມ plan (Go) ຈາກ data plan (Python); ໃນ application Python ພວກເຮົາມີ OpenTelemetry manager (KaosOtelManager) ເພື່ອສະຫນອງ utilities ເພື່ອທົດສອບການເຮັດວຽກ. The key insight: . Users configure telemetry once in , and the operator propagates it to all components. telemetry configuration flows from Operator -> Data Plane -> OTEL Collector values.yaml ຄວາມຄິດເຫັນທີ່ສໍາຄັນ: . Users configure telemetry once in , and the operator propagates it to all components. telemetry configuration flows from Operator -> Data Plane -> OTEL Collector values.yaml ການນໍາໃຊ້ Logic Core ຖ້າຫາກວ່າທ່ານກໍາລັງຊອກຫາສໍາລັບລະບົບ agentic, ມັນບໍ່ແມ່ນພຽງແຕ່ກ່ຽວກັບການອຸປະກອນຄໍາຮ້ອງສະຫມັກ - ຄໍາຮ້ອງສະຫມັກ, ແຕ່ຍັງກ່ຽວກັບການເກັບຮັກສາ flux ໃນໄລຍະ iterations agent. To start with we ensure that we capture the overarching span across the top level request/response. We then should also instrument other key components such as the Agentic Loop (example below), as well as extra calls such as MCP calls, and agent delegations. # This is the same function pseudo-code that we showed initially but instrumented async def process_message(self, session_id: str, messages: List[Dict]) -> str: """Process message through agentic loop with full tracing.""" # Start root span for entire message processing span = otel.span_begin("agent.agentic_loop", SpanKind.INTERNAL) span.set_attribute("agent.name", self.name) span.set_attribute("session.id", session_id) span.set_attribute("agent.max_steps", self.max_steps) span_failure = False try: # Agentic loop logic (see below) except Exception as e: # If exception mark as failure span_failure = True otel.span_failure(span, e) raise finally: if not span_failure: otel.span_success(span, e) ການນໍາໃຊ້ Loop Agent We can now use the same pattern in the agentic loop, where we can capture the iterations with the respective context. This will be important as we can also capture the correlated logs and metrics that are connected to this particular request. # Previous logic outlined above... for step in range(self.max_steps): # Span for each iteration step_span = otel.span_begin(f"agent.step.{step + 1}") step_span.set_attribute("step", step + 1) agent_span_failed = False try: # MCP Calls (with OTEL span)... # Delegation Calls (with OTEL span)... except Exception as e: otel.span_failure(step_span, e) agent_span_failed = True raise finally: if not agent_span_failed: otel.span_success(span) # Preview logic outlined above... ມີ spans defined ໃນທີ່ຕັ້ງແມ່ນສິ່ງທີ່ສາມາດໃຫ້ພວກເຮົາມີຄວາມສາມາດໃນການຄົ້ນຄວ້າຄວາມຕ້ອງການໃນໄລຍະ hops. ຊື່ຫຍໍ້ຂອງ : : There is a parent span for the loop, child spans for each step, grandchild spans for operations, etc. Hierarchical spans : Logs are emitted while trace context is active, which allows correlating the logs Log before span close : We are using explicit try/finally pattern to ensure spans are always closed, but we can also use context managers (i.e. clause) Explicit span management with ນີ້ແມ່ນຍັງເປັນສິ່ງທີ່ພວກເຮົາມີຄວາມສາມາດໃນການດາວໂຫລດການດາວໂຫລດຂອງ traces ຄໍາຮ້ອງສະຫມັກແລະ spans. Context Propagation for Multi-Agent Systems When delegating to sub-agents (running in separate pods), we must propagate trace context: # Inject context into outgoing request from opentelemetry.propagate import inject async def delegate(self, target_agent: str, task: str) -> str: headers = {"Content-Type": "application/json"} # Inject current trace context into headers inject(headers) # Adds 'traceparent' and 'tracestate' headers async with httpx.AsyncClient() as client: response = await client.post( f"http://{target_agent}/v1/chat/completions", headers=headers, json={"messages": [{"role": "user", "content": task}]} ) return response.json()["choices"][0]["message"]["content"] ການປັບປຸງ Trace Context ພວກເຮົາມີຄວາມຕ້ອງການທີ່ຈະຮັບປະກັນວ່າສະພາບແວດລ້ອມແມ່ນໄດ້ຮັບແລະຕິດຕາມ. # Extract context from incoming request from opentelemetry.propagate import extract @app.post("/v1/chat/completions") async def chat(request: Request, body: ChatRequest): # Extract trace context from incoming headers context = extract(request.headers) # Attach to current context so new spans are children token = otel_context.attach(context) try: return await agent.process_message(body.messages) finally: otel_context.detach(token) Log Export ແລະ Correlation ສໍາລັບການເຊື່ອມຕໍ່ log-trace, ພວກເຮົາເຊື່ອມຕໍ່ການເຊື່ອມຕໍ່ຂອງ Python ກັບ OpenTelemetry. ຖ້າຫາກວ່າທ່ານໄດ້ນໍາໃຊ້ໃນໄລຍະທີ່ຜ່ານມາເປັນສິ່ງທີ່ເປັນ ELK stack, ມີ OpenTelemetry ໃນປັດຈຸບັນທ່ານມີອຸປະກອນທີ່ສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບສະບັບ. ອັດຕະໂນມັດ Injection Injection ແລະ ດາວໂຫລດບັນຊີລາຍລະອຽດໃນເວລາທີ່ມີສະພາບແວດລ້ອມ span ທີ່ໃຊ້ trace_id span_id ສໍາລັບການຕິດຕັ້ງການເຊື່ອມຕໍ່ນີ້, ທ່ານສາມາດຕິດຕັ້ງມັນໂດຍໃຊ້ສອງເສັ້ນ, ເຊັ່ນດຽວກັນກັບການຄາດຄະເນດຽວກັນ. from opentelemetry.sdk._logs import LoggerProvider from opentelemetry.sdk._logs.export import BatchLogRecordProcessor from opentelemetry.exporter.otlp.proto.grpc._log_exporter import OTLPLogExporter from opentelemetry.instrumentation.logging import LoggingInstrumentor # Set up OTLP log export logger_provider = LoggerProvider(resource=resource) logger_provider.add_log_record_processor( BatchLogRecordProcessor(OTLPLogExporter(endpoint=endpoint)) ) # Attach handler to Python root logger handler = LoggingHandler(level=logging.DEBUG, logger_provider=logger_provider) logging.getLogger().addHandler(handler) Metrics ສໍາລັບການປະຕິບັດ Agent ພວກເຮົາມີຄວາມສາມາດໃນການຊອກຫາ metrics ໂດຍໃຊ້ OpenTelemetry SDK. ຖ້າຫາກວ່າທ່ານໄດ້ນໍາໃຊ້ Prometheus ໃນຂະນະທີ່ຜ່ານມາ, metrics ໃນກໍລະນີນີ້ບໍ່ໄດ້ຖືກເຂົ້າລະຫັດໂດຍຜ່ານ endpoint ທີ່ຈະໄດ້ຮັບການຊອກຫາໂດຍຜ່ານ Collector Prometheus. ໃນປັດຈຸບັນ, ມັນຍັງສາມາດນໍາໃຊ້ໂຄງສ້າງ push ໃນເວລາທີ່ມັນຖືກສົ່ງກັບ Collector OTEL ໂດຍຜ່ານການເຊື່ອມຕໍ່ GRPC OLTP ກັບ Collector OTEL. When selecting metrics we aim to track metrics with low-cardinality labels to avoid cardinality explosions, as outlined in the sample below. from opentelemetry import metrics meter = metrics.get_meter("kaos-agent") # Counters request_counter = meter.create_counter( "kaos.requests", description="Number of requests processed", unit="1" ) model_call_counter = meter.create_counter( "kaos.model.calls", description="Number of model inference calls", unit="1" ) # Histograms for latency request_duration = meter.create_histogram( "kaos.request.duration", description="Request processing duration in milliseconds", unit="ms" ) # Usage example request_counter.add(1, {"agent.name": self.name, "status": "success"}) request_duration.record(duration_ms, {"agent.name": self.name}) ນໍາ ເວັບ ໄຊ ທ ໌ ອອນ ໄລ ນ ໌ ວັນ ທີ ການ ສ້າງ ຕັ້ງ ສະ ເພາະ ສໍາ ລັບ lovers ສັດ ລ້ຽງ. ນໍາ ເວັບ ໄຊ ທ ໌ ອອນ ໄລ ນ ໌ ວັນ ທີ ການ ສ້າງ ຕັ້ງ ສະ ເພາະ ສໍາ ລັບ lovers ສັດ ລ້ຽງ. ຫນ້າທໍາອິດ / Tip of the Iceberg ນີ້ແມ່ນການນໍາສະເຫນີຢ່າງງ່າຍດາຍສໍາລັບການ observability ໃນລະບົບ multi-agent, ແລະສະຫນອງຄຸນນະພາບສູງຂອງຄຸນນະພາບຂອງຄຸນນະສົມບັດທີ່ສໍາຄັນທີ່ກ່ຽວຂ້ອງ. This should also provide you with enough intuition to instrument your agentic systems conscientiously, however you will need to identify which patterns work best in your particular contexts. ການອຸປະກອນລະບົບ AI ທີ່ມີອຸປະກອນທີ່ມີ OpenTelemetry ຕ້ອງການທີ່ຈະຮູ້ຄວາມຕ້ອງການທີ່ເປັນເອກະລັກຂອງລະບົບເຫຼົ່ານີ້: ລະບົບໄຮໂດຼລິກ Iterative loops need span hierarchies that map to logical operations ການອັບໂຫລດ Multi-Agent ຕ້ອງການການປະໂຫຍດ contextual ໂດຍໃຊ້ W3C Trace Context benefits from dedicated spans with clear naming Tool execution requires emitting logs before span close Log-trace correlation need low-cardinality labels to avoid storage explosions Metrics ຮູບແບບທີ່ພວກເຮົາມີການຄົ້ນຄວ້າໄດ້ຖືກນໍາໃຊ້ກັບລະບົບ agentic ທັງຫມົດ, ບໍ່ພຽງແຕ່ KAOS. Start instrumenting ໃນປັດຈຸບັນ. The agents of tomorrow will be as ubiquitous as microservices are today, and OpenTelemetry gives you the visibility to operate them with confidence. The agents of tomorrow will be as ubiquitous as microservices are today, and OpenTelemetry gives you the visibility to operate them with confidence. ລະຫັດ QR KAOS Framework: github.com/axsaucedo/kaos - framework open-source ທີ່ຖືກນໍາໃຊ້ໃນບົດຄວາມນີ້ ການຢັ້ງຢືນ KAOS: axsaucedo.github.io/kaos - ການຢັ້ງຢືນ CLI ແລະ CRD ທັງຫມົດ ຊື່ຫຍໍ້ຂອງ : OpenTelemetry Python: opentelemetry.io/docs/languages/python OpenTelemetry GenAI Conventions: github.com/open-telemetry/semantic-conventions - ສະຖານທີ່ສ້າງຕັ້ງຂຶ້ນສໍາລັບການທົດສອບ AI SigNoz: signoz.io - APM open-source ມີການສະຫນັບສະຫນູນ OpenTelemetry ທີ່ເປັນຕົວແທນ ຊື່ຫຍໍ້ຂອງ : Creating the Multi-Agent System In this section we create the agentic system components manually instead of using the utilities for the curious ones! ພວກເຮົາຈະສະແດງໃຫ້ເຫັນວ່າທ່ານສາມາດເຮັດວຽກນີ້ກັບ CLI ແຕ່ທ່ານສາມາດເຮັດວຽກນີ້ກັບ UI ແລະກັບ CLI directly. kubectl Step 1: ພວກເຮົາມີການເຊື່ອມຕໍ່ກັບ LLMs ໂດຍ ModelAPI ການ ຄຸນນະພາບໃນ KAOS ສະຫນັບສະຫນູນອິນເດຍສໍາລັບການເຂົ້າເຖິງ LLM. ມັນສະຫນັບສະຫນູນຮູບແບບສອງ: ModelAPI : Routes requests through LiteLLM to external providers (OpenAI, Anthropic, Nebius, etc.) Proxy Mode ປະເພດ Hosted: Pulls models into your cluster (via side-car) ແລະ Run it on the server for inference The ModelAPI can be deployed easily via CLI. Note that in order for our agents to use the model APIs we need to provide our authentication API Key. For this example we will be using as it’s easy to set up, but you can also set up OpenAI, Gemini and dozen others. Nebius Note that in order for our agents to use the model APIs we need to provide our authentication API Key. For this example we will be using ໃນຂະນະທີ່ມັນງ່າຍທີ່ຈະຕິດຕັ້ງ, ແຕ່ທ່ານຍັງສາມາດຕິດຕັ້ງ OpenAI, Gemini ແລະອື່ນໆ. ລະຫັດ QR kaos modelapi deploy llm-proxy \ --namespace kaos-hierarchy \ --provider nebius \ --api-key # When provided without value this prompts the key securely From an observability perspective, the ModelAPI gives us visibility into model call latency, token usage, and error rates—critical metrics for understanding agent performance and controlling costs. ຊັ້ນ 2: ການນໍາໃຊ້ MCP Tool Server ໃນ KAOS ໃຫ້ອຸປະກອນທີ່ຜູ້ຊ່ຽວຊານສາມາດນໍາໃຊ້. MCP (Model Context Protocol) Servers KAOS ອະນຸຍາດໃຫ້ Server Native FastMCP ກັບຄວາມສາມາດໃນການສ້າງແລະຕິດຕັ້ງຮູບພາບຂອງທ່ານເອງ. KAOS ຍັງສະຫນັບສະຫນູນການດໍາເນີນການ MCP multi-native via registry. The most commonly used are: Runtime Description python-string Define tools as inline Python functions for testing kubernetes Kubernetes CRUD operations slack Slack messaging integration custom Your own container image python-string Define tools as inline Python functions for testing kubernetes ການເຮັດວຽກຂອງ Kubernetes CRUD slack ການເຊື່ອມຕໍ່ Slack custom ຮູບພາບ ສໍາ ລັບ Your Own Container ສໍາລັບການດາວໂຫລດຂອງພວກເຮົາ, ພວກເຮົາຈະສ້າງການບໍລິການ calculator. ໃນການຜະລິດ, ທ່ານຈະເຊື່ອມຕໍ່ກັບ API ທີ່ແທ້ຈິງ, ບັດຂໍ້ມູນ, ຫຼືບໍລິການອື່ນໆ. ຄໍາແນະນໍາ: ໃນພາກສ່ວນນີ້, ພວກເຮົາມີການນໍາໃຊ້ runtime python-string ສໍາລັບການທົດສອບຢ່າງໄວ້ວາງໃຈ, ແຕ່ສໍາລັບການນໍາໃຊ້ການນໍາໃຊ້ຜະລິດຕະພັນໄດ້ນໍາໃຊ້ການນໍາໃຊ້ custom-image. ຊື່ຫຍໍ້ຂອງ : In this section we use the ສໍາລັບການທົດສອບຢ່າງໄວ້ວາງໃຈ, ແຕ່ສໍາລັບການນໍາໃຊ້ຜະລິດຕະພັນ . python-string runtime custom-image deployment ຫນ້າທໍາອິດ » Create the mcp, ທີ່ຈະມີງ່າຍ ເຄື່ອງມືທີ່ຈະເພີ່ມສອງຊຸດແລະດາວໂຫລດ result. calculator add export ADD_TOOL=' def add(a: float, b: float) -> float: """Add two numbers together.""" return a + b ' kaos mcp deploy calculator \ --runtime python-string \ --params $ADD_TOOL \ --wait And we then create an mcp, which is also a simple tool that receives a string and returns the same value as the string. echo export ECHO_TOOL=' def echo(message: str) -> str: """Echo back the message for testing.""" return f"Echo: {message}" ' kaos mcp deploy echo-search \ --runtime python-string \ --params $ECHO_TOOL \ --wait ແລະພວກເຮົາມີຄວາມຕ້ອງການທີ່ຈະທົດສອບ mcp. # Run 2 + 2 on mcp calculator kaos mcp invoke calculator \ --tool add \ -a 2 \ -a 2 # Run echo hello on mcp echo kaos mcp invoke echo-search \ --tool echo \ -a "Hello" ພວກເຮົາຈະສະແດງໃຫ້ເຫັນວ່າມັນເປັນສິ່ງທີ່ສໍາຄັນທີ່ຈະຮູ້ສຶກການໂທລະສັບທີ່ຖືກສົ່ງໂດຍຜູ້ຊ່ຽວຊານໃດໆ (ຫຼືການບໍລິການອື່ນໆ) ແລະການປິ່ນປົວໂດຍການບໍລິການ MCP ຂອງຕົນເອງ 3a. ຜູ້ຊ່ຽວຊານຜູ້ຊ່ຽວຊານ ການ ຄຸນນະສົມບັດໃນ KAOS ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນູນ ສະ ຫນັບ ສະ ຫນູນ ສະ ຫນັບ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ Agent Exposes an OpenAI-compatible endpoint /v1/chat/completions ການນໍາໃຊ້ loop agentic (model > tools > model > ...) Supports configurable memory for session state The Researcher agent will specialise in gathering information: kaos agent deploy researcher \ --model "openai/gpt-4o" \ --mcp echo-search \ --description "Research specialist" \ --instructions "You research topics and provide ." \ --expose=true \ --wait ສໍາລັບການຄົ້ນຄວ້າ single-agent, ພວກເຮົາມີຄວາມຮູ້ກ່ຽວກັບ: ໂມເລກຸນໂທລະສັບ Latency: ວິທີການດໍາເນີນການ Inference? ທີ່ໃຊ້ເວລາການເຮັດວຽກຂອງເຄື່ອງມື: ເຄື່ອງມືໄດ້ຕອບສະຫນອງຢ່າງວ່ອງໄວ? : How many iterations does the agent need? Step count 3B, ຜູ້ຊ່ຽວຊານ Analyst ຜູ້ຊ່ຽວຊານ Analyst ສຸມໃສ່ການທົດສອບຂໍ້ມູນແລະການຄອມພິວເຕີ: kaos agent deploy analyst \ --model "openai/gpt-4o" \ --mcp calculator \ --description "Data analyst with calculation capabilities" \ --instructions "You analyze data and perform calculations." \ --expose=true \ --wait 3c. ຜູ້ຊ່ຽວຊານ Supervisor ຫຼັງຈາກນັ້ນ, Coordinator orchestrates ຜູ້ອໍານາດອື່ນໆ. ສໍາລັບການ observability multi-agent, ພວກເຮົາມີຄວາມປອດໄພເພີ່ມເຕີມ: ຮູບພາບ ສໍາ ລັບ Delegation Patterns: ຜູ້ຊ່ຽວຊານທີ່ໄດ້ຮັບການໂທແລະຢ່າງວ່ອງໄວ? Latency Cross-Agent: ປະລິມານທີ່ໃຊ້ເວລາໃນ Delegation vs. ການປິ່ນປົວສະຖານທີ່? ການເຊື່ອມຕໍ່ trace: ພວກເຮົາສາມາດຊອກຫາການຂົນສົ່ງການຊອກຫາທັງຫມົດລະຫວ່າງອຸປະກອນ? kaos agent deploy subervisor \ --model "openai/gpt-4o" \ --description "Coordinator that delegates to specialist agents" \ --instructions "You are a coordinator. Analyze user requests and delegate to your analyst and researcher." \ --sub-agent researcher \ --sub-agent analyst \ --wait And we’re done! ຫຼັງຈາກນັ້ນ, ທ່ານສາມາດເລີ່ມຕົ້ນການເຮັດວຽກໃນໄລຍະການຄົ້ນຄວ້າຂອງທ່ານ!