Multi-Agent AI (KAOS + OTel + SigNoz ашиглан)

K8s Agent Orchestration System-ийг ашиглан Multi-Agent AI системд үйлдвэрлэлийн түвшин харахын тулд практик гарын авлага Та өөрийн ноутбук дээр ажилладаг AI агент бий болгосон. Энэ нь автоматаар хэрэгслүүдтэй цуглуулж, мэргэжилтнүүдтэй дор-агентүүдтэй ажиллуулах, шууд үр дүнг үйлдвэрлэдэг. Дараа нь та үйлдвэрлэхэд ашиглаж болно: Хэрэглэгчийн жагсаалт нь "төөгдсөн" гэж нэрлэдэг. Эдгээр нь гайхалтай хариултыг олж авсан гэж хэлсэн. Таны дөрвөлжин бичлэг Agent Run Гэсэн хэдий ч, 45 секундын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын талаар юу вэ? Сайн байна уу observability challenge of agentic systems. "Традицийн дневник танд ажиллуулах гэж хэлдэг. Нарийвчлал танд юу гэж хэлдэг. " "Традицийн дневник танд ажиллуулах гэж хэлдэг. Нарийвчлал танд юу гэж хэлдэг. " Энэ нийтлэлд бид Multi-Agent Systems-ийн харах боломжийг бүрэн энд-аас энд харах болно. Дараа нь бид энэ бичлэгт шинжилгээ, хяналт, диагноз хийх болно олон агент системний урьдчилсан үзүүлэлттэй байна: Хамгийн чухал асуултанд эхэлнэ үү ... ...Мулти-агент систем нь (Хөгжилтэй) харах хэрэгтэй юу вэ? Түлхүүр microservices нь урьдчилан сэргийлэх загваруудтай байдаг: хүсэл авах, зарим үйл ажиллагаа явуулж, хариултыг олж авах. Латенци нь харьцангуй харьцангуй, код хоорондоо deterministic байна, болон debugging нь ихэвчлэн нэг үйл явцыг илрүүлэх орно. Энэ нь зүгээр л асуултын хариу биш юм Агентын систем нь уламжлалт найдвартай: Traditional API Agentic System Synchronous request-response Iterative reasoning loops Predictable latency (50-500ms) Variable: 100ms to 60+ seconds Deterministic code paths Non-deterministic LLM decisions Single service per request Model calls + tool calls + delegations Fixed cost per request Cost varies by token usage Synchronous асуултууд хариу ITERATIVE РОЗУЛТАЙЛАН ГУЛАЙЛАН Үнэлгээтэй латент (50-500ms) Хязгаарлалт: 100ms нь 60+ секунд Детерминист код шугам Non-Deterministic LLM шийдэл Хэрэглээний дагуу нэг үйлчилгээ Model Calls + хэрэгсэл Calls + Delegations Тавтай морилно уу Хэвийн үнэ токен хэрэглээний дагуу өөрчлөн AI Agents 101: The Agentic Loop Multi-AI агент системын үндсэн хоолой үзнэ үү. Энэ нь AI системд шинэчлэлтийн одоогийн хавтгайтай загвар юм. Дараа нь бид янз бүрийн шинж чанарыг хуваалцах үед энгийн агенттик хоолой юм, гэхдээ санаа нь LLM-ийг хэрэгсэл шууданга, delegation шуудангаар хариулахын тулд анхны шууданг илгээдэг бөгөөд ямар ч байгаа бол, эсвэл бид хамгийн их шатанд ажиллуулахын тулд эцсийн хариултыг илгээдэг. async def process_message(self, messages): for step in range(self.max_steps): # 1. Call the LLM specifically for tool/delegation requests response = await self.model.process_tool_request(messages) # 2. If the model wants to use a tool, execute it if response.has_tool_call: result = await self.execute_tool(response.tool_call) messages.append({"role": "tool", "content": result}) continue # 3. If the model wants to delegate, call another agent elif response.needs_delegation: result = await self.delegate_to_agent(response.delegation) messages.append({"role": "assistant", "content": result}) continue else: # If no tools/delegations we move to final answer break # 4. We return our final answer with any context gathered return await self.model.process_final_answer(messages) Хэрэв та харж байгаа бол, энэ хоолой бүр өөр арга замыг авч болно. Модел нь нэг хэрэгсэл дуудлага эсвэл 5 хэрэгтэй болно. Традицийн жагсаалт (жишээ нь, "хэвлэх эхэлсэн" ... "хэвлэх дууссан") танд үнэхээр юу гэж хэлэхгүй байна. Тэгээд бид энэ нь дистрибьюторын системд олж авсан үед энэ нь хэзээ ч илүү хялбар байх болно гэж үзнэ үү - бид энэ бичлэгт үзнэ үү. Энэ дараагийн эцсийн хэсэгт бид танд энэ агентт хоолой нь тусгайлан хэрхэн оруулна уу. Бид “request-response” -ийг “request-panic-tool-panic-delegate-panic-response” -ийг өөрчилж байна. Бид “request-response” -ийг “request-panic-tool-panic-delegate-panic-response” -ийг өөрчилж байна. The Three Pillars of Agent Observability OpenTelemetry нь 3 төрлийн телеметрийн өгөгдлийг санал болгодог бөгөөд энэ нь агенттик системд тусгай зорилготой юм. Traces Түлхүүр бүтэц нь агент хийх зүйлс дээр шууд зураг аваарай, аялал жуулчлалын хоорондын бүх хоорондоо харах, холбох. HTTP POST /v1/chat/completions (15.2s total) -> agent.agentic_loop -> agent.step.1 (3.1s) -> model.inference (3.0s) -> agent.step.2 (8.5s) ->model.inference (2.1s) -> tool.web_search (6.3s) agent.step.3 (3.4s) -> model.inference (3.3s) Traces хариу: "Энэ асуултууд нь миний агентдыг дамжуулан юу вэ?" Одоогоор: "Энэ асуултууд нь миний агентдыг дамжуулан юу вэ?" Traces Logs Програм хангамж дахь уламжлалт, logging програм хангамжийн үйл явцыг, дамжуулалтыг харахын тулд дотоод үзнэ үү. Эдгээр нь тусгай хүсэл эсвэл сессийн хооронд юу гэж үзэж болохыг мэдрэхийн тулд арга замыг санал болгож, жишээ нь хязгаарлалт гэх мэт чухал мэдээллийг олж авах. OpenTelemetry-д, дөрвөлжин бичлэгүүд нь өөр өөртөө холбогдсон болно. 2024-01-15 10:30:45 INFO [trace_id=abc123] Starting message processing 2024-01-15 10:30:47 DEBUG [trace_id=abc123] Model response: calling tool 'web_search' 2024-01-15 10:30:53 ERROR [trace_id=abc123] Tool execution failed: API rate limited Logs хариу: "Агент бүрийн шатанд "тэндээ" юу хэлж байна?" Logs хариу: "Агент бүрийн шатанд "тэндээ" юу хэлж байна?" Metrics Метрик нь цаг хугацааны тусламжтай KPIs санал болгодог бөгөөд энэ нь тодорхой түүхэн түүх гэж хэлж чадна. <- Store number of tokens per request <- Store success / failure rate of requests <- Store latency for model calls Метрикийн асуултууд: "Миний систем нь ерөнхийдөө хэрхэн ажиллаж байна?" Метрикийн асуултууд: "Миний систем нь ерөнхийдөө хэрхэн ажиллаж байна?" Bringing it all together Магийн үйл явдал нь энэ гурван нь харьцуулагддаг (а.д. холбогдсон). Эдгээр нь бид "Энэ ERROR лог дээр дарна уу" гэх мэт зүйлсийг хийх, дарна уугүйлын үр дүнтэй хугацааны диагноз хийх боломжтой. Multi-Agent контекст хуваалцах Эдүүлэг A нь Агент B-ийг delegates үед, энэ нь Агент C-ийг delegates үед, та нэг нэгтгэсэн трасс хүсэж байна - гурван холбогдсон зүйл биш. Энэ нь . context propagation Энэ нь W3C Trace Context стандартын ашиглан HTTP хавтан дамжуулан Trace контекст дамжуулдаг. Бүтээгдэхүүний үр дүн нь бүх агентт хооронд нэгтгэсэн хаяг юм - Энд хаяг контекст нь координатор агент, судалгааны агент, аналитик агент хооронд харьцуулахад хэрхэн харуулж байна. coordinator.agent.agentic_loop (trace_id: abc123) -> coordinator.model.inference -> coordinator.delegate.researcher -> researcher.agent.agentic_loop (trace_id: abc123) -> researcher.model.inference -> researcher.tool.web_search -> coordinator.model.inference -> coordinator.delegate.analyst -> analyst.agent.agentic_loop (trace_id: abc123) -> analyst.model.inference -> analyst.tool.calculator Контекст хуваалцахгүйгээр, Multi-Agent Debugging нь зүгээр л дистрибутирован харах юм. Контекст хуваалцахгүйгээр, Multi-Agent Debugging нь зүгээр л дистрибутирован харах юм. Практик хэрэглээний тохиолдолд: Multi-Agent судалгааны систем Let’s now start building something concrete. Бид ашиглаж болно , Kubernetes-д мульти-агент системийг суулгах, удирдах, масштаб хийхын тулд нээлттэй эх сурвалж юм. Хаос (Kubernetes Агент оркестрийн систем) Хаос Multi-Agent систем нь хяналт хийх Бидний хэрэглээний тохиолдолд координаторын агент юм, судалгааны, шинжилгээний үйл ажиллагаа нь мэргэшсэн суб-агентүүдтэй дамжуулах: Бүх компонент - агент, хэрэгсэл, загварын API-ийг - OpenTelemetry цуглуулагч руу шууд, метрик, лог дамжуулдаг бөгөөд энэ нь визуализац, анализ хийхэд таны сонгосон баглаа боодол руу бүх зүйлийг дамжуулдаг. Барааны шаардлага: Commands & Tools Бид эхлэхэд өмнө, Та хэрэгтэй болно: KAOS CLI суулгах: pip install kaos-cli==0.2.7 LLM API ключ (OpenAI, Nebius гэх мэт ямар ч ханган нийлүүлэгч) kubectl, шүд, Kubernetes кластер (KIND, minikube, эсвэл хөнгөн кластер) Хаос үүсгэх Эхлээд, OpenTelemetry-д идэвхтэй KAOS операторууд, харах боломжтой backend суулгахын тулд. Бид SigNoz-ийг open-source, OpenTelemetry-д идэвхтэй сонголт болгон ашиглах болно. (Хэрэглэгчийн нэр): Using the KAOS CLI # Install the KAOS operator kaos system install \ --set logLevel=DEBUG \ --wait \ --monitoring-enabled # Enables monitoring setup (supports signoz and jaeger) # Verify the installation kaos system status # Change context to use (+create) this current namespace for convenience kaos system working-namespace kaos-hierarchy Хэрэв энэ үйл ажиллагаа явуулж байгаа бол бид CLI-г нийцсэн дээж нэг ашиглан манай олон агент систем үүсгэх болно. Та мөн блог бичлэгийн эцсийн ANNEX-ийг харах боломжтой бөгөөд эдгээр бүрэлдэхүүн хэсгүүд нь нэг удаа ашиглаж болно. kaos samples deploy \ 3-hierarchical-agents \ --provider openai \ --wait \ --api-secret # This will prompt your api-key secret Та - provider флагыг үзнэ үү, энэ нь backend-ийг тодорхойлох болно, гэх мэт nebius, gemini, bedrock болон бусад ханган нийлүүлэгчдийн 100s [KAOS докторууд], түүнчлэн таны -api-секрет нь интерактив хэлтэсж болно. Та - provider флагыг үзнэ үү, энэ нь backend-ийг тодорхойлох болно, гэх мэт nebius, gemini, bedrock болон бусад ханган нийлүүлэгчдийн 100s [ , түүнчлэн таны --api-секрет нь интерактив хэлбэлзэж болно. Хаос Docs] Хамгийн сүүлийн үеийн үйл явдлын дараа нь та дараах үйл явдлыг олж авах болно. kaos ui --monitoring-enabled Энэ нь бид ашигласан Multi-Agent систем үзүүлдэг: Бүгдийг нэгтгэх: хаос хяналт Одоо бид зарим трафик үүсгэх, хаос мониторинг эхэлнэ. Агентүүдтэй холбоо барих Та олон арга замаар агенттай холбоотой байж болно: # Invoke the coordinator agent directly kaos agent invoke supervisor \ --message "Research the current AI chip market and calculate the market share of the top 3 companies." Хэрэглэгчийн интерфэйс дамжуулан чат идэвхжүүлэх: Сэдэв, энэ нь үйл явцтай үйл явцтай цуврал үүсгэдэг: Сургагч хүсэл авах Сургагч LLM-ийг зочилж, энэ нь оюутнуудыг дамжуулдаг судалгааны агент нь зах зээлийн судалгааны зорилгоор ашиглаж байна (ийг хоёр судалгааны суб-агент зочилж байна) Аналитик агент нь зах зээлийн түвшин тооцох (ийг хоёр Аналитик суб-агент зовох) Супермаркет нь эцсийн хариултыг синтезуулдаг Гэсэн хэдий ч, энэ бүх auditable трас дээр харуулсан байна: LLM-ийн бүх дуудлага, хэрэгсэл бүх гүйцэтгэлийн, бүх delegation. Түлхүүр үг: Request Flow : Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг: Түлхүүр үг Why traces matter for agentic systems Trace жагсаалт нь таны агентлыг дамжуулан бүх хүсэлтийг харуулж байна. Бүх трац нь бүрэн хэрэглэгчийн интеракцийг харуулдаг. Хэрэглээний бүрэн дамжуулалтыг үзэх нь Trace дээр дарна уу: Ангилаачид болон аналитик агентлаас координатрууд илрүүлэх нэг шугам, тус бүр тусгай үйл явцыг илрүүлэх. ЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэрЭдүүлбэр Энэ асуулт 15 секундын хугацаатай юу? web_search хэрэгсэл нь 8 секундын хугацаатай. Координатор → Бакалавр → Аналитик → Координатор. LLM зочлолт എത്ര байна? 3 агентдын хооронд 6 зочлолт. Бүх хэрэгслүүд алдаатай байна уу? Бүх хэрэгслүүд амжилттай төгссөн байна (зеленых диапазон). Log Correlation: Агент асуултуудыг мэддэг Түлхүүр үгс Үйлчлүүлэгчид - Logs Tell You . OpenTelemetry тэднийг автоматаар хуваалцах Нөхцөл Өргөтгөл what Үнэндээ trace_id span_id Бүх лог бичлэгүүд нь эдгээр ID-ийг агуулдаг бөгөөд танд боломжийг олгодог: Түлхүүр үг: Click on a span in your trace View all logs emitted during that span Ажлын үйлчлүүлэгчдийн асуултуудыг ойлгох Энэ нь дөрвөн дэлгэрэнгүй дэлгэрэнгүй дэлгэрэнгүй дэлгэрэнгүй үзэх боломжтой. We can then drill deeper into individual log entries. Жишээ нь, бид алдааг үзнэ үү “Delegation task: …”. Энэ нь бидэнд delegated байсан бүх зөвлөгөөг харуулсан бөгөөд энэ нь диагноз, буцаан хийхэд маш ашигтай юм. This includes full log context including all attributes, resource labels, and the complete message. Хязгаарлалт Tracking: Бүтээгдэхүүний асуудал олж авах In production, things fail. OpenTelemetry captures exceptions as first-class citizens, and attaches them to the span where they occurred. Бид энэ нь ямар ч байгаа дор-агент дээр дамжуулахыг хүсч байна: # Invoke the coordinator agent directly kaos agent invoke supervisor \ --message "We are now testing valid exception functionality. Try to delegate to a non-existing agent to validate that it works correctly." Or directly via the UI: If we now navigate to the Exceptions tab, we can now see that there is an entry. This is the Exceptions list view, where all exceptions for the time period are listed. Эдгээр жагсаалт систем хооронд алдааг харуулдаг бөгөөд тэдгээр нь тусгай хүснэгт, жагсаалттай харьцуулдаг. We are also able to filter by different (agent) services, as well as other attributes. We can see clearly that the exception was due to an attempted incorrect delegation. Мөн бид Trace View-д алдааг визуалж болно. Metrics: Operational Overview Түлхүүр үгс тусгай асуултуудыг харуулсан боловч метрик нь цаг хугацааны харьцуулалтыг харуулдаг. Here are some example key metrics in agentic systems: Metric What It Tells You kaos.requests Request volume by agent kaos.request.duration Latency distribution (P50, P95, P99) kaos.model.calls LLM API usage (cost indicator) kaos.tool.calls Tool execution frequency kaos.delegations Multi-agent coordination patterns kaos.requests Ажлын хэмжээ нь агент kaos.request.duration Латенцийн хувилбар (P50, P95, P99) kaos.model.calls LLM API хэрэглээ (Cost Indicator) kaos.tool.calls Тоног төхөөрөмж Execution Frequency kaos.delegations Multi-Agent координатын загвар Эдгээр метрик нь үйлдвэрлэлийн асуудлуудыг хангах боломжтой: Тавтай морилно уу латент > 30s Error rate > 5% Модель дуудлага алдаа > 1% Бид мөн тэднийг визуалж болно: Under the Hood: How It Works Хэрэв та үйл ажиллагаа явуулж байгаа эсэхийг харахын тулд бид энэ нь хэрхэн гүйцэтгэсэн гэж үзнэ үү. Эдгээр асуултууд та барилга эхлэхээс дор явжгүй бөгөөд шийдэл нь ямар ч агенттик системд өргөн хэрэглэнэ. The Architecture KAOS separates control plane (Go) from data plane (Python); inside the Python application we have a OpenTelemetry manager (KaosOtelManager) to provide utilities to simplify the workflows. Хамгийн чухал мэдлэг: телеметрийн тохиргоог Operator -> Data Plane -> OTEL Collector-аас дамжуулдаг. Хэрэглэгчид values.yaml-д нэг удаа телеметрийн тохиргоог тохируулна, оператор нь бүх бүрэлдэхүүн хэсгүүдтэй хуваалцах болно. Хамгийн чухал мэдлэг: . хэрэглэгчид нэг удаа telemetry тохируулах , and the operator propagates it to all components. telemetry configuration flows from Operator -> Data Plane -> OTEL Collector values.yaml Instrumenting the Core Logic Агент системийн талаар, энэ нь зүгээр л хүсэл-сэтгэгдэл оруулж байгаа биш юм, гэхдээ энэ нь агентын итерацийг хооронд дамжуулах тухай юм. Эхлээд бид шилдэг түвшин хүсэл / хариултыг хооронд агуулсан өргөн хүрээг харахын тулд баталгаажуулдаг. Дараа нь Agentic Loop гэх мэт бусад гол бүрэлдэхүүн хэсгүүд, MCP Calls, агент delegations гэх мэт нэмэлт Calls гэх мэт оруулна. # This is the same function pseudo-code that we showed initially but instrumented async def process_message(self, session_id: str, messages: List[Dict]) -> str: """Process message through agentic loop with full tracing.""" # Start root span for entire message processing span = otel.span_begin("agent.agentic_loop", SpanKind.INTERNAL) span.set_attribute("agent.name", self.name) span.set_attribute("session.id", session_id) span.set_attribute("agent.max_steps", self.max_steps) span_failure = False try: # Agentic loop logic (see below) except Exception as e: # If exception mark as failure span_failure = True otel.span_failure(span, e) raise finally: if not span_failure: otel.span_success(span, e) Instrumenting the Agentic Loop Бид одоо агенттик хоолойд нэг загвар ашиглаж болно, бид өөрсдийн контексттай итеррацийг харах боломжтой. Энэ нь бид энэ тусгай хүсэлтэй холбоотой холбоотой лог, метрикуудыг харах боломжтой бөгөөд энэ нь чухал байх болно. # Previous logic outlined above... for step in range(self.max_steps): # Span for each iteration step_span = otel.span_begin(f"agent.step.{step + 1}") step_span.set_attribute("step", step + 1) agent_span_failed = False try: # MCP Calls (with OTEL span)... # Delegation Calls (with OTEL span)... except Exception as e: otel.span_failure(step_span, e) agent_span_failed = True raise finally: if not agent_span_failed: otel.span_success(span) # Preview logic outlined above... Having the spans defined in placed is what allows us to trace the request across hops. Зарим ашигтай загварууд: Хиерархийн давтамж: Загварын хувьд хатан давтамж, бүрийн давтамж, үйл ажиллагаа хийхэд насанд хүрэгчдийн давтамж гэх мэт байдаг. Өнгөрсөн өмнө бүртгүүлнэ үү: бүртгүүлэлтийг Trace контекст идэвхжүүлэхийн тулд бүртгүүлэх боломжийг олгодог. Ямар ч хугацааны менежмент: Бид интерфэйс нь үргэлж харуулсан баталгаажуулахын тулд ягаан тусламж / эцсийн загвар ашиглаж байна, гэхдээ бид контекст менежер ашиглаж болно (жишээ нь тавцантай). Энэ нь бид дараа нь асуултууд шугам, хүрээний хуваалцлыг визуалж чадна. Context Propagation for Multi-Agent Systems When delegating to sub-agents (running in separate pods), we must propagate trace context: # Inject context into outgoing request from opentelemetry.propagate import inject async def delegate(self, target_agent: str, task: str) -> str: headers = {"Content-Type": "application/json"} # Inject current trace context into headers inject(headers) # Adds 'traceparent' and 'tracestate' headers async with httpx.AsyncClient() as client: response = await client.post( f"http://{target_agent}/v1/chat/completions", headers=headers, json={"messages": [{"role": "user", "content": task}]} ) return response.json()["choices"][0]["message"]["content"] Trace контекст хуваалцах Бид түүнчлэн контекст хүлээн зөвшөөрсөн, хамарсан байх ёстой. # Extract context from incoming request from opentelemetry.propagate import extract @app.post("/v1/chat/completions") async def chat(request: Request, body: ChatRequest): # Extract trace context from incoming headers context = extract(request.headers) # Attach to current context so new spans are children token = otel_context.attach(context) try: return await agent.process_message(body.messages) finally: otel_context.detach(token) Log экспортын болон корреляцийн Log-trace корреляцид, бид Python-ийн logging-ийг OpenTelemetry-тэй холбож байна. Хэрэв та өмнө ELK багц гэх мэт зүйлийг ашиглаж байгаа бол OpenTelemetry нь одоо та GRPC OTEL холболт ашиглан дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин д The logging instrumentation automatically injects Нөхцөл Актив span контекст байгаа үед лог рекордах. trace_id span_id Энэ холболт тохируулахын тулд та дараах хэлбэрээр хэд хэдэн шугам нь тохируулах боломжтой. from opentelemetry.sdk._logs import LoggerProvider from opentelemetry.sdk._logs.export import BatchLogRecordProcessor from opentelemetry.exporter.otlp.proto.grpc._log_exporter import OTLPLogExporter from opentelemetry.instrumentation.logging import LoggingInstrumentor # Set up OTLP log export logger_provider = LoggerProvider(resource=resource) logger_provider.add_log_record_processor( BatchLogRecordProcessor(OTLPLogExporter(endpoint=endpoint)) ) # Attach handler to Python root logger handler = LoggingHandler(level=logging.DEBUG, logger_provider=logger_provider) logging.getLogger().addHandler(handler) Metrics for Agent Operations Бид OpenTelemetry SDK-ийг ашиглан метрикуудыг харах боломжтой. Хэрэв та Prometheus-ийг өмнө ашиглаж байгаа бол энэ тохиолдолд метрик нь prometheus collector-ийн дамжуулан хайж буй эцсийн томоохон дамжуулан харуулсан биш юм. Үүнээс гадна энэ нь OTEL collector-ийг GRPC OLTP холболт дамжуулан OTEL collector-ийг дамжуулан дамжуулан дамжуулан дамжуулах архитектурын боломжийг олгодог. Метрикийн сонгох үед бид тавтай морилно уу кардиналтын хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт авианы хэт ави from opentelemetry import metrics meter = metrics.get_meter("kaos-agent") # Counters request_counter = meter.create_counter( "kaos.requests", description="Number of requests processed", unit="1" ) model_call_counter = meter.create_counter( "kaos.model.calls", description="Number of model inference calls", unit="1" ) # Histograms for latency request_duration = meter.create_histogram( "kaos.request.duration", description="Request processing duration in milliseconds", unit="ms" ) # Usage example request_counter.add(1, {"agent.name": self.name, "status": "success"}) request_duration.record(duration_ms, {"agent.name": self.name}) : Never use session IDs, user IDs, prompt content, or other unbounded values as metric labels. Put those in logs or trace attributes instead. Avoid high-cardinality labels : Session IDs, user IDs, prompt content, эсвэл бусад хязгаарлагдмал үнэтүүд нь метрикийн хавтан болгон ашиглах. Үүнээс гадна тэднийг логтонд эсвэл Trace атрибутуудаар хуваалцах. Avoid high-cardinality labels Iceberg-ийн зөвлөгөө This is a gentle introduction to observability in multi-agent systems, and provides a high level view of what are some of the main components involved. Энэ нь танд таны агенттик системд суралцахын тулд хялбар интуицийг хангах ёстой. Гэсэн хэдий ч та өөрийн тусгай контекстд хамгийн сайн ажилладаг загварууд тодорхойлох хэрэгтэй. OpenTelemetry-тэй агенттик AI системийг инструментийг ашиглахын тулд эдгээр системийн өвөрмөц асуултуудыг ойлгох хэрэгтэй: need span hierarchies that map to logical operations Iterative loops Multi-agent delegation нь W3C Trace Context ашиглан явжтай контекст хуваалцах хэрэгтэй benefits from dedicated spans with clear naming Tool execution requires emitting logs before span close Log-trace correlation Метрик нь бага кардиналтын тэмдэглэгээг хэрэглэнэ, хадгалах взрывүүдээс урьдчилан сэргийлэх The patterns we’ve covered apply to any agentic system, not just KAOS. Start instrumenting now. Өнгөрсөн агентүүд нь microservices-ийн одоогийн шиг алдартай байх болно, OpenTelemetry танд итгэмжлэгдсэн үйл ажиллагаа явуулж болно. Өнгөрсөн агентүүд нь microservices-ийн одоогийн шиг алдартай байх болно, OpenTelemetry танд итгэмжлэгдсэн үйл ажиллагаа явуулж болно. Бүтээгдэхүүн : - The open-source framework used in this article KAOS Framework github.com/axsaucedo/kaos KAOS Документаци: axsaucedo.github.io/kaos - Бүх CLI болон CRD Документаци : - Official Python SDK documentation OpenTelemetry Python opentelemetry.io/docs/languages/python : - Emerging standards for AI observability OpenTelemetry GenAI Conventions github.com/open-telemetry/semantic-conventions SigNoz: signoz.io - Open-source OpenTelemetry дэмжлэгтэй APM Ангилал: Мулти-агент системийг мануаль үүсгэх Энэ хэсэгт бид агенттик системийн бүрэлдэхүүн хэсгүүд нь ухаалаг хүмүүст зориулсан хэрэгслийг ашиглах нь гарын авлагатай үүсгэдэг! Бид танд энэ нь CLI-тэй хэрхэн хийж болохыг харуулдаг боловч та энэ нь UI болон CLI-тэй хийх боломжтой. Үнэндээ kubectl Шаг 1: Бид эхлээд ModelAPI-тэй LLM-ийг холбох The resource in KAOS provides a unified interface for LLM access. It supports two modes: ModelAPI Proxy Mode: LiteLLM-ийн дамжуулан шуудангийн хүсэлтийг гадна ханган нийлүүлэгчдэд (OpenAI, Anthropic, Nebius гэх мэт) дамжуулдаг. Hosted Mode: Cluster-д загварууд татаж (баруун автомашины дамжуулан) ба сервер дээр дуусгах ModelAPI нь CLI дамжуулан хялбар ашиглаж болно. Note that in order for our agents to use the model APIs we need to provide our authentication API Key. For this example we will be using as it’s easy to set up, but you can also set up OpenAI, Gemini and dozen others. Nebius Бидний агенттыг загварын API-ийг ашиглахын тулд бид автентичлалын API Key-ийг хангах хэрэгтэй. Энэ жишээ нь бид ашиглах болно Энэ нь суулгах хялбар юм, гэхдээ та OpenAI, Gemini болон бусад олон тооны суулгах боломжтой. Байгалийн kaos modelapi deploy llm-proxy \ --namespace kaos-hierarchy \ --provider nebius \ --api-key # When provided without value this prompts the key securely From an observability perspective, the ModelAPI gives us visibility into model call latency, token usage, and error rates—critical metrics for understanding agent performance and controlling costs. Step 2: Deploy the MCP Tool Servers KAOS нь агентыг ашиглаж болно хэрэгсэл санал болгож байна. MCP (Model Context Protocol) Servers KAOS FastMCP нарийн сервер нь өөрийн зураг үүсгэх, ашиглах боломжийг олгодог. KAOS also supports multiple native MCP runtimes via a registry. The most commonly used are: Runtime Description python-string Define tools as inline Python functions for testing kubernetes Kubernetes CRUD operations slack Slack messaging integration custom Your own container image python-string Тоног төхөөрөмжүүд нь inline Python функцийг тест хийхэд тохиромжтой kubernetes Kubernetes CRUD operations slack Slack messaging integration custom Таны контейнер зураг For our demo, we’ll create a calculator server. In production, you’d connect to real APIs, databases, or external services. Ангилал: Энэ хэсэгт бид хурдан туршилтын хувьд python-string runtime ашигладаг, гэхдээ үйлдвэрлэлийн бэлэн суулгах нь өөрчилсөн зураг суулгах ашигладаг. Note: In this section we use the хурдан туршилтын хувьд, гэхдээ үйлдвэрлэлийн тохиромжтой суулгахын тулд . python-string runtime Custom-image тохируулга Эхлээд бид Mcp, энэ нь хялбар байх болно хэрэгсэл нь хоёр тоо нэмэх, үр дүнд буцаж болно. calculator add export ADD_TOOL=' def add(a: float, b: float) -> float: """Add two numbers together.""" return a + b ' kaos mcp deploy calculator \ --runtime python-string \ --params $ADD_TOOL \ --wait Дараа нь бид mcp, энэ нь ч бас хялбар хэрэгсэл юм, энэ нь цуврал хүлээн авах, цувралтай харьцуулахад харьцуулана. echo export ECHO_TOOL=' def echo(message: str) -> str: """Echo back the message for testing.""" return f"Echo: {message}" ' kaos mcp deploy echo-search \ --runtime python-string \ --params $ECHO_TOOL \ --wait Мөн бид mcp-ийг туршиж авахыг хүсч болно. # Run 2 + 2 on mcp calculator kaos mcp invoke calculator \ --tool add \ -a 2 \ -a 2 # Run echo hello on mcp echo kaos mcp invoke echo-search \ --tool echo \ -a "Hello" Нарийвчлалтай ач холбогдол нь бид MCP серверүүд нь ямар ч агент (или ямар ч гарын авлага) дамжуулан илгээсэн и-мэйл ялалт хэрхэн мэдэгдэх чухал гэж үзнэ үү. 3a. судалгааны агент Нөхцөл KAOS-д ресурс нь хэрэглээг боловсруулах, зочлох загвар, хэрэгсэл гүйцэтгэх, бусад агенторууд руу дамжуулах боломжтой AI суурь юм. Agent OpenAI-д нийцтэй /v1/chat/completions энд тоноглогдсон Агентик хоолой (model > tools > model > ...) Session status нь конфигурируемаар хадгалах дэмждэг судалгааны агент нь мэдээлэл цуглуулах чиглэлээр мэргэшсэн байх болно: kaos agent deploy researcher \ --model "openai/gpt-4o" \ --mcp echo-search \ --description "Research specialist" \ --instructions "You research topics and provide ." \ --expose=true \ --wait Single-Agent Observability нь бид: Модель дуудлага латенц: Тавтай морилно уу, тавтай морилно уу? Tool Execution Time: хэрэгсэл хурдан хариу байна уу? Step Count: Агент нь хэд хэдэн iterations хэрэгтэй вэ? 3b. Аналитик агент Аналитик агент нь өгөгдлийн анализ, тооцоо дээр төвлөрөг: kaos agent deploy analyst \ --model "openai/gpt-4o" \ --mcp calculator \ --description "Data analyst with calculation capabilities" \ --instructions "You analyze data and perform calculations." \ --expose=true \ --wait 3c. Сургалтын агент Өнгөрсөн, Координатор бусад агентдыг оркестрж байна. Multi-agent observability нь бид нэмэлт асуултууд олж авах болно: Делегацийн загварууд: Ямар ч ажилтнууд тавтай морилно уу? Cross-agent latency: Delegation vs. Local Processing-д ашиглаж буй цаг хугацаа нь? Түлхүүр харьцуулалт: Агентүүд хооронд бүрэн хүснэгт дамжуулалтыг үзнэ үү? kaos agent deploy subervisor \ --model "openai/gpt-4o" \ --description "Coordinator that delegates to specialist agents" \ --instructions "You are a coordinator. Analyze user requests and delegate to your analyst and researcher." \ --sub-agent researcher \ --sub-agent analyst \ --wait Бид хийж байна! Хэрэв та одоо дээд томоохон руу хүрч, ашиглаж буй суурилуулалттай үзэсгэлэнт хоорондын хоорондоо ажиллуулж болно!