Pengesan Produksi untuk AI Multi-Agent (dengan KAOS + OTel + SigNoz)

Panduan praktikal untuk menambah pengesan peringkat pengeluaran kepada sistem AI pelbagai agen dengan Sistem Orkestrasi Agen K8s menggunakan OpenTelemetry dan SigNoz Anda telah membina agen AI yang berfungsi di dalam laptop anda. ia secara automatik rantaian alat bersama-sama, menyerahkan tugas kepada sub-agen pakar, dan menghasilkan hasil yang sihat. Kemudian anda meletakkannya ke dalam pengeluaran: Pengguna melaporkan bahawa permintaan "mengambil selamanya". Beliau berkata beliau mendapat jawapan yang pelik. Log anda menunjukkan Agen berlari Tetapi, apa yang berlaku dalam 45 saat antara permintaan dan jawapan? Selamat datang di observability challenge of agentic systems. "Log tradisional memberitahu anda bahawa ia berjalan. pengawasan memberitahu anda mengapa ia berjalan seperti itu." "Log tradisional memberitahu anda bahawa ia berjalan. pengawasan memberitahu anda mengapa ia berjalan seperti itu." Dalam artikel ini, kita akan berjalan melalui contoh yang lengkap dari hujung ke hujung pengesan untuk sistem pelbagai agen. Di bawah ialah preview sistem multi-agent yang kami akan menganalisis, memantau dan mendiagnosis dalam post ini: Mari kita mulakan dengan soalan utama... Mengapa Sistem Multi-Agent Perlukan (Berbeza) Pengawasan? Microservices tradisional mempunyai corak yang boleh diprediksi: permintaan datang, beberapa pemprosesan berlaku, tindak balas keluar. latens adalah agak konsisten, laluan kod adalah deterministik, dan debugging biasanya melibatkan mengesan satu thread eksekusi. Bukan Sekadar Permintaan Jawapan Sistem agensi melanggar asumsi tradisional: Traditional API Agentic System Synchronous request-response Iterative reasoning loops Predictable latency (50-500ms) Variable: 100ms to 60+ seconds Deterministic code paths Non-deterministic LLM decisions Single service per request Model calls + tool calls + delegations Fixed cost per request Cost varies by token usage Sinkron Permintaan-Respon Pertimbangan Iteratif Loops Latens yang boleh diramalkan (50-500ms) Variabel: 100ms kepada 60+ saat Kaedah Kod Deterministik Keputusan LLM Non-Deterministik Perkhidmatan tunggal atas permintaan Model panggilan + panggilan alat + delegasi Biaya tetap per permintaan Kos berbeza mengikut penggunaan token AI Agents 101: The Agentic Loop Pertimbangkan laluan teras sistem agen multi-AI.Ini adalah corak mudah yang telah membawa kepada gelombang inovasi semasa dalam sistem AI. Di bawah ialah lingkaran agentik yang disederhanakan kerana kita melepaskan banyak nuansa, tetapi idea adalah bahawa kita menghantar panggilan pertama untuk LLM untuk bertindak balas dengan panggilan alat atau panggilan delegasi, dan jika tiada atau kita berjalan ke langkah-langkah maksimum, maka kita menghantar jawapan akhir. async def process_message(self, messages): for step in range(self.max_steps): # 1. Call the LLM specifically for tool/delegation requests response = await self.model.process_tool_request(messages) # 2. If the model wants to use a tool, execute it if response.has_tool_call: result = await self.execute_tool(response.tool_call) messages.append({"role": "tool", "content": result}) continue # 3. If the model wants to delegate, call another agent elif response.needs_delegation: result = await self.delegate_to_agent(response.delegation) messages.append({"role": "assistant", "content": result}) continue else: # If no tools/delegations we move to final answer break # 4. We return our final answer with any context gathered return await self.model.process_final_answer(messages) Seperti yang kita boleh lihat, setiap iterasi loop ini mungkin mengambil laluan yang berbeza. Logging tradisional (contohnya "permintaan bermula" ... "permintaan selesai") tidak memberitahu anda hampir apa-apa tentang apa yang sebenarnya berlaku. Dan sebaik sahaja kita mengambil ini ke dalam sistem terdistribusi ia menjadi lebih rumit untuk memahami apa yang sedang berlaku - seperti yang kita akan lihat dalam post ini. Dalam seksyen terakhir post ini, kami juga akan menunjukkan kepada anda bagaimana kami akan menginstrumen loop agentik ini secara khusus juga. Kami telah menggantikan ‘permintaan-tanggapan’ dengan ‘permintaan-panik- alat-panik-delegate-panik-tanggapan’. Kami telah menggantikan ‘permintaan-tanggapan’ dengan ‘permintaan-panik- alat-panik-delegate-panik-tanggapan’. Tiga Pilar Pengawasan Agen OpenTelemetry menyediakan tiga jenis data telemetri, masing-masing berkhidmat tujuan yang berbeza untuk sistem agentik. Traces Hierarki jejak memaparkan secara langsung kepada apa yang dilakukan oleh agen, menangkap dan menghubungkan setiap lompatan sepanjang perjalanan. HTTP POST /v1/chat/completions (15.2s total) -> agent.agentic_loop -> agent.step.1 (3.1s) -> model.inference (3.0s) -> agent.step.2 (8.5s) ->model.inference (2.1s) -> tool.web_search (6.3s) agent.step.3 (3.4s) -> model.inference (3.3s) Traces menjawab: "Apa laluan yang telah diambil permintaan ini melalui agen saya?" Traces menjawab: "Apa laluan yang telah diambil permintaan ini melalui agen saya?" Logs Secara tradisional dalam perisian, logging menyediakan pandangan dalaman kepada tingkah laku dan aliran aplikasi. Ini menyediakan cara untuk memahami apa yang berlaku sepanjang permintaan atau sesi tertentu, dan juga menangkap maklumat penting seperti pengecualian. Dalam OpenTelemetry, log juga ditangkap dengan jejak masing-masing supaya mereka boleh dihubungkan masing-masing. 2024-01-15 10:30:45 INFO [trace_id=abc123] Starting message processing 2024-01-15 10:30:47 DEBUG [trace_id=abc123] Model response: calling tool 'web_search' 2024-01-15 10:30:53 ERROR [trace_id=abc123] Tool execution failed: API rate limited Logs menjawab: "Apa yang agensi 'pikirkan' pada setiap langkah?" Jawapan: “Apa yang agensi ‘pikirkan’ pada setiap langkah?” Logs Metrics Metrik menyediakan KPI berasaskan masa yang granular yang berevolusi dari masa ke masa, dan boleh dikumpulkan dan dimasukkan ke dalam tetingkap untuk menceritakan cerita sejarah tertentu. <- Store number of tokens per request <- Store success / failure rate of requests <- Store latency for model calls Metrics menjawab: "Bagaimana sistem saya berfungsi secara keseluruhan?" Jawapan: “Bagaimana sistem saya berfungsi secara keseluruhan?” Metrics Bringing it all together The magic happens when these three are correlated (aka connected). Ini membolehkan kami untuk melakukan perkara-perkara seperti "klik pada log ERROR itu dalam backend pengesanan anda" dan mendiagnosis tempoh yang tepat dalam jejak di mana kegagalan berlaku. Penyebaran konteks pelbagai agen Apabila Agen A mengehadkan kepada Agen B, yang mengehadkan kepada Agen C, anda mahu satu jejak yang bersatu - bukan tiga yang tidak bersambung. Ini memerlukan . context propagation Ini melibatkan menyampaikan konteks jejak melalui tajuk HTTP menggunakan standard W3C konteks jejak. Hasilnya ialah jejak yang bersatu di seluruh agen - di sini adalah contoh yang menunjukkan bagaimana konteks jejak merentasi agen koordinator, agen penyelidik dan agen analis. coordinator.agent.agentic_loop (trace_id: abc123) -> coordinator.model.inference -> coordinator.delegate.researcher -> researcher.agent.agentic_loop (trace_id: abc123) -> researcher.model.inference -> researcher.tool.web_search -> coordinator.model.inference -> coordinator.delegate.analyst -> analyst.agent.agentic_loop (trace_id: abc123) -> analyst.model.inference -> analyst.tool.calculator Tanpa penyebaran konteks, debugging pelbagai agen hanyalah perkiraan yang didistribusikan. Tanpa penyebaran konteks, debugging pelbagai agen hanyalah perkiraan yang didistribusikan. Kes Penggunaan Praktis: Sistem Penyelidikan Multi-Agent Mari kita mula membina sesuatu yang konkret. Kami akan menggunakan , rangka kerja sumber terbuka untuk mengimplementasikan, mengurus dan meluaskan sistem multi-agent dalam Kubernetes. kekacauan (Sistem Orkestrasi Agen Kubernetes) kekacauan Sistem Multi-Agent untuk Pengawasan Kasus penggunaan kami terdiri daripada ejen penyelaras yang menyerahkan tugas penyelidikan dan analisis kepada sub-ejen pakar: Setiap komponen - agen, alat, dan API model - menghantar jejak, metrik, dan log ke pengumpul OpenTelemetry, yang menghantar segala-galanya ke backend pilihan anda untuk visualisasi dan analisis. Syarat: Perintah & Alat Sebelum kita mula, anda akan memerlukan: installed: KAOS CLI pip install kaos-cli==0.2.7 (Any provider like OpenAI, Nebius, etc) An LLM API key kubectl, helm dan cluster Kubernetes (KIND, minikube, atau cluster awan) Membina kekacauan Pertama, mari kita memasang operator KAOS dengan OpenTelemetry diaktifkan dan backend observability. kita akan menggunakan SigNoz sebagai pilihan open-source, OpenTelemetry-native. (Syarikat yang disyorkan): Using the KAOS CLI # Install the KAOS operator kaos system install \ --set logLevel=DEBUG \ --wait \ --monitoring-enabled # Enables monitoring setup (supports signoz and jaeger) # Verify the installation kaos system status # Change context to use (+create) this current namespace for convenience kaos system working-namespace kaos-hierarchy Sebaik sahaja ia berjalan, kami boleh mencipta sistem pelbagai agen kami menggunakan salah satu sampel yang disediakan dengan CLI. Anda juga boleh melihat ANNEX di hujung post blog untuk mengimplementasikan setiap komponen satu demi satu. kaos samples deploy \ 3-hierarchical-agents \ --provider openai \ --wait \ --api-secret # This will prompt your api-key secret Anda boleh melihat bendera penyedia yang menentukan backend, seperti nebius, gemini, bedrock dan 100s penyedia lain [KAOS docs], serta --api-secret anda yang akan diminta secara interaktif. Anda boleh melihat bendera pembekal -- yang menentukan backend, seperti nebius, gemini, bedrock dan 100s pembekal lain [ , serta --api-secret anda yang akan digalakkan secara interaktif. Kegagalan Dok] Sebaik sahaja anda memasang, anda akan membuka UI dengan perintah berikut. kaos ui --monitoring-enabled Ini membolehkan kita melihat sistem multi-agent yang digunakan: Meletakkan semuanya bersama-sama: memantau kekacauan Sekarang mari kita menjana trafik dan mula memantau KAOS. Berinteraksi dengan Agen Anda boleh berinteraksi dengan agen dalam beberapa cara: # Invoke the coordinator agent directly kaos agent invoke supervisor \ --message "Research the current AI chip market and calculate the market share of the top 3 companies." Mengaktifkan chat melalui antara muka pengguna: Di belakang adegan, ini memicu rantaian operasi yang kompleks: Pihak berkuasa menerima permintaan Pengawas memanggil LLM, yang memutuskan untuk menyerahkan Agen penyelidik dipanggil untuk penyelidikan pasaran (dan memanggil dua sub-agen penyelidik) Analyst agent calculates market shares (and calls two analyst sub-agents) Penasihat merangkumi jawapan akhir Semua ini ditangkap dalam jejak yang boleh diaudit: setiap panggilan LLM, setiap pelaksanaan alat, setiap delegasi. Viewing Traces: Understanding Request Flow : Unlike traditional request-response services, agents make multiple decisions per request. Traces let you see each decision point, how long it took, and what path the agent chose. Why traces matter for agentic systems Senarai jejak menunjukkan semua permintaan yang mengalir melalui agen anda. Setiap jejak mewakili interaksi pengguna yang lengkap. Klik pada jejak untuk melihat aliran permintaan penuh: Satu jejak yang menunjukkan koordinator yang mengehadkan kepada penyelidik dan agen analis, dengan setiap span mewakili operasi yang berbeza. Visualisasi jejak ini menjawab soalan-soalan yang sebaliknya memerlukan jam-jam log spelunking: Mengapa permintaan ini mengambil masa 15 saat? alat web_search mengambil masa 8 saat. Apa yang dimaksudkan dengan penyelidik? penyelidik. penyelidik. Berapa banyak panggilan LLM telah dibuat? 6 panggilan di antara tiga agen. Adakah sebarang alat gagal? Semua alat berjaya diselesaikan (jaringan hijau). Log Korelasi: Memahami Agen Penyelesaian Tracks memberitahu anda yang berlaku.logs memberitahu anda OpenTelemetry mengkorelasi mereka secara automatik melalui dan daripada atribut. apa kenapa trace_id span_id Setiap entri log termasuk pengenalan ini, membolehkan anda untuk: Click on a span in your trace View all logs emitted during that span Understand the agent’s reasoning at each step Ia adalah mungkin untuk melihat pandangan log itu sendiri serta butiran lanjut. Kemudian kita boleh menggerudi lebih dalam ke dalam entri log individu. Here for example we can view the log Tugas Jawatankuasa : ... » This shows us the entire prompt that was delegated, which is quite useful for diagnostics and debugging. Ini termasuk konteks log lengkap termasuk semua atribut, label sumber, dan mesej lengkap. Pengesanan pengecualian: Menemukan masalah pengeluaran In production, things fail. OpenTelemetry captures exceptions as first-class citizens, and attaches them to the span where they occurred. Kita boleh mencuba ini dengan meminta pengawas untuk menyerahkan kepada sub-agennya yang tidak wujud: # Invoke the coordinator agent directly kaos agent invoke supervisor \ --message "We are now testing valid exception functionality. Try to delegate to a non-existing agent to validate that it works correctly." Atau secara langsung melalui UI: Jika kita sekarang menavigasi ke tab Pengecualian, kita kini boleh melihat bahawa terdapat entri.Ini ialah pandangan senarai Pengecualian, di mana semua pengecualian untuk tempoh masa yang disenaraikan. Senarai ini menangkap kesilapan di seluruh sistem dan mengaitkan mereka juga dengan jejak permintaan masing-masing, dan log. We are also able to filter by different (agent) services, as well as other attributes. We can see clearly that the exception was due to an attempted incorrect delegation. And we can also visualise the error in the trace view. Metrics: Operational Overview While traces show individual requests, metrics show trends over time. Berikut ialah beberapa contoh metrik utama dalam sistem agentik: Metric What It Tells You kaos.requests Request volume by agent kaos.request.duration Latency distribution (P50, P95, P99) kaos.model.calls LLM API usage (cost indicator) kaos.tool.calls Tool execution frequency kaos.delegations Multi-agent coordination patterns kaos.requests Permintaan Volume oleh Agen kaos.request.duration Latency distribution (P50, P95, P99) kaos.model.calls LLM API usage (cost indicator) kaos.tool.calls Frekuensi Eksekusi Alat kaos.delegations Kaedah Koordinasi Multi-Agent These metrics enable alerting on production issues: Permintaan latency > 30s Error rate > 5% Model call failures > 1% Kita juga boleh memvisualisasikan: Under the Hood: How It Works Now that you’ve seen observability in action, let’s dive into how it’s implemented. The challenges here aren’t obvious until you start building—and the solutions are broadly applicable to any agentic system. The Architecture KAOS separates control plane (Go) from data plane (Python); inside the Python application we have a OpenTelemetry manager (KaosOtelManager) to provide utilities to simplify the workflows. Pandangan utama: konfigurasi telemetri mengalir dari Operator -> Data Plane -> OTEL Collector. Pengguna mengkonfigurasi telemetri sekali dalam values.yaml, dan operator menyebarkannya kepada semua komponen. The key insight: . Users configure telemetry once in , and the operator propagates it to all components. telemetry configuration flows from Operator -> Data Plane -> OTEL Collector values.yaml Menggunakan Logik Asas Apabila ia datang kepada sistem agentik, ia bukan sahaja tentang menginstrumen permintaan jawapan, tetapi ia juga tentang menangkap aliran melalui iterasi agen. Untuk memulakan, kami memastikan bahawa kami menangkap jangkauan keseluruhan di seluruh permintaan / tindak balas peringkat atas.Selepas itu, kami juga perlu mengendalikan komponen utama lain seperti Agentic Loop (contoh di bawah), serta panggilan tambahan seperti panggilan MCP, dan delegasi agen. # This is the same function pseudo-code that we showed initially but instrumented async def process_message(self, session_id: str, messages: List[Dict]) -> str: """Process message through agentic loop with full tracing.""" # Start root span for entire message processing span = otel.span_begin("agent.agentic_loop", SpanKind.INTERNAL) span.set_attribute("agent.name", self.name) span.set_attribute("session.id", session_id) span.set_attribute("agent.max_steps", self.max_steps) span_failure = False try: # Agentic loop logic (see below) except Exception as e: # If exception mark as failure span_failure = True otel.span_failure(span, e) raise finally: if not span_failure: otel.span_success(span, e) Instrumenting the Agentic Loop We can now use the same pattern in the agentic loop, where we can capture the iterations with the respective context. This will be important as we can also capture the correlated logs and metrics that are connected to this particular request. # Previous logic outlined above... for step in range(self.max_steps): # Span for each iteration step_span = otel.span_begin(f"agent.step.{step + 1}") step_span.set_attribute("step", step + 1) agent_span_failed = False try: # MCP Calls (with OTEL span)... # Delegation Calls (with OTEL span)... except Exception as e: otel.span_failure(step_span, e) agent_span_failed = True raise finally: if not agent_span_failed: otel.span_success(span) # Preview logic outlined above... Mempunyai rentang yang ditakrifkan di tempat adalah apa yang membolehkan kita untuk menjejaki permintaan melalui hops. Some useful patterns to note: : There is a parent span for the loop, child spans for each step, grandchild spans for operations, etc. Hierarchical spans Log sebelum penutupan span: Log dikeluarkan semasa konteks jejak aktif, yang membolehkan korelasi log : We are using explicit try/finally pattern to ensure spans are always closed, but we can also use context managers (i.e. clause) Explicit span management with Ini juga yang membolehkan kita kemudian memvisualisasikan pemecahan jejak permintaan dan rentang. Penyebaran Konteks untuk Sistem Multi-Agent Apabila mengehadkan kepada sub-agents (yang berjalan dalam pods berasingan), kita mesti menyebarkan konteks jejak: # Inject context into outgoing request from opentelemetry.propagate import inject async def delegate(self, target_agent: str, task: str) -> str: headers = {"Content-Type": "application/json"} # Inject current trace context into headers inject(headers) # Adds 'traceparent' and 'tracestate' headers async with httpx.AsyncClient() as client: response = await client.post( f"http://{target_agent}/v1/chat/completions", headers=headers, json={"messages": [{"role": "user", "content": task}]} ) return response.json()["choices"][0]["message"]["content"] Menyelamatkan konteks penyebaran Kita juga perlu memastikan bahawa konteks diterima dan dimasukkan. # Extract context from incoming request from opentelemetry.propagate import extract @app.post("/v1/chat/completions") async def chat(request: Request, body: ChatRequest): # Extract trace context from incoming headers context = extract(request.headers) # Attach to current context so new spans are children token = otel_context.attach(context) try: return await agent.process_message(body.messages) finally: otel_context.detach(token) Log eksport dan korelasi For log-trace correlation, we connect Python’s logging to OpenTelemetry. Jika anda telah menggunakan sesuatu seperti ELK stack sebelum ini, dengan OpenTelemetry kini anda mempunyai setup di mana log dipindahkan dan bukannya ditarik, menggunakan sambungan GRPC OTEL. Alat logging secara automatik menyuntikkan dan dalam rekod log apabila terdapat konteks span aktif. trace_id span_id Untuk menyediakan sambungan ini, anda boleh mengkonfigurasikannya dengan beberapa baris seperti yang dinyatakan di bawah. from opentelemetry.sdk._logs import LoggerProvider from opentelemetry.sdk._logs.export import BatchLogRecordProcessor from opentelemetry.exporter.otlp.proto.grpc._log_exporter import OTLPLogExporter from opentelemetry.instrumentation.logging import LoggingInstrumentor # Set up OTLP log export logger_provider = LoggerProvider(resource=resource) logger_provider.add_log_record_processor( BatchLogRecordProcessor(OTLPLogExporter(endpoint=endpoint)) ) # Attach handler to Python root logger handler = LoggingHandler(level=logging.DEBUG, logger_provider=logger_provider) logging.getLogger().addHandler(handler) Metrik untuk Operasi Agen Kami juga boleh menjejaki metrik menggunakan OpenTelemetry SDK. Jika anda telah menggunakan Prometheus di masa lalu, metrik dalam kes ini tidak dipaparkan melalui titik akhir yang akan dicari melalui pengumpul prometeus. alih-alih ini juga membolehkan seni bina push di mana ia dihantar ke pengumpul OTEL melalui sambungan GRPC OLTP ke pengumpul OTel. Apabila memilih metrik kami bertujuan untuk menjejaki metrik dengan label kardinaliti rendah untuk mengelakkan letupan kardinaliti, seperti yang dinyatakan dalam sampel di bawah. from opentelemetry import metrics meter = metrics.get_meter("kaos-agent") # Counters request_counter = meter.create_counter( "kaos.requests", description="Number of requests processed", unit="1" ) model_call_counter = meter.create_counter( "kaos.model.calls", description="Number of model inference calls", unit="1" ) # Histograms for latency request_duration = meter.create_histogram( "kaos.request.duration", description="Request processing duration in milliseconds", unit="ms" ) # Usage example request_counter.add(1, {"agent.name": self.name, "status": "success"}) request_duration.record(duration_ms, {"agent.name": self.name}) : Never use session IDs, user IDs, prompt content, or other unbounded values as metric labels. Put those in logs or trace attributes instead. Avoid high-cardinality labels Jangan gunakan ID sesi, ID pengguna, kandungan prompt, atau nilai-nilai lain yang tidak terhad sebagai label metrik. Avoid high-cardinality labels The Tip of The Iceberg This is a gentle introduction to observability in multi-agent systems, and provides a high level view of what are some of the main components involved. This should also provide you with enough intuition to instrument your agentic systems conscientiously, however you will need to identify which patterns work best in your particular contexts. Instrumenting sistem AI agensi dengan OpenTelemetry memerlukan pemahaman cabaran unik sistem ini hadir: Lurus iteratif memerlukan hierarki span yang memaparkan operasi logik Delegasi pelbagai agen memerlukan penyebaran konteks eksplisit menggunakan W3C Trace Context benefits from dedicated spans with clear naming Tool execution requires emitting logs before span close Log-trace correlation need low-cardinality labels to avoid storage explosions Metrics Pattern yang telah kami bahas terpakai kepada mana-mana sistem agentik, bukan sahaja KAOS. mula instrumen sekarang. Agen esok akan sama-sama meluas seperti microservices hari ini, dan OpenTelemetry memberi anda kelihatan untuk mengendalikannya dengan keyakinan. Agen esok akan sama-sama meluas seperti microservices hari ini, dan OpenTelemetry memberi anda kelihatan untuk mengendalikannya dengan keyakinan. sumber Kerangka kerja KAOS: github.com/axsaucedo/kaos - Kerangka kerja sumber terbuka yang digunakan dalam artikel ini Dokumen KAOS: axsaucedo.github.io/kaos - Dokumen CLI dan CRD penuh OpenTelemetry Python: opentelemetry.io/docs/languages/python - Dokumen SDK Python rasmi : - Emerging standards for AI observability OpenTelemetry GenAI Conventions github.com/open-telemetry/semantic-conventions : - Open-source APM with native OpenTelemetry support SigNoz signoz.io ANNEX: Creating the Multi-Agent System Manually In this section we create the agentic system components manually instead of using the utilities for the curious ones! Kami akan menunjukkan kepada anda bagaimana anda boleh melakukan ini dengan CLI tetapi anda juga boleh melakukan ini dengan UI serta dengan directly. kubectl Langkah 1: Kami pertama-tama menyambung kepada LLM dengan ModelAPI The sumber dalam KAOS menyediakan antara muka yang bersatu untuk akses LLM. Ia menyokong dua mod: ModelAPI Mod proxy: Mengarahkan permintaan melalui LiteLLM kepada pembekal luaran (OpenAI, Anthropic, Nebius, dan lain-lain) Mod Hosted: Menarik model ke dalam cluster anda (melalui side-car) dan menjalankan pada pelayan untuk kesimpulan ModelAPI boleh digunakan dengan mudah melalui CLI. Sila ambil perhatian bahawa bagi agensi kami untuk menggunakan API model, kami perlu menyediakan Kunci API pengesahan kami.Untuk contoh ini, kami akan menggunakan Nebius kerana ia mudah untuk menetapkan, tetapi anda juga boleh menetapkan OpenAI, Gemini dan selusin yang lain. Sila ambil perhatian bahawa bagi agensi kami untuk menggunakan API model, kami perlu menyediakan Kunci API pengesahan kami.Untuk contoh ini, kami akan menggunakan Nebius kerana ia mudah untuk menetapkan, tetapi anda juga boleh menetapkan OpenAI, Gemini dan selusin yang lain. kaos modelapi deploy llm-proxy \ --namespace kaos-hierarchy \ --provider nebius \ --api-key # When provided without value this prompts the key securely Dari perspektif kelihatan, ModelAPI memberi kita kelihatan dalam latensi panggilan model, penggunaan token, dan kadar kesilapan - metrik kritikal untuk memahami prestasi agen dan mengawal kos. Langkah 2: Memasang pelayan alat MCP dalam KAOS menyediakan alat yang boleh digunakan oleh agen. MCP (Model Context Protocol) Servers KAOS membolehkan FastMCP native server dengan keupayaan untuk mencipta dan menggunakan imej anda sendiri. KAOS also supports multiple native MCP runtimes via a registry. The most commonly used are: Runtime Description python-string Define tools as inline Python functions for testing kubernetes Kubernetes CRUD operations slack Slack messaging integration custom Your own container image python-string Menentukan alat sebagai fungsi Python dalam talian untuk ujian kubernetes Kubernetes CRUD operations slack Integrasi Mesej Slack custom Imej Kontena Anda Sendiri Untuk demo kami, kami akan mencipta pelayan kalkulator. dalam pengeluaran, anda akan menyambung kepada API sebenar, pangkalan data, atau perkhidmatan luaran. Nota: Dalam seksyen ini, kami menggunakan runtime string python untuk ujian cepat, tetapi untuk pengenalan bersedia pengeluaran menggunakan pengenalan imej tersuai. Nota: Dalam seksyen ini, kami menggunakan runtime string python untuk ujian cepat, tetapi untuk pengenalan bersedia pengeluaran menggunakan pengenalan imej tersuai. Pertama, kita mencipta mcp, which will have a simple tool that will add two numbers and return the result. calculator add export ADD_TOOL=' def add(a: float, b: float) -> float: """Add two numbers together.""" return a + b ' kaos mcp deploy calculator \ --runtime python-string \ --params $ADD_TOOL \ --wait Maka Kami ciptakan mcp, yang juga merupakan alat mudah yang menerima string dan mengembalikan nilai yang sama dengan string. echo export ECHO_TOOL=' def echo(message: str) -> str: """Echo back the message for testing.""" return f"Echo: {message}" ' kaos mcp deploy echo-search \ --runtime python-string \ --params $ECHO_TOOL \ --wait Dan kami boleh menghantar permintaan untuk menguji mcp. # Run 2 + 2 on mcp calculator kaos mcp invoke calculator \ --tool add \ -a 2 \ -a 2 # Run echo hello on mcp echo kaos mcp invoke echo-search \ --tool echo \ -a "Hello" Dari sudut observabiliti kami akan menunjukkan betapa pentingnya untuk memahami panggilan yang dihantar oleh mana-mana agen (atau mana-mana perkhidmatan luaran) dan diproses oleh pelayan MCP itu sendiri A. Agen Penyelidik yang Sumber dalam KAOS mewakili entiti AI yang boleh memproses permintaan, model panggilan, melaksanakan alat, dan menyerahkan kepada agen lain. Agent Mengekspos titik akhir /v1/chat/completions yang bersesuaian dengan OpenAI Mengimplementasikan laluan agentik (model > alat > model > ...) Menyokong memori yang boleh dikonfigurasi untuk keadaan sesi Agen Penyelidik akan mengkhususkan diri dalam mengumpul maklumat: kaos agent deploy researcher \ --model "openai/gpt-4o" \ --mcp echo-search \ --description "Research specialist" \ --instructions "You research topics and provide ." \ --expose=true \ --wait Untuk observabiliti agen tunggal, kami peduli tentang: Latens panggilan model: Berapa lama penilaian mengambil masa? Masa pelaksanaan alat: Adakah alat bertindak balas dengan cepat? : How many iterations does the agent need? Step count 3b. The Analyst Agent Agen Analis memberi tumpuan kepada analisis data dan pengiraan: kaos agent deploy analyst \ --model "openai/gpt-4o" \ --mcp calculator \ --description "Data analyst with calculation capabilities" \ --instructions "You analyze data and perform calculations." \ --expose=true \ --wait 3c - Agen Pengawas Akhirnya, Koordinator mengoreksi agen-agen lain. Untuk pengesan pelbagai agen, kita mendapat keprihatinan tambahan: Pattern delegasi: Agen apa yang dipanggil dan berapa kerap? Latens antara agen: Berapa banyak masa yang dihabiskan dalam delegasi berbanding pemprosesan tempatan? Korelasi jejak: Adakah kita boleh melihat aliran permintaan penuh di antara agen? kaos agent deploy subervisor \ --model "openai/gpt-4o" \ --description "Coordinator that delegates to specialist agents" \ --instructions "You are a coordinator. Analyze user requests and delegate to your analyst and researcher." \ --sub-agent researcher \ --sub-agent analyst \ --wait Dan kita telah selesai! Anda kini boleh kembali ke atas dan berjalan melalui laluan observabiliti dengan setup anda yang digunakan!