Kami membina sistem AI yang salah. Tidak sedikit salah. secara asas, struktural, bencana yang salah. Mereka membungkusnya dalam skrip Python. Mereka memberi akses kepada pangkalan data, gateway API, dan log sokongan pelanggan. Mereka membuang tiga gigabyte dokumen ke dalam tetingkap konteks kerana "1 juta token" terdengar seperti penyimpanan yang tidak terhingga. Mereka memanggilnya ‘agent’. Pada kenyataannya, mereka telah membina Agen Tuhan. sebuah monolit, omniscient, blob tidak berbeza logik yang cuba untuk menjadi CEO, janitor, dan pentadbir pangkalan data pada masa yang sama. Dan ia gagal. Ia menghalusinasi. Ia menjadi bingung. Ia kos sebuah hartanah dalam penggunaan token. Latentiti melonjak sehingga pengalaman pengguna berasa seperti menunggu sambungan panggilan-up pada tahun 1999. Apabila ia pecah (dan ia sentiasa pecah) jurutera tidak boleh memulihkannya kerana logik tidak dalam kod. Ia dalam kabut probabilistik kejuruteraan segera dan pencemaran konteks. Saya telah menghabiskan tahun lepas memecahkan sistem ini. penyelesaian tidak lebih baik. ia bukan model yang lebih besar. penyelesaian ialah seni bina. Analisis teknikal penuh dengan kod dan benchmark Analisis teknikal penuh dengan kod dan benchmark Mengapa Kita Menghadapi 1 Juta Token Seperti Infinite RAM? Orthodoxy semasa dalam pembangunan AI digemari oleh "Mitos tetingkap konteks." Kami telah dijual kebohongan. Kebohongan adalah bahawa jika anda memberi model konteks yang mencukupi, ia boleh menyelesaikan apa-apa masalah. Pembekal menekan "konteks tidak terhingga" sebagai ciri utama. 128k. 1 juta. 2 juta token. Implikasi adalah menggoda. Jangan risau tentang seni bina. Jangan risau tentang kurasi data. Hanya letakkan semua di dalam. Model akan mengira. Ini telah membawa kepada kebangkitan paradigma Agen Tuhan. Dalam pandangan dunia ini, "Agent" ialah entiti yang unik. Ia memegang keseluruhan keadaan aplikasi. Ia mempunyai akses kepada setiap alat dalam perpustakaan. Apabila pengguna mengajukan soalan, Agent Allah menerima soalan itu, melihat konteksnya yang besar (yang mengandungi seluruh sejarah alam semesta), dan cuba untuk menyimpulkan jalan kepada jawapan. Ia kelihatan seperti impian sci-fi AI yang unik dan sedar. Tetapi dalam pengeluaran, ini merupakan mimpi buruk. Kami secara berkesan meminta pengembang junior untuk menghafal keseluruhan kod pangkalan, buku panduan syarikat, dan arkib undang-undang, dan kemudian meminta mereka untuk membetulkan bug CSS dalam 30 saat. Mereka tidak akan memperbaiki bug.Mereka akan mempunyai serangan panik. Mengapa Agen Saya Membayar $ 50 Untuk Katakan 'Saya Tidak Tahu'? Kekacauan dalam arsitektur God Agent boleh dilihat oleh sesiapa sahaja yang mendorong kod ke dalam pengeluaran. Semakin banyak maklumat yang anda berikan, semakin sedikit perhatian model memberi kepada bit kritikal. Ini bukan sekadar perasaan. Ia merupakan cacat arsitektur. Penyelidikan menunjukkan bahawa model berjuang untuk mendapatkan maklumat dari tengah konteks panjang. Dengan gagal untuk mengurus, kami secara aktif merosakkan prestasi. Kami mewujudkan sistem di mana "bunyi" dokumen yang tidak relevan mengalahkan "sinyal" niat tertentu pengguna. 1. Context Pollution (The Needle in the Haystack) Setiap token kos wang. Setiap token mengambil masa untuk memproses. Agen Allah yang membacakan semula konteks token 50k untuk setiap putaran perbualan membakar wang tunai.Ini adalah pengeluaran perakaunan.Kami menjalankan superkomputer untuk menjawab "ya" atau "tidak" kerana kami tidak risau untuk menapis input. 2. Latency and Cost Apabila Agen Tuhan gagal, mengapa ia gagal? Adakah ia petunjuk? Langkah pemulihan? output alat? Atau adakah ia hanya terganggu oleh sepotong teks yang tidak relevan dari halaman 405 dokumen? Anda tidak boleh menguji satu petunjuk yang mengubah tingkah laku berdasarkan sup variabel tetingkap konteks yang besar. 3. The Debugging Black Hole Seorang agen tunggal dengan akses kepada segala-galanya adalah mimpi buruk keselamatan. Jika suntikan segera berfungsi, penyerang mempunyai istana. Tiada bulkheads. Tiada "kepercayaan nol" kerana seni bina bergantung kepada kepercayaan maksimum dalam model probabilistik. 4. The Governance Void Adakah Penyelesaian Hanya Microservices (Kembali)? Ya. ia ialah Jalan ke hadapan ialah dan yang . Aggressive Context Curation Agentic Mesh Kita mesti menggantikannya dengan rangkaian agensi kecil, khusus, sangat terhad yang berkomunikasi melalui protokol standard. Dalam arsitektur mesh, tiada agen yang tahu segalanya. Agen Router tahu bagaimana untuk mengklasifikasikan niat. Agen Sokongan tahu dasar pengembalian. Agen koding tahu Python. SQL Agent tahu skim pangkalan data. Mereka tidak berkongsi tetingkap konteks. mereka berkongsi mesej. Ini adalah peralihan daripada monolith kepada microservices. Ia adalah satu-satunya cara untuk meluaskan kerumitan. Apabila Agen Sokongan berfungsi, ia tidak perlu mengetahui skim pangkalan data. Ia tidak memerlukan pustaka Python. Konteksnya adalah asli. Ia dikuruskan. Mari kita lihat perbezaan dalam struktur kod. The Old Way: The God Prompt (Panduan Lama) Itulah yang kebanyakan orang tulis hari ini.Ini adalah kekacauan. # GOD AGENT - ANTI-PATTERN # We dump everything into one system prompt. system_prompt = """ You are an omniscient AI assistant for Acme Corp. You have access to: 1. The User Database (Schema: users, orders, items...) 2. The Codebase (Python, React, TypeScript...) 3. The Company Handbook (HR policies, returns, holidays...) 4. The Marketing Style Guide Instructions: - If the user asks about SQL, write a query. - If the user asks for a refund, check the handbook policy then query the DB. - If the user asks for code, write Python. Current Context: {entire_rag_retrieval_dump} {last_50_messages} """ # Result: The model gets confused. # It tries to apply HR policies to SQL queries. # It hallucinates tables that don't exist. Python yang The New Way: Rangkaian Agentik Di sini, kami membahagikan logik. Router tidak melakukan kerja. # MESH ARCHITECTURE - PATTERN # Step 1: The Router Agent # Its only job is to classify and route. It has NO domain knowledge. router_prompt = """ You are a routing system. Analyze the user input and route to the correct agent. Available Agents: 1. billing_agent (Refunds, invoices, payments) 2. tech_support_agent (Python, SQL, Bug fixes) 3. general_chat_agent (Casual conversation) Output JSON only: {"target_agent": "name", "reasoning": "string"} """ # Step 2: The Specialist Agent (Billing) # This agent loads ONLY when called. # It has zero knowledge of Python or SQL. billing_agent_prompt = """ You are a Billing Specialist. You handle refunds and invoices. Tools available: [stripe_api, invoice_db] Context: {user_transaction_history_only} {refund_policy_summary} """ Python yang Lihatlah perbezaan itu? tidak boleh menghalusinasi sintaks SQL kerana ia tidak tahu apa SQL. alam semesta itu kecil. alam semesta kecil adalah tahan halusinasi. billing_agent Bagaimana Agen Bercakap Tanpa Halusinasi? Saya telah skeptis terhadap rangka kerja teknologi besar. Mereka biasanya menambah bloat. Tetapi Kit Pembangunan Agen Google (ADK) dan protokol Agen kepada Agen (A2A) adalah berbeza. Google telah menyedari bahawa jika kita mahu agen bekerja, mereka perlu bercakap dengan satu sama lain seperti perisian, bukan seperti chatbots. Protokol A2A Ini adalah pertukaran permainan. Protokol A2A adalah standard netral pembekal bagi agen untuk menemui dan bercakap dengan satu sama lain. Ia menggunakan "Agent Cards". Ini adalah fail metadata JSON standard yang menggambarkan apa yang boleh dilakukan oleh agen. Pikirkan ia seperti ini: { "agent_id": "billing_specialist_v1", "capabilities": ["process_refund", "check_invoice_status"], "input_schema": { "type": "object", "properties": { "transaction_id": {"type": "string"}, "user_intent": {"type": "string"} } }, "output_schema": { "type": "object", "properties": { "status": {"type": "string", "enum": ["success", "failed"]}, "refund_amount": {"type": "number"} } } } JSON Apabila Router Agent perlu memproses bayaran balik, ia tidak cuba untuk menghalusinasi panggilan API. , menggerakkan tangan melalui A2A, melepasi beban berguna terstruktur, dan menunggu tindak balas terstruktur. billing_specialist Ini adalah standardisasi.Ia membolehkan kita membina di mana agen dari pasukan yang berbeza, atau bahkan syarikat yang berbeza, boleh bekerjasama. Agentic Mesh Ini menyelesaikan masalah "pulau terpencil".Pada masa ini, seorang ejen OpenAI tidak boleh bercakap dengan ejen Vertex AI.Dengan A2A, mereka berkongsi protokol.Mereka berunding. Apa yang sebenarnya bermaksud Mengadopsi arsitektur mesh mengubah segala-galanya tentang bagaimana kita membina. Anda tidak boleh menangkap log mesh probabilistik. observabiliti tradisional (logs, metrik, jejak) tidak mencukupi. Kita perlu melihat bahawa Mengapa Router menyerahkan kepada Agen Pembayaran? Mengapa Agen Pembayaran menolak permintaan? Kami perlu menjejaki kos dan latensi setiap node dalam mesh. Jika anda tidak mempunyai ini, anda tidak membina sistem. 1. Observability is Mandatory Agentic Observability Rujukan Rantai Dalam model God Agent, keselamatan adalah switcher binari. dalam mesh, kita boleh memohon Agen Pembayaran tidak mempercayai Agen Router secara lalai.Ia mengesahkan beban berguna.Ia mengesahkan dasar.Ia membatasi radius letupan. 2. Zero Trust Security Zero Trust Kejuruteraan segera sebagai disiplin berasingan sedang mati. ia sedang digantikan oleh Prompt hanyalah konfigurasi fungsi.Pekerjaan sebenar terletak pada logik routing, definisi skema, dan strategi kurasi konteks. 3. The End of "Prompt Engineering" System Engineering Kita mesti menjadi editor yang tidak berpuas hati. Matlamatnya bukan untuk mengisi tetingkap konteks. Matlamatnya ialah untuk mengosongkannya. kita perlu mengompres. kita perlu merangkumi. kita hanya perlu menyuntikkan apa yang diperlukan untuk langkah segera seterusnya. Jika seorang agen ditugaskan untuk menulis SQL, ia memerlukan skim. ia memerlukan kenyataan misi syarikat. 4. Aggressive Context Curation Tidak (Dengar jelas, tetapi saya melihat ia diabaikan dalam 90% kodebase.) Read the full teknikal breakdown » Read the full teknikal breakdown » TL;DR untuk Scrollers God Agents gagal: Mengelakkan tetingkap konteks membawa kepada kebingungan, kos yang tinggi, dan mustahil untuk memulihkan. Pemisahan Keprihatinan: Membina agen khusus (Billing, SQL, Chat) yang melakukan satu perkara dengan baik. Penggunaan Protokol: Agen perlu berkomunikasi melalui
