VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Abstract: “Snowflake” şirkətinin CEO-nun dəyişməsi 2024-ci ilin baharında Snowflake, cloud data warehouse spatialında bir yıldız, liderliyi dəyişdirdi: Google'ın reklam biznesinin əvvəlki direktoru Sridhar Ramaswamy, Snowflake'in 60 milyard dollarlıq qiymətləndirilməsinə kömək edən efirli CEO Frank Slootman'a tabe oldu. Əgər bu, yalnız rutin bir direktorluq şaftı olduğunu düşünürsünüzsə, bütün görüntüyü görmürsünüz.Həqiqətən, bu, data warehouse dünyasının paradigması sessiz, lakin derin bir dəyişdirilməyə gedir. OLTP database-dən MPP data warehouses-a, yerləşdirilmiş MPP computing-dən vektorized cloud data engines-a, hər aşama bir sonraki yenilənmiş texnologiya - və bir dominant məhsuldan bir sonraki üçün bir atəş göstərir. OLTP database-dən MPP data warehouses-a, yerləşdirilmiş MPP computing-dən vektorized cloud data engines-a, hər aşama bir sonraki yenilənmiş texnologiya - və bir dominant məhsuldan bir sonraki üçün bir atəş göstərir. O, cloud-native, multi-tendering arkitekturalarına bahalaşdı və Snowflake'i yeni nesil data platformasının əsas hubu olaraq pozdu. “Snowflake”un resmi blogundakı əsas sözlər “AI-first, agent-driven, semantically-oriented data architecture” kimi dəyişdi. Bu rast gəlmədi, zamanın bir işarəsi idi. Bu rast gəlmədi, zamanın bir işarəsi idi. Bu yeni paradigmada, AI artıq yalnız bir model deyil – bu, hiss edə bilər, əməl edə bilər, hədəflər yaratmaq və işləyə bilər bir agentdir. Burada sorğu var: Artıq AI yalnız bir "chat alət" deyil, iş dəyişikliklərini hiss etmək, niyyətləri anlamak və əməlləri yerinə yetirmək mümkün olan smart agent olduğunda, insanlar üçün yaradılmış tradicional data depoları agentlərin ehtiyaclarını qadağan edə bilərmi? Artıq AI yalnız bir "chat alət" deyil, iş dəyişikliklərini hiss etmək, niyyətləri anlamak və əməlləri yerinə yetirmək mümkün olan smart agentdir. Agentlərin ehtiyaclarına cavab vermək olarmı? İnsanlar VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Gerçək təhlükə yalnız ortadan kaldırılmır – o ki, dünya artıq senaryoya çevirmiş ikən, siz hala eski kurallarla işlədiyinizdir. Gerçək təhlükə yalnız ortadan kaldırılmır – o ki, dünya artıq senaryoya çevirmiş ikən, siz hala eski kurallarla işlədiyinizdir. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 1970-2024: Data Warehouse Architekturlarının evrimləri 1970 - Data Warehousingın atası - Bill Inmon “Data Warehousing”in atası Bill Inmon, ilk olaraq “subject-oriented, integrated, time-variant, and non-volatile collection of data” olaraq bir EDW (Enterprise Data Warehouse) konsepti təqdim etmişdir. “Mənim şansım var idi ki, ilk kitabın çevirilməsinə iştirak etdim. Daha 20 il öncə Pekin Universitetində professor Tang Shiwei-nin tövsiyəsi altında çalışdığım vaxtda bu kitabın tema alanları, data layering arhitekturası və yavaş-yavaş ölçüləri (tərcümələr) son yüzyıldan bu günə qədər davam etdirilmişdir və data warehousing üçün əsas konseptidir. Data Warehouse qurulması 1983-cü ildə “Teradata is Born – MPP Architecture Takes the Stage” 1983-cü ildə Teradata qurulmuşdur – 30 il ərzində korporativ data warehouse infrastrukturunu dominantləşdirən şirkətdir. Bu da diplomasiyadan sonra ilk işim idi. Teradata ilk olaraq MPP (Massively Parallel Processing) arkitekturasını data sistemlərinə təqdim etmişdir. Qısa birləşdirilmiş yazılım və hardver və Bynet-ə dayanan MPP dizaynı ilə Teradata böyük verilər işləməsində və kompleks SQL sorğularında Oracle və DB2-dən daha yaxşı performans göstərdi. İlk dəfə Teradata istifadə etdiyim zaman, daha sonra geniş tablo sorğu üçün ClickHouse'u denirdikdəki kimi şaşırdım. Mən Teradata-ya daxil olduğumda, NCR-nin altında olan bir departament idi və vizit kartım belə görünmüşdü. . “My Alma Mater of Data Storage” – “Teradata” Çindən ayrılıb 1996: Kimball “Snowflake Schema”ni təqdim edir; OLAP motorları ortaya çıxır Bill Inmonun ardınca, Ralph Kimball “data mart” konseptini təqdim edib və “star schema” və “snowflake schema” ilə data modelinqini dəyişdirdi. BI kateqoriyasında Hyperion Essbase və Cognos kimi MOLAP motorları ortaya çıxmağa başladı. Xatırladaq ki, bir neçə il sonra “Snowflake” adını “Snowflake” adlandırıb. 2013-cü ildə “The Big Data Boom” – “Hadoop Takes the World by Storm” Apache Hadoop'un 2006-cı ildə yayımlanması ilə yanaşı, şirkətlər böyük data sistemlərini düşük depolama qiymətləri ilə geniş şəkildə qəbul etməyə başladılar. Viktor Mayer-Schönberger “Big Data” (Big Data) ilə “4Vs” adlandırıb: və və və . Big Data: Yaşadığımız, çalışdığımız və düşündüğümüz yolu dəyişdirəcək bir devrim Volume Velocity Variety Value Bu, böyük məlumat platformalarının yaradılmasının böyük dalğasının başlanğıcını göstərdi. Sonrakı 10 il ərzində, yeni nəsil böyük məlumat texnologiya ortaya çıxdı — Apache Hadoop, Hive, Spark, Kafka, DolphinScheduler, SeaTunnel, Iceberg və daha çox. Big data platformları tradisiya data warehouses dominantliyini sarsmağa başladı. Şübhəsiz ki, 2015-ci ildən sonra petabytə ölçekli data depolama ilə işləyən ən çox Çin şirkətləri artıq tradisiyaqi MPP data warehouses arkitekturalarını istifadə etməyib. 2015: “Snowflake” sahəyə çıxır, yeni “Data Stack” yüksəlir With the rise of the cloud and the release of Marcin Zukowski's paper on “vectorized” engines, Snowflake emerged with a cloud-native architecture that separated compute and storage, completely disrupting traditional data warehouse thinking. For the first time, BI engineers could enjoy elastic scaling “on demand” without worrying about cluster scheduling or resource allocation. “Snowflake” “data warehouse”u “data cloud”a çevirdi. “Data warehouse” texnologiya yığınlarının tamamilə yeni nəsilinin ortaya çıxmasına yol açdı. “Fivetran”, “Dagster”, “Airbyte”, “DBT” və “WhaleStudio” kimi alətlər buna görədir. Xatırladaq ki, əvvəlki nesil ETL və data inqilabı aletləri – Informatica, Talend, DataStage – 1980-ci illərdə yaranıb. Yeni Data Stack Belə ki, son on il ərzində, ya tradisional data warehouses, big data platformaları, cloud data warehouses, ya da data lakes olsun, onların arkitekturaları aşağıdaki diagramda göstərilən strukturu izləyiblər. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayıb. Bütün data warehouse tech stack insan istifadəçilər üçün dizayn edilmişdir. the “support” was always intended for humans. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. But in the era of large-model agents, all of this is about to change dramatically. “Traditional Data Warehouses” (Traditional Data Warehouses) – “Traditional Data Warehouses” (Traditional Data Warehouses) – “Traditional Data Warehouses” (Traditional Data Warehouses) 2022-ci ilin sonlarında OpenAI ChatGPT-i yayımlayıb, böyük dil modellərinin dövrünü başlattı. 2023-ci ildən başlayaraq, Llama, Claude, Gemini, GPT-4o, DeepSeek... multimodal modellər sürətlə dəyişib. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 2025-ci ilə qədər Agent arkitekturası tamamilə yüksəldi. AutoGPT, Function Calling və MCP protokolları kimi texnologiya və protokollar ortaya çıxmışdı. AI artıq yalnız bir chat vasitəsi deyil – artıq algılama, planlaşdırma və işləmə imkanlarına malikdir, “digital işçi” olur. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Gələcəkdə, daha çox agentlər ortaya çıxaracaq - yalnız veri analizində deyil, reklam kampaniyalarının optimizasiyasında, müştərilər xidmətində və risk idarəində də. Ultimately, AI will no longer be a “passive answering tool,” but an “intelligent agent proactively achieving goals.” Son 20 il ərzində “data platformalarının” istifadəçiləri tipik olaraq data mühitləri, analitiklər və BI profesyonellərdir. Sonrakı 20 il ərzində, every role—from analyst to supply chain operator—may be redefined by Agents: Marketers will have a Campaign Agent that automatically integrates multi-channel data, optimizes placements, and generates copy; Customer service reps will have a Support Agent that’s more than a chatbot—it will be a context-aware assistant with knowledge graphs and memory; The supply chain team will have a Procurement Agent that parses orders, tracks delivery timelines, fetches ERP data, and auto-replenishes inventory; Legal teams will have a Compliance Agent, HR will have a Hiring Agent, and even the board of directors could have a Board Agent… Hər gün yazdığınız SQL, kompüter etdiyiniz raportlar və iştirak etdiyiniz OPS toplantılar Agent-triggerli əməllər, semantik əməllər və avtomatik cavablar olur. Amma sürətli bir realitə var: Əgər vergilərin son istifadəçileri Agentlərdir və həqiqətən də Data Warehouse (Decision Support System, DSS) data warehouse arhitekturası hələ də anlamlıdırmı? Əgər vergilərin son istifadəçileri Agentlərdir və həqiqətən də Data Warehouse (Decision Support System, DSS) data warehouse arhitekturası hələ də anlamlıdırmı? Yazılım inqilabını öyrənən hər kəs bilir ki, bir sistemin dizaynında çəkdiyiniz ilk diagram “Use Case” diagramıdır – bu, sistemin istifadəçilərini, limitlərini və davranış sahələrini tanımlar. When the user of a data warehouse shifts from human to Agent, the DSS architecture envisioned by Bill Inmon no longer holds water. At least in my view, it doesn’t. When the user changes, the software must change too. Agentlərin yüksəlməsi yalnız böyük modellər üçün bir qələbə deyil – bu, istifadəçi deneyimini necə hiss etdiyimiz üçün tam bir çöküşdür: Traditional data systems operated in a “pull model”: the user knew the problem, queried the data, and extracted conclusions. Future Agents operate in a “push model”: the system proactively senses changes, understands intent, and generates decision suggestions. GPS-dən GPS-ə keçmək kimi bir şey var: Artıq “yolun nədən ibarət olduğunu” bilmək lazım deyil – yalnız sistemə nəyə yönəlmək istəyirsiniz və o sizi oraya gətirir. Artıq “yolun nədən ibarət olduğunu” bilmək lazım deyil – yalnız sistemə nəyə yönəlmək istəyirsiniz və o sizi oraya gətirir. Traditional data warehouses focus on structure and querying, whereas Agentic architectures prioritize semantics and responsiveness. Hesab edirəm ki, biznes dilini anlayan hər kəs data dünyasını idarə edəcək. Agentlik Data Stack və Kontekstual Data Unit (CDU): Build-in Semantics ilə Data Agentlər üçün data automatik şəkildə qurmaq və istifadə etmək üçün, bu günün data warehouse dizaynı düzgün deyil – bu, böyük modellər və ya agentlər üçün heç vaxt deyildi. İçində saxlanan “qırmızı” məlumatlar – ancaq numerik qiymətlər və sütun adları. Bu qiymətlər və ya alanlar nə deməkdir, tamamilə ayrı “data asset” yönetim sistemində saxlanır. Hər bir qiymət və ya alanın anlayılması tamamilə “data governance” proqnozuna ehtiyacı olur. Bu dizayn böyük modellərə və agentlərə, semantik dəlillərə təslim deyil. Mən bunu deyirəm: data and semantics together Kontekstual Data Unit (CDU): Data + semantik izahı birləşdirən iki elementli birim – hər bir data girişinin onunla anlamı var. Kontekstual Data Unit (CDU): Data + semantik izahı birləşdirən iki elementli birim – hər bir data girişinin onunla anlamı var. Bu, data kataloglarında istifadə olunan informasiyaları hər bir data girişinə doğrudan birləşdirir, agentlərin və ya böyük modellərin ona qulaq asdığında arxa müddətini və hatalar həcmini azaldır. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Bu vaxt, düşüncəmə anlamalısınız: Agent AI əsərində, ETL-dən data aplikasiyasına qədər hər şey dəyişəcəkdir. Bu smart agentlərə xidmət etmək üçün, tradisional data platformaları Agent adlandırılabilir, semantika bilinən, hadisəyə yönəldilmiş arhitekturaya dönüşmək lazımdır - biz bunu Agent adlandırırıq. . consumers are now Agents and models. Agentic Data Stack Agentlik Data Stack: Agent dövründə, “data + semantics” alətlərindən, CDU formatında məlumatları hesabatlayan və saxlayan platformalara və sonunda bu məlumatları Agentlərə göndərən interaksiya layerinə qədər olan yeni bir data tech stack. Agentlik Data Stack: Agent dövründə, “data + semantics” alətlərindən, CDU formatında məlumatları hesabatlayan və saxlayan platformalara və sonunda bu məlumatları Agentlərə göndərən interaksiya layerinə qədər olan yeni bir data tech stack. Burada Agent Data Stack nə içərisində ola bilər ki, mənim dəhşətli öngörüşüm var: This is no longer a BI/dashboard interface, but the “brain” and “command center” of the Agentic architecture. With natural language understanding and semantic reasoning capabilities, it bridges other agents with underlying data assets, enabling intelligent, multi-round interactions and service generation. Semantic Orchestrator (Interaction Layer): No longer a traditional Data Warehouse or Data Lake—it’s a service-oriented, computation-friendly fusion layer that stores data with semantics. It can supply data for complex computations by LLMs while also supporting real-time processing. Data Mesh (Storage Layer): Not just “moving data,” but understanding and orchestrating data. Not scheduled periodically, but event-driven and intent-driven. Capable of detecting data changes, analyzing schemas, understanding business logic, and responding accordingly. Data Flow Agent (Processing Layer): Yeni məlumatlar Data Flow Agents tərəfindən keşfedilir, Data Mesh-də əvvəlcədən depolanır və Semantic Orchestrator tərəfindən biznesə uyğun definisiyalarla təsvir edilir - sonunda iş istəyi ilə verilməsi ilə "sürətli hesablama" imkan verir. LLMs provide the brainpower. Agents are the hands and feet. Agentic Data Stack gives them the data accessibility needed in the era of large models. Agentlik Data Stack (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) (Agentlik Data Stack) ( Apache SeaTunnel şirkətinin liderliyi altında Apache SeaTunnel MCP Server-i yayımladı - artıq bir Data Flow Agent olmaq üçün gedir. Lakin LLM və Agent dövrünün gəlməsi, bir zamanlar SQL-in işıqlandırılması kimi, veri analitik endüstriyi dəyişəcək. Xatırladaq ki, bu, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir il Konkret: Günümüzdə yaşamaq, gələcəyini görmək Bu görüşü AICon, AWS Community Day və digər texnologiya sammitlərində paylaşdığım zaman, auditoriyam hər zaman iki sahəyə bölünmüşdü. “Believers”lər Agent Data Stack’in 5–10 il uzaq olduğunu söyləməyə çox konservativ olduğumu düşünürlər – onlar AI-nin 5 il ərzində tam formalaşdığını görəcəyik deyə oxuyacaqlarını güman edirlər. “Skeptiklər”lər AI Agentlərin veritabanı arkitekturasına olan etkisini çox təəccübləndirdiyini düşünürlər. Mən “Centrist” deyirəm. Bu AI dalğası, əvvəlki dalğalardan fundamentaldır. believe the emergence of the Agentic Data Stack is inevitable. We must look at the total cost and outcome of enterprise data warehouse construction and operations, not just storage or compute ROI alone. Hazırda trendlər görürük: real-time data warehouses, data lakes genişlənməsi və modern warehouse dizaynında layers azalma. (Həqiqətən, mən də deyərdim ki, bizim Teradata-çoxlu data modeling arkitektləri nəşr olunanda, marketdə sürətlə dəyişən iş logikası ilə qalmayan profesyonellər var). Belə ki, tradicional modeling özü iterasiya edir - real-time warehouses artıq 3-4 yerine 2 layer istifadə edir. Belə ki, transfer bir gecədə olmayacaq.ClickHouse-un Çinin de facto real-time OLAP motoru olmaq üçün 2016-cu ildən 2020-ci ilə qədər keçməmişəm – və bu, artıq mövcud olan bir məhsulla idi.Agent Data Stack, digər tərəfdən, yalnız bir neçə əvvəlki komponent və start-up içərisindədir. Bunların əksəriyyəti hələ də var deyil – 5 ildən az bir müddət ərzində marketdə dominant olmayacaq. Bu, data depolarının yandırılması deyil, ancaq struktur-and-query-centric modelinin semantik-and-response-centric arhitekturla yerləşdiriləcəyi kimi, bir dəfə GPS istifadə etdiyiniz kimi, kağız kartına qayıtmayacaqsınız. Bu, data depolarının yandırılması deyil, ancaq struktur-and-query-centric modelinin semantik-and-response-centric arhitekturla yerləşdiriləcəyi kimi, bir dəfə GPS istifadə etdiyiniz kimi, kağız kartına qayıtmayacaqsınız. The gates to the Agentic Data Stack are opening. Are you ready?
