วิธีการขับเคลื่อน AI, Analytics และ Microservices โดยใช้ข้อมูลเดียวกัน

โดย Adam Bellemare เทคโนโลยีหลักที่ Confluent การปรากฏตัวของอัจฉริยะอัจฉริยะที่สร้างขึ้นได้ค้นพบคําถามที่ได้รับการพิจารณาเป็นเวลานาน: วิธีที่คุณจะได้รับระบบและบริการของคุณข้อมูลที่พวกเขาต้องการที่จะทํางานของพวกเขา? ในขณะที่มักจะถามสําหรับไมโครบริการและประชากรข้อมูลทะเลสาบอัจฉริยะที่สร้างขึ้นได้กระโดดทางไปด้านหน้าของรายการนี้ บทความนี้จะสํารวจวิธีการที่ความต้องการข้อมูลของอัจฉริยะอัจฉริยะที่สร้างขึ้นเป็นการขยายตัวของปัญหาอายุการใช้งานของข้อมูลและวิธีการที่ไหลของข้อมูลสามารถให้คําตอบที่ขาดหายไป ปัญหาสําคัญในการเข้าถึงข้อมูลคือบริการที่สร้างบันทึกต้นฉบับของข้อมูลไม่จําเป็นต้องเหมาะสําหรับการโฮสต์การเข้าถึง ad-hoc ไปยังข้อมูลนี้ บริการของคุณอาจมีความสามารถในการปฏิบัติหน้าที่ทางธุรกิจที่แท้จริง แต่ไม่สามารถให้บริการข้อมูลเหล่านั้นให้กับลูกค้าในอนาคต แม้ว่าคุณจะสามารถเปิดเผยข้อมูลโดยใช้อินเตอร์เฟซ แต่บริการอาจไม่สามารถจัดการกับปริมาณการสอบถามหรือประเภทของการสอบถามที่คาดหวังได้ นักวิเคราะห์ข้อมูลได้สัมผัสกับปัญหานี้หลายทศวรรษที่ผ่านมาซึ่งระบบบันทึกเดิม ( ) ไม่สามารถให้พลังงานและประสิทธิภาพที่จําเป็นสําหรับกรณีการใช้งานการวิเคราะห์ วิศวกรข้อมูลจะสกัดข้อมูลจากระบบบันทึกเดิมและโหลดลงใน ในขณะที่เครื่องมือและเทคโนโลยีได้เปลี่ยนแปลงในช่วงหลายทศวรรษแล้วจุดมุ่งหมายยังคงเหมือนกัน: การคัดลอกข้อมูลจากพื้นที่ปฏิบัติการไปยังพื้นที่วิเคราะห์ ฐานข้อมูล OLTP ฐานข้อมูล OLAP รูปภาพ 1 : งาน Extract-Transform-Load (ETL) ง่ายที่คัดลอกข้อมูลจากโดเมนการดําเนินงานไปยังโดเมนการวิเคราะห์ รูปภาพ 1 Microservices มีปัญหาเดียวกัน วิธีที่พวกเขาได้รับข้อมูลที่พวกเขาต้องการ? ตัวเลือกหนึ่งที่พบบ่อยคือการสอบถามโดยตรงไปยังระบบบันทึกเดิมผ่านทาง HTTP, SOAP หรือ RPC ตัวอย่างเช่น เช่นเดียวกับกรณีของนักวิเคราะห์ข้อมูลข้อ จํากัด เหล่านี้ใช้เพราะบริการไม่สามารถจัดการกับรูปแบบการเข้าถึงความต้องการความล่าช้าและโหลดที่วางไว้บนมันโดยบริการอื่น ๆ ที่ขึ้นอยู่ การอัปเดตระบบเพื่อจัดการกับความต้องการใหม่อาจไม่สมเหตุสมผลด้วยความซับซ้อนทรัพยากร จํากัด และความต้องการที่แข่งขัน ภาพที่ 2: บริการอื่น ๆ จะต้องการข้อมูลเพื่อแก้ปัญหาการใช้งานทางธุรกิจของตนเองซึ่งจะนําไปสู่การเชื่อมต่อจุดกับจุด ภาพที่ 2: ขั้นตอนสําคัญของเรื่องนี้คือ ข้อกําหนดการเปิดขีดข่วนนี้ทําให้สิ่งต่างๆซับซ้อนเนื่องจากบริการต้องทํางานได้ดีเพื่อตอบสนองความรับผิดชอบทางธุรกิจโดยตรงและยังต้องสนับสนุนรูปแบบการเข้าถึงข้อมูลนอกเหนือจากกรณีการใช้งานทางธุรกิจโดยตรง the services that create the data must also provide access to it for external systems แอพพลิเคชันที่สร้างข้อมูลยังเป็นผู้รับผิดชอบในการตอบสนองคําถามข้อมูลตามคําขอของบริการอื่น ๆ ทั้งหมด Fig 3: โซลูชั่นในการให้การเข้าถึงข้อมูลไปยังบริการระบบและ AI คือ เป็นผู้รับผิดชอบเพียงสําหรับการไหลเวียนและการกระจายข้อมูลทั่วองค์กร นี่คือที่ เข้าร่วม (บางครั้งยังเรียกว่า ) dedicated data communications layer data streaming event streaming ในระยะสั้นบริการของคุณเผยแพร่ข้อมูลธุรกิจที่สําคัญไปยังกระแสข้อมูลที่ยืดหยุ่นและสามารถเล่นซ้ําได้ บริการอื่น ๆ ที่ต้องการข้อมูลนี้สามารถสมัครใช้งานกระแสข้อมูลที่เกี่ยวข้องใช้ข้อมูลและตอบสนองต่อมันตามความต้องการทางธุรกิจของพวกเขา ชั้นการสื่อสารข้อมูลที่เฉพาะเจาะจงที่ให้โดยการไหลของข้อมูลช่วยให้การแลกเปลี่ยนข้อมูลในองค์กรของคุณง่ายขึ้น Fig 4: สตรีมมิ่งข้อมูลช่วยให้คุณสามารถใช้บริการที่มีขนาดใดก็ได้ (ไมโครหรือมาโคร) ปั๊มทะเลสาบข้อมูลและจุดปลายทางวิเคราะห์อื่น ๆ และใช้แอปพลิเคชันและบริการ AI ในธุรกิจของคุณ บริการไม่จําเป็นต้องเขียนข้อมูลทั้งหมดของพวกเขาลงในกระแสข้อมูลเท่านั้นซึ่งมีประโยชน์สําหรับผู้อื่น สถานที่ที่ดีในการเริ่มต้นคือการตรวจสอบคําขอที่บริการจัดการเช่นคําขอ GET เนื่องจากพวกเขาแสดงให้เห็นถึงประเภทของข้อมูลที่ต้องการโดยทั่วไปจากผู้อื่น นอกจากนี้ยังพูดคุยกับเพื่อนร่วมงานของคุณเนื่องจากพวกเขามีความคิดที่ดีเกี่ยวกับประเภทของข้อมูลที่บริการของพวกเขาจําเป็นต้องทําหน้าที่ บริการอื่น ๆ อ่านข้อมูลจากกระแสข้อมูลและตอบสนองต่อมันโดยการอัปเดตร้านค้าของรัฐของตัวเองใช้กลยุทธ์ทางธุรกิจของตัวเองและสร้างผลลัพธ์ที่พวกเขาอาจเผยแพร่ในกระแสข้อมูลของตัวเอง มีสามการเปลี่ยนแปลงที่สําคัญสําหรับผู้บริโภค: พวกเขาไม่ต้องการข้อมูล ad-hoc จากบริการผู้ผลิตอีกต่อไป - แทนที่พวกเขาจะได้รับข้อมูลทั้งหมดของพวกเขาผ่านการไหลของข้อมูลรวมถึงข้อมูลใหม่ข้อมูลที่ถูกลบและการเปลี่ยนแปลงที่เกิดขึ้นกับข้อมูล เนื่องจากพวกเขาไม่ต้องการข้อมูลตามความต้องการอีกต่อไป พวกเขาต้องรักษาสําเนาของสถานะที่พวกเขามุ่งเน้นภายในคลังข้อมูลของตนเอง (หมายเหตุ: พวกเขาไม่จําเป็นต้องเก็บข้อมูลทั้งหมดเท่านั้นฟิลด์ที่พวกเขาสนใจ) ผู้บริโภคกลายเป็นผู้รับผิดชอบเพียงอย่างเดียวสําหรับการวัดประสิทธิภาพของตัวเองในขณะที่ข้อมูลที่มีอยู่ในกระแสข้อมูล มันไม่ได้ขึ้นอยู่กับผู้ผลิตในการจัดการภาระหรือปฏิบัติตาม SLA ของมัน การสตรีมข้อมูลมีประโยชน์อย่างมีนัยสําคัญสําหรับไมโครบริการ AI และวิเคราะห์ ทําให้ข้อมูลสามารถใช้ได้กับระบบกระบวนการหรือบริการใด ๆ ที่ต้องการข้อมูลที่เขียนลงในสตรีมสามารถใช้ได้อย่างแพร่หลายในองค์กรของคุณ บริการผู้ผลิตจะเขียนข้อมูลครั้งเดียวและผู้บริโภคสามารถอ่านข้อมูลได้บ่อยเท่าที่ต้องการ โปรดทราบว่าการจัดเก็บดิสก์และคลาวด์ราคาถูกช่วยให้คุณสามารถเก็บข้อมูลในสตรีมได้นานเท่าที่คุณต้องการ (รวมถึงการเก็บรักษาที่ไม่มีที่สิ้นสุด!) ทําให้ง่ายขึ้นความสัมพันธ์ระหว่างผู้ผลิตและผู้บริโภค ผู้ผลิตไม่รับผิดชอบในการให้บริการรูปแบบการสอบถามของผู้ที่ขึ้นอยู่กับข้อมูลของตน ผู้บริโภคไม่ขึ้นอยู่กับประสิทธิภาพการคํานวณและการจัดเก็บของผู้ผลิตเพื่อตอบสนองความต้องการทางธุรกิจของคุณ คุณลดจํานวนการเชื่อมต่อจุดไปยังจุดในธุรกิจของคุณอย่างมีนัยสําคัญแทนที่จะพึ่งพาการผลิตชุดข้อมูลที่สามารถนํามาใช้ซ้ําได้และอัปเดตด้วยตนเอง การยกเลิกการเชื่อมต่อ: บริการผู้บริโภคสามารถยอมรับการหยุดทํางานของผู้ผลิตโดยไม่ต้องลดค่าบริการอย่างมีนัยสําคัญแม้ว่าการอัปเดตของข้อมูลจะไม่ได้รับการอัปเดตและในที่สุดจะหยุดทํางาน นอกจากนี้คุณยังสามารถแก้ไขและแลกเปลี่ยนผู้ผลิตโดยไม่ส่งผลกระทบต่อผู้บริโภคที่มีอยู่เนื่องจากพวกเขายังคงเชื่อมต่อเฉพาะบนกระแสเหตุการณ์ ระบบปฏิบัติการพลังงาน (OLTP-based) : กระแสข้อมูลช่วยให้คุณสามารถสร้างบริการ (ไมโคร) ที่เกิดเหตุซึ่งทั้งใช้ข้อมูลและเขียนข้อมูลของตัวเองไปยังกระแสข้อมูล คุณสามารถใช้ข้อมูลที่มีอยู่ได้อย่างง่ายดาย พลังงานการวิเคราะห์แบบเรียลไทม์และชุด: Analytics สามารถใช้สตรีมข้อมูลเดียวกันสําหรับการวิเคราะห์แบบเรียลไทม์หรือเป็นแหล่งที่มาสําหรับการสร้างตาราง Iceberg หรือ Delta สําหรับการวิเคราะห์แบบชุด แหล่งกําเนิดพลังงานอัจฉริยะและตัวแทนอัจฉริยะอัจฉริยะ: กระแสเดียวกันสามารถสร้างอัจฉริยะอัจฉริยะอัจฉริยะได้ แหล่งกําเนิดข้อมูลช่วยให้การค้นหาความล่าช้าต่ํา generated generation (RAG) และ context building เพื่อให้คําถามอัจฉริยะอัจฉริยะของคุณมีข้อมูลที่เกี่ยวข้องและทันสมัยที่สุด นอกจากนี้ฟิลด์ที่เกิดขึ้นของตัวแทนอัจฉริยะอัจฉริยะยังได้รับประโยชน์จากรูปแบบการสื่อสารตามเหตุการณ์เดียวกันที่ให้บริการไมโครเซิร์ฟเวอร์ที่ขับเคลื่อนโดยเหตุการณ์ แก้ไขข้อมูลที่ไม่ดีครั้งเดียวแพร่กระจายทุกที่: คุณสามารถแก้ไขข้อมูลที่ไม่ดีที่แหล่งที่มาและแพร่กระจายผ่านการไหลของข้อมูลไปยังผู้บริโภคในภายหลังทั้งหมด ในขณะที่มีบางความแตกต่างเกี่ยวกับการจัดการข้อมูลที่ไม่ดีในเหตุการณ์มีหลายวิธีเพื่อป้องกันไม่ให้ข้อมูลที่ไม่ดีเข้ามาและแก้ไขถ้าเกิดขึ้น คุณยังสามารถใช้การเชื่อมต่อการร้องขอ / การตอบสนองแบบจุดต่อจุด ไม่ใช่ข้อเสนอทั้งหมดหรือไม่มีอะไร คุณสามารถย้ายบริการและโหลดงานบางอย่างให้เข้าสู่การสตรีมมิ่งข้อมูลในขณะที่ผู้อื่นจะพึ่งพาสถาปัตยกรรมการตอบสนองการร้องขอที่มีอยู่ กระแสข้อมูลช่วยให้คุณสามารถขับเคลื่อนการดําเนินงานการวิเคราะห์และ AI จากแหล่งข้อมูลเดียวกัน เป็นชั้นการสื่อสารข้อมูลช่วยให้เพื่อนร่วมงานและบริการของพวกเขาสามารถค้นหาและใช้ข้อมูลที่พวกเขาต้องการสําหรับกรณีการใช้ธุรกิจของพวกเขาได้ง่าย หนึ่งในข้อได้เปรียบที่สําคัญที่สุดคือข้อได้เปรียบเชิงกลยุทธ์ นี่เป็นข้อได้เปรียบที่ยากกว่าที่จะคํานวณ แต่มันเป็นข้อได้เปรียบที่สําคัญที่สุด โดยการลงทุนในชั้นการสตรีมมิ่งข้อมูลคุณจะเปิดโอกาสมากมายเพื่อให้ข้อมูลของคุณทํางานได้ Apache Kafka ซึ่งเป็นตัวเลือกที่นิยมสําหรับสตรีมมิ่งข้อมูลมีตัวเชื่อมต่อที่หลากหลายสําหรับการบูรณาการกับระบบและบริการทุกประเภท คุณไม่ จํากัด เท่านั้นในการใช้ AI ที่บูรณาการเข้ากับข้อเสนอแวดล้อมการสตรีมมิ่งข้อมูลของคุณหรือที่เชื่อมโยงกับผู้ให้บริการระบบคลาวด์ที่จัดเก็บข้อมูลการวิเคราะห์ทั้งหมดของคุณ แทนที่คุณสามารถทดลองแบบจําลองจากทุกประเภทของผู้ให้บริการได้ตามที่พวกเขากําลังใช้ได้ซึ่งจะทําให้คุณมีข้อได้เปรียบในการใช้เครื่องมือล่าสุด การคิดเกี่ยวกับข้อมูลวิธีการเข้าถึงและวิธีการได้รับข้อมูลไปยังสถานที่ที่มันควรอยู่เสมอเป็นความท้าทายโดยเฉพาะอย่างยิ่งสําหรับความแยกแยะการดําเนินงาน / การวิเคราะห์ แต่การปรากฏตัวของ GenAI ได้ทําให้มันสําคัญยิ่งขึ้นเพิ่มน้ําหนักและความสําคัญมากขึ้นในการแก้ปัญหาเก่าแก่นี้ ในหัวใจของมันเป็นหลักการที่เรียบง่าย - ให้บริการทางธุรกิจของคุณมุ่งเน้นไปที่กรณีการใช้ธุรกิจของพวกเขาและปล่อยให้ชั้นการสื่อสารข้อมูลให้ข้อมูลแก่ทุกคนที่ต้องการผ่านการสตรีมข้อมูลความล่าช้าต่ํา และจากชุดเดียวของสตรีมข้อมูลที่คุณจะสามารถขับเคลื่อนกรณีการใช้การดําเนินงานการวิเคราะห์และ AI ของคุณ