[ ICYMI 1-р хэсгийг уншина уу The Unscalable Data Platform ]

Өнөөдөр олон өгөгдлийн платформууд доороос дээш бүтээгдсэн бөгөөд "дараа нь хэрэг болж магадгүй" өгөгдлийг цуглуулж, хэрэгцээ гарахад аажмаар шийдлүүдийг нэгтгэдэг. Энэ арга нь хуваагдмал хэрэгжилт, зардал, техникийн өр төлбөрийг бий болгоход хүргэдэг. Өгөгдлийн системийн дизайн нь өгөгдлийн загварчлал, тархсан систем, аюулгүй байдал, нийцлийн талаар тусгай мэдлэг шаарддаг. Ихэнх компаниуд анхнаасаа өгөгдлийн дэд бүтцийн тусгай багийг төлж чадахгүй байгаа бөгөөд өсөхийн хэрээр мэдээллийн системээ барьж, дасан зохицох шаардлагатай болдог.

Гэсэн хэдий ч одоо байгаа системийг хөгжүүлэх зам нь нэлээд хэцүү байж болно. Багууд олон давхар системийг хадгалахын зэрэгцээ урт хугацааны шилжилт хөдөлгөөн эсвэл өндөр өртөгтэй системийг бүрэн таслах аль нэгийг сонгох хэрэгтэй болдог. 1997 онд Netscape-ийн хөтчийн хөдөлгүүрийг дахин бичихээр шийдсэн нь Internet Explorer-ийн хурдацтай хувилбаруудтай өрсөлдөх чадваргүй байсан тул тэдний хөтөчийн бизнес болон зах зээлд давамгайлах нь Internet Explorer-д нөлөөлсөн бөгөөд эцэст нь зах зээлд эзлэх хувь нь буурахад хүргэсэн. Олон компаниуд захиалгат шийдлүүдээс эхэлж, өсөх тусам үйлдвэрлэгчийн платформ руу шилждэг; Гэсэн хэдий ч компаниуд борлуулагчийн платформыг худалдан авах боломжтой хэмжээнд байсан ч тэдгээр нь ашиглалтын нөхцөлд тохирохгүй хэвээр байгаа бөгөөд дотоод хэрэглэгчид шинэ ажлын урсгалд дасан зохицох ёстой. Олон компаниуд цар хүрээгээ тэлэхийн хэрээр борлуулагчийн платформ дээр захиалгат шийдлүүдийг бүтээдэг. Дотоод дэд бүтцийн багууд одоо анхны системээ хадгалах, борлуулагчийн платформуудыг ажиллуулах, тэдгээр платформ дээр захиалгат хэрэгжүүлэлтийг дэмжихээс гадна өөр өөр хэрэгслээр хэрэглэгчдийг сургах, олон систем дэх аюулгүй байдал, интеграцчлалыг зохицуулах шаардлагатай байна. Бизнесийн цар хүрээний хувьд төлөвлөлт, органик ахиц дэвшил байхгүйгээс хямд шийдэл гэж эхэлсэн зүйл нь илүү их зардалтай, ажиллахад төвөгтэй болж байна.

Бизнесийн өсөлтийг нэмэгдүүлэх боломжтой мэдээллийн платформыг зохион бүтээх нь өнөөдөр өмнөхөөсөө илүү боломжтой болсон. Сүүлийн 10 жилийн хугацаанд олон байгууллага мэдээллийн хэрэглээний тодорхой хэв маягийг бий болгосон - бүтээгдэхүүний багт хэрэглэгчийн зан төлөвийн өгөгдөл, маркетингийн баг кампанит ажлын гүйцэтгэлийг хянах, санхүүгийн баг орлогын хэмжүүрийг хянах, аюулгүй байдлын баг аюул заналхийллийн хэв маягт дүн шинжилгээ хийх шаардлагатай байна. Эдгээр нийтлэг хэрэглээний тохиолдлууд нь тэдэнд ямар өгөгдөл хэрэгтэй, хэр хурдан хэрэгтэй вэ гэдгээрээ сайн батлагдсан. Өртөг ихтэй шилжилт хөдөлгөөн, борлуулагчийн шийдлүүдийг шинэчлэх замаар хэрэгцээг олж илрүүлэхийн оронд өртөг болон үйл ажиллагааны үр ашгийн хувьд тогтвортой өргөжин тэлэх өгөгдлийн платформыг бий болгох боломжтой.

Мэдээллийн платформыг зохион бүтээх

Үндсэндээ өгөгдлийн платформыг хоёр үндсэн бүрэлдэхүүнээр тодорхойлж болно: танд ямар өгөгдөл хэрэгтэй вэ (өгөгдлийн загвар) болон танд хэр хурдан хэрэгтэй вэ (хоцролтын шаардлага). Ашиглалтын тодорхой жишээтэй ч гэсэн эдгээр хоёр бүрэлдэхүүн хэсгийг ойлгох нь мэдээлэл цуглуулах механизм болон дэд бүтцийн хэрэгцээг системтэйгээр гаргаж авах боломжийг бидэнд олгодог.

Жишээлбэл, залилангийн эрсдэлийг илрүүлэх аргыг авч үзье. Ер нь залилангийн эрсдэл нь таних, гүйлгээ, хэргийн менежмент гэсэн гурван өгөгдлийн бүрэлдэхүүн хэсгийг шаарддаг.

Өгөгдлийн бүрэлдэхүүн хэсэг бүрийг хоцрогдлын хэрэгцээнд үндэслэн дэд бүтцэд буулгаж болно. Хувийн мэдээлэл, гүйлгээний баталгаажуулалт нь бодит цагийн луйврыг илрүүлэх урсгал боловсруулалт, мэдээллийн сангийн боловсруулалт нь байнгын хяналт, сэрэмжлүүлгийг зохицуулдаг, загварт дүн шинжилгээ хийх, загварын сургалт гэх мэт урт хугацааны ажлуудыг дэмжихийн тулд мэдээллийн нууруудыг шаарддаг.

Өгөгдлийн загварууд

Өгөгдлийн загвар нь өгөгдлийг хэрхэн зохион байгуулж, стандартчилах ёстойг тодорхойлдог. Энэ нь талбар бүрийн хэлбэр, төрөл, дүрмүүдийн багц болон тэдгээрийн шинж чанарыг тодорхойлдог. Схемүүд нь өгөгдлийг илрүүлэх боломжийг олгодог бол тус тусдаа салбаруудын тодорхойлолт нь засаглалын бодлого, дагаж мөрдөх шаардлагыг тодорхойлдог.

Нарийвчилсан өгөгдлийн загварууд нь байгууллагын хэмжээнд стандартчилсан өгөгдөл цуглуулах, боловсруулах боломжийг олгодог. Хэрэглэгчийн мэдээллийг жишээ болгон авч үзье - маркетинг нь кампанит ажлыг хянах, харилцагчийн үйлчилгээ үзүүлэх, зан үйлийн шинжилгээ хийх бүтээгдэхүүний баг, залилан илрүүлэх эрсдэлийн баг зэрэгт хэрэгтэй. Хуваалцсан хэрэглэгчийн өгөгдлийн загваргүйгээр баг бүр хэрэглэгчийн профайл болон хяналтын логикийн өөрийн гэсэн хувилбарыг бүтээдэг. Багууд систем хоорондын хэрэглэгчийн өгөгдлийг шийдвэрлэх, эвлэрүүлэхийн тулд нарийн төвөгтэй интеграцийг бий болгодог. Үнэний нэг эх сурвалж болох хуваалцсан өгөгдлийн загвар нь өгөгдөл цуглуулах, хэрэгжүүлэх ажлыг хөнгөвчлөхийн зэрэгцээ тогтвортой стандартууд нь аюулгүй байдал, нийцлийг удирдахад илүү хялбар болгодог.

Өгөгдлийн цогц загварыг тодорхойлох нь тухайн багуудад ихэвчлэн хэцүү байдаг тул тэд ихэвчлэн өөрсдийн хэрэгцээнд анхаарлаа хандуулдаг. Маркетингийн багууд кампанит ажилтай холбоотой талбарууд дээр төвлөрдөг бол эрсдэлийн багууд таних тэмдгийг баталгаажуулах шинж чанарууд дээр төвлөрдөг. Ижил өгөгдөл нь өөр өөр функцийг хэрхэн гүйцэтгэдэг талаар нэгдмэл ойлголтгүйгээр багууд ихэвчлэн бүрэн бус эсвэл нарийн төвлөрсөн өгөгдлийн загварыг бий болгодог бөгөөд энэ нь цаашдын боловсруулалт, системүүдийн хооронд интеграци шаарддаг.

Цагийн шаардлага

Цагийн шаардлага нь өгөгдлийг хэр хурдан боловсруулж, бэлэн болгох шаардлагатайг тодорхойлдог. Боловсруулах цонхнууд нь нэн даруй шийдвэр гаргахад зориулагдсан бодит цагийн (секунд), хянахад ойрхон бодит цагийн (минут), аналитик болон AI/ML програмуудад зориулсан багц боловсруулалт (цаг) хүртэл байдаг. Эдгээр цаг хугацааны шаардлагууд нь тодорхой дэд бүтцийн сонголтуудад зориулагдсан байдаг - бодит цагийн дамжуулалт, бодит цагийн мэдээллийн сан, багц боловсруулахад зориулсан мэдээллийн нуур.

Хүрээгүйгээр бүтээгдэхүүний багууд ихэвчлэн ижил төстэй хэрэгцээнд зориулж нэмэлт дэд бүтцийг бий болгодог - нэг баг нь Кафка-г ашиглаж байхад нөгөө баг нь MSK-г дамжуулж, нэг баг DynamoDB-г сонгож, нөгөө нь мэдээллийн санд Кассандра-г ашиглаж болно. Багууд давхардсан аюулгүй байдлын хяналт, интеграци бүхий олон системийг ажиллуулдаг тул энэ нь шаардлагагүй төвөгтэй байдлыг бий болгодог.

Дэд бүтцийн бүрэлдэхүүн хэсгүүдийг стандартчилснаар бүтээгдэхүүний багууд өөрсдийн дэд бүтцээ ашиглах шаардлагагүй болж, платформын багууд цөөн тооны системийг хадгалах замаар үйл ажиллагааны зардлыг бууруулж чадна. Энэхүү стандартчилал нь аюулгүй байдлын хяналтыг сайжруулах, интеграцийг хялбарчлах, ажиглалтыг хялбаршуулах, зардлыг оновчтой болгох боломжийг олгодог.

Ерөнхий мэдээллийн платформ

Өгөгдлийн платформын архитектурын хүрээ нь бидэнд өгөгдөл цуглуулах техникийн үзүүлэлтүүд, дэд бүтцийн шаардлага, аюулгүй байдлын хяналт, нэгтгэх чадварыг системтэйгээр гаргаж авах боломжийг олгодог. Энэ нь өнөөдөр олон байгууллагад тулгарч буй нарийн төвөгтэй байдал, зардлын эргэлтийг шууд шийдэж байна. Платформын багууд дэмжих гэж тэмцдэг тусдаа системүүдийг бий болгохын оронд тогтвортой тогтолцоо нь байгууллагын хэмжээнд аюулгүй байдал, дагаж мөрдөх, нэгтгэх, зардлын удирдлагыг хялбаршуулдаг.

Тогтвортой хэрэгжүүлэлтгүйгээр платформын багууд одоо байгаа системийг хадгалах, өндөр өртөгтэй шилжилт хөдөлгөөн хийх эсвэл шинэ функцуудыг бий болгох аль нэгийг сонгохыг байнга шаарддаг. Платформын багууд бизнесийн чухал чадавхийг хүргэхийн оронд ихэнх цагаа өөр өөр системүүдийг хадгалах, шилжилт хөдөлгөөнийг зохицуулахад зарцуулдаг. Хүрээнд тулгуурласан арга нь байгууллагуудад өгөгдлийн платформыг саадгүй шилжихгүйгээр өргөжүүлэх боломжийг олгодог. Жижиг байгууллагууд шаардлагатай бүрэлдэхүүн хэсгүүдээс эхэлж, өсч томрох тусам өргөжин тэлэх боломжтой бөгөөд томоохон байгууллагууд одоо байгаа системээ байнга дахин бичихгүйгээр нэг удаа стандартчилах боломжтой.

Дараа нь ирэх

"Нэгээс нэг өгөгдлийн платформ" цувралын 3-р хэсэгт бид энэ хүрээг практик түвшинд хэрхэн хэрэгжүүлэх талаар ярилцах болно. Аюулгүй байдал, нийцлийн хяналтыг тогтвортой хэрэгжүүлснээр бизнесийн янз бүрийн тохиолдлуудад дэмжлэг үзүүлэхийн тулд урсгал, мэдээллийн сан, өгөгдлийн агуулах, мэдээллийн нуур зэрэг өгөгдлийн платформын нийтлэг бүрэлдэхүүн хэсгүүдийг хэрхэн угсарч болохыг бид судлах болно. Байгууллага өсөхийн хэрээр энэхүү модульчлагдсан арга нь багуудад стандартчилсан интерфейс болон хяналтыг хадгалахын зэрэгцээ бие даасан бүрэлдэхүүн хэсгүүдийг бие даан масштаблах боломжийг олгож, байнгын шилжилт хөдөлгөөн хийх шаардлагагүй болгодог. Өгөгдлийн платформын архитектурын тодорхой бүтэцтэй бол байгууллагууд бизнесээ хязгаарлахын оронд өсөн нэмэгдэж буй өгөгдлийн програмуудыг бий болгож чадна.