عندما بدأت مهنتي في البيانات، كان الجميع علماء البيانات.في الوقت الذي بدأنا فيه، بدأنا في التمييز - هل أنت بناء خطوط البيانات، أو هل كنت تركز على بناء وتدريب النماذج؟ هل كنت شخصًا على وظيفة البريد الإلكتروني أثناء إغلاق، أو هل كنت فقط على اتصال عندما كان الوقت للتوضيح إلى المجلس التنفيذي؟ سأطلب منا جميعًا اختيار الجانب: هل أنت عالم البيانات، أم أنت في الواقع مهندس البيانات؟ هل كنت مهندس بيانات أو مهندس تحليلات؟ هل تركزت على الحفاظ على وتحديث أنابيب البيانات، أو هل عمل أنابيب هو مجرد وسيلة لتحقيق أهداف - أهداف تؤدي إلى لوحة التحليل التجاري؟ ونحن نقول لنا أننا بحاجة إلى تحسين دورنا إلى حد ما. نحن نتطلع إلى التمويل والإنتاج والجودة والجودة البيانات؟ إذا كان الأمر كذلك، شكراً لكم - أنت الآن مهندس DataOps. ولكن هل لم يكن ذلك دائمًا هدفًا؟ إن توفير قيمة الأعمال من خلال البيانات كان دائمًا جوهر عملنا. إن التمويل ليس مفهومًا جديدًا، بل كان دائمًا قلبًا وقلبًا من الهندسة البيولوجية. هل يكون DataOps Engineering عنوانًا سوف يجمعنا جميعًا في نهاية المطاف؟ لذلك، إذا كانت جميعنا مهتمين في DataOps الآن، فإن السؤال الحقيقي هو - كيف أصبحنا جيدًا في ذلك؟ ما هو DataOps؟ يهدف DataOps إلى التعامل مع البيانات كمنتج نهائي ومثالي الذي هو.البيانات تدفع جميع الابتكارات في الأعمال التجارية، من الذكاء الاصطناعي إلى التحكم، و DataOps في النهاية يبحث عن مركز البيانات أمام ومركز حيث يتعلق الأمر بشكل صحيح. يتم ذلك من خلال تطبيق مبادئ الهندسة البرمجية على تطوير البيانات وإرسالها وإدارةها، على سبيل المثال، من خلال الاستفادة من اختبار الأداء التلقائي وإدارة البنية التحتية مثل الكود (IaC)، يمكن للأفراد تحسين عمليات البيانات لمزيد من التكلفة لتلبية متطلبات الأعمال مع الحد الأدنى من التوقعات. One Possible Bottleneck: المخزون الذي يغرق إن تخزين هو الأساس الذي يتم بناءه على كل شيء آخر. إنه الوقود الذي يغذيه محركك، والمواد الخام التي تتعامل مع خطوط البيانات الخاصة بك.إذا لم يتمكن حلول تخزينك من التعايش مع متطلبات محركك، فإنك ستشعر بالخسائر في الأداء. نحن نستثمر بشكل كبير في محركات تحليل متقدمة وتستغرق ساعات لتعديل كودنا، ولكننا ننسى في بعض الأحيان طبقة الامتصاص عند النظر في الأداء. DataOps لتعزيز مبادرات البيانات الخاصة بك يمكن DataOps أن تفعل أكثر من مجرد قيادة حياتك؛ ويمكنك أيضًا تسرع خطط AI الخاصة بك: يتم تخزين الأشياء السريعة، مع طول الحجم العالي والخسارة المنخفضة، إلى حد كبير تسرع استهلاك البيانات من مصادر مختلفة (مصادر البيانات، منصات الاتصال المباشر، أجهزة IoT). Faster Data Movement: تخزين الأشياء هو الخيار الأفضل لإنشاء مراكز تخزين البيانات، على عكس أنظمة تخزين الأشياء التقليدية، تتيح للهيئات تخزين كميات هائلة من البيانات الهيكلية وغير الهيكلية دون التأثير على الأداء. ، و و جنبا إلى جنب مع محركات الحواسيب القوية، توفر تصميم Lakehouse القدرات الأساسية مثل تطور النماذج، السفر في الوقت، والعملات ACID. Best Choice for Data Lakehouses:  Apache جزر الجليد بحيرة الدلتا هود من خلال تقليل وقت نقل البيانات، تتيح تخزين الأشياء السريعة عملية معالجة البيانات أسرع.هذا أمر حاسم بالنسبة إلى كمية عمل الذكاء الاصطناعي التي تتضمن تدريب متكرر ومكافحة النماذج، حيث تتراوح كل ثانية تخزينها إلى نتائج أسرع وأسرع دورة تطوير النماذج. Reduced Processing Time: تتيح حلول تخزين الأشياء المتوسطة تتيح لمجموعات الذكاء الاصطناعي التعامل مع كميات متزايدة من البيانات دون التهديد بالقدرة على التكيف مع الأداء، مما يضمن أن خطوط البيانات لا تزال فعالة مع تزايد الطلبات على البيانات. Enhanced Scalability: تحسين السرعة والقدرة على الأداء كيف يمكنك التأكد من تحسين البنية التحتية لتخزينك للسرعة والفعالية؟ وهنا بعض الاستراتيجيات الرئيسية: لا يتم إنشاء جميع حلول تخزين متساوية. فقط تخزين الأشياء ذات الأداء العالي سيكون قادرا على تلبية متطلبات إنتاجها من قبل الذكاء الاصطناعي وغيرها من حركات العمل المرتبطة بالبيانات. في حين أن معظم تخزين الأشياء يطالبون بتكثيف ومرونة، إلا أن قليلا من الأشخاص لديهم الأداء اللازم للحفاظ على تدفق أدوات البيانات الخاصة بك بسهولة. Choosing the Right Storage Solution: تطبيقات DataOps مثل البيانات يمكن أن تساعدك على تحديد البيانات غير نشطة وتخزينها.هذا يحرز مساحة تخزين قيمة لبياناتك الساخنة، البيانات التي تحتاجها محرك تحليلاتك إلى الوصول إلى أكثر من مرة.مثل المستوى التالي من الإدارة، يمكنك استكشاف الوظائف المتقدمة مثل هذا يمكن أن يساعد في تحسين كل من النتائج والخسائر. Leveraging Data Lifecycle Management: إدارة دورة الحياة التايمز إدارة دورة الحياة التايمز مراقبة أداء تخزينك باستمرار وتحديد أي عطلات.من خلال التعامل المبتكر مع مشاكل تخزينك، يمكنك التأكد من أن طائرات البيانات الخاصة بك تعمل بشكل مباشر وأجهزة التحليل الخاصة بك تتحرك على جميع الكيلوجرامات. Monitoring and Optimization: اختيار الذكي من خلال اختيار البنية التحتية للقدرة على التكيف مع التكلفة العالية، ستعزز خطوط البيانات الخاصة بك وتقديم المعلومات التي تحتاجها عند الحاجة إليها. تذكر أن استراتيجية DataOps التي يتم تنفيذها بشكل جيد هي عن طريق إزالة الإزعاج والتكيف مع السرعة. ويبدأ هذا الطريق نحو النجاح من خلال اختيار الحلول المناسبة للتخزين للعمل. تم تصميمها لمساعدة المهندسين على التحكم في تخزين بياناتهم. يمكنك طلب المزيد من المعلومات حول هذه البرامج . التدريب و شهادة هنا التدريب و شهادة هنا اتصل بنا مع أي أسئلة في أو على قناة Slack مرحبا @min.io مرحبا @min.io

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Developers do. Download MinIO and see for yourself. 

MinIO

تم إنتاج هذا الصوت باللغة الأصلية للقصة!

لماذا تصبح DataOps عمل الجميع - وكيفية التميز في ذلك

About Author

تعليقات

شنق العلامات

تم تقديم هذه المقالة في

Related Stories

30 Top Blockchain Development Companies in 2019

How can AR, IoT, Blockchain and Chatbots redefine Customer Experience

Anomaly Detection of Time Series Data using Machine Learning & Deep Learning

Aria Coin Achieves 3000% Growth, Pioneering a Galactic-Themed Crypto Ecosystem

30 Top Blockchain Development Companies in 2019

How can AR, IoT, Blockchain and Chatbots redefine Customer Experience

Anomaly Detection of Time Series Data using Machine Learning & Deep Learning

Aria Coin Achieves 3000% Growth, Pioneering a Galactic-Themed Crypto Ecosystem

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps