출판사 : Keith Belanger 출판사 : Keith Belanger AI가 데이터 엔지니어링에 최초로 개입한 것은 틀림없었다.데이터 볼륨, 속도, 품질 및 통제에 대한 기대는 거의 밤새 상승하여 분석 데이터 시대를 위해 설계된 데이터 워크플로우에 엄청난 압박을 받았다. 두 번째 방해는 더 조용히 일어나고 있습니다.팀이 일할 때 기업 규모에서 AI는 DataOps 표준 및 제어의 자동화 집행에 점점 더 중요한 역할을하고 있습니다. AI-ready 데이터 제공 AI-ready 데이터 제공 스케일이 인간의 관심을 뛰어넘을 때 데이터의 신뢰성은 전통적으로 누군가가 무언가가 느껴지지 않는다는 것을 알게되었습니다 : 경고가 화재, 대시보드가 잘못 보이거나 아래 팀이 문제를 표시합니다. 이러한 접근법은 시스템이 작고 변화가 느리지만 성장에 직면하여 매우 취약하다는 것을 보았습니다.조직은 데이터 팀이 끊임없이 변화하는 시스템을 감독하고 즉각적으로 반응하고 일관되게 행동하도록 요청함에 따라 인간의 경계가 해결책이되고 책임이되기 시작합니다. 기업 규모에 도달하면 파이프라인이 한 번에 하나 더 실패하지 않습니다.작은 변화가 흔들리고, 의존성은 결합됩니다.누군가가 문제를 발견할 때, 영향은 종종 이미 퍼졌습니다. 이것이 바로 DataOps가 설계된 목적입니다 : 시스템과 프로세스에서 오는 확장 가능한 신뢰성, 개별 영웅주의가 아닙니다. 움직이기 Upstream 최초의 AI 모델이 등장한 이후, 데이터 팀은 파이프라인의 끝에서 AI를 데이터 소비자로 보았습니다. 고량, 고속, 고도로 통제 된 데이터에 대한 압력을 증가시키는 동일한 기술은 이제 그 데이터를 제공하는 시스템을 구축하고 운영하는 데 도움이 될 수 있습니다. AI는 몇 가지 다른 방법으로 데이터 운영을 지원할 수 있습니다. 그것은 파이프라인이 진화함에 따라 문서를 동기화하는 데 도움이 될 수 있습니다. 그것은 시스템이 과거에 어떻게 실패했는지 또는 드라이브했는지에 따라 테스트를 제안 할 수 있습니다. 그것은 인간이 놓칠 수 있거나 너무 늦게 알 수있는 불규칙성을 표면화 할 수 있습니다. 그리고 그것은 품질, 라인업 및 통제를 통한 준비 신호를 지속적으로 평가할 수 있습니다. 엔지니어를 대체하는 것이 아닙니다. 자동화의 모든 파도는 사람들이 그들의 일자리가 최적화 될 것이라고 두려워합니다. 에서 이 프레임링은 데이터 시스템에서 실제로 깨지는 것을 놓치고 있습니다.이 프레임링은 사람들이 표준을 수동으로 시행하고 모든 변화를 검증하고 모든 의존성을 기억할 수 있다고 가정합니다. 데이터 공학 데이터 공학 AI는 패턴을 스캔하고 일관성을 확인하며 규칙을 지속적으로 적용하는 것을 포함하여 사람들이 어려움을 겪고있는 근본적인 분석 작업을 수행하는 데 적합합니다. 조직이 처음에는 인간의 작업이 아니어야 할 작업을 자동화 할 때 데이터 전문가들은 데이터 제품을 설계하고, 거래를 균형 잡고, 시간이 지남에 따라 시스템을 개선할 수있는 독특한 능력을 얻을 수 있습니다. AI가 지배에 적합한 곳 AI 통제 대화는 모델이 배포된 후에 일어나는 일에 집중하는 경향이 있지만, 일반적으로 실패는 AI가 나쁜 데이터를 공급하는 데이터 시스템에서 상류로 시작됩니다. AI-assisted DataOps는 문제를 더 일찍 감지하고 나쁜 데이터가 먼저 생산에 도달하는 것을 막을 수 있습니다. 특정 질문은 항상 데이터 전달의 게이트웨이 역할을해야합니다 : 
 
 
 
 이 변화는 배포되어야 하는가? 데이터 제품이 과거의 행동과 비교하여 돌이킬 수 있습니까? 이 파이프라인은 여전히 정책 및 품질 기대에 부응합니까? 인간은 AI 규모에서 이러한 질문에 지속적으로 대답할 수는 없지만 AI는 할 수 있습니다.AI를 통해 팀은 주기적인 검토 또는 후기 감사에 의존하는 것을 멈추고 체계화하기 시작할 수 있습니다. . Governance 체크 Governance 체크 실용적인 AI-Augmented DataOps 모델 AI-augmented DataOps 모델은 완전히 자율적인 시스템처럼 보이지 않습니다. 운영 모델에 포함되어 있습니다. 엘리베이터 지원 엘리베이터 지원 인간은 의도, 기준 및 수용 가능한 위험을 정의합니다.자동화는 일관성과 반복성을 강요합니다.AI는 분석, 권장 사항 및 조기 경고를 추가하여 팀이 문제를 더 빨리 볼 수 있고 문제에 대해 더 명확하게 설명 할 수 있도록 도와줍니다. AI는 맹점을 줄이면서 신뢰를 향상시켜 책임감을 유지합니다. AI가 데이터 작업을 실행하는 데 참여하면 몇 가지 변화가 발생합니다.When AI participates in running data operations, a few shifts occur: 
 
 
 
 
 문제는 해결하기에 더 저렴할 때 더 일찍 잡힌다. 리뷰는 기계적 검사가 아닌 의도와 영향에 더 집중합니다. 문서화는 현실에 더 가까워진다. 팀은 반응하는 데 더 적은 시간을 보내고 개선하는 데 더 많은 시간을 보냅니다. 목표는 변화와 수요가 가속화되면서도 예측 가능한 AI-ready 데이터를 속도로 제공하는 데이터 시스템입니다. 데이터 엔지니어링에서 AI의 역할을 다시 생각하십시오. 데이터 엔지니어링의 미래는 데이터 운영이 AI 준비를 얼마나 신뢰할 수 있는지에 의해 정의될 것입니다. 이는 AI를 데이터 수명주기에 걸쳐 규율, 일관성 및 신뢰를 강요하는 참여자로 취급하는 것을 의미합니다. 데이터 제품 데이터 제품 이 순간은 AI를 downstream AI 소비자 이상으로 인식할 것을 요구합니다.It should be brought into the fold as a partner in the operational work that makes data AI-ready in the first place. 이제는 규율을 강요하고 표면 위험을 더 일찍 감당할 수 있는 파트너로서 AI를 데이터 운영에 도입할 때입니다.It is time to bring AI into data operations as a partner that can enforce discipline, surface risk earlier, and keep systems reliable at scale.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Tour The Product

Take A Hands-On Lab

Get 500 monthly minutes Free

Training Academy

Read The Docs

Join The Community

이 오디오는 이야기의 원래 언어로 제작되었습니다!

AI는 DataOps 내부에 속하며 파이프라인 끝에만 있지 않습니다.

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

State of the Noonion: Building, Selling and Storytelling @ HackerNoon

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

바다 항해: 데이터 레이크를 사용하여 프로덕션 등급 RAG 애플리케이션 개발

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

State of the Noonion: Building, Selling and Storytelling @ HackerNoon

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

바다 항해: 데이터 레이크를 사용하여 프로덕션 등급 RAG 애플리케이션 개발

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps