AI가 데이터 과학에 무엇을 할 것인가

저는 최근 사이버 보안을 위한 데이터 과학 활용에 대한 수업을 진행했는데, 패킷 캡처 데이터 분석에 초점을 맞췄습니다. 패킷 캡처 데이터는 다소 기술적이고 전통적으로 지루한 주제입니다. 제가 공유한 접근 방식은 금융 기관 내 사이버 보안 분야에서의 제 경험에서 비롯되었으며, 탐색적 데이터 분석, 로그 데이터 전처리 및 변환, 클러스터링과 그래프 네트워크 분석을 결합하여 이상 징후를 식별하는 것과 같은 핵심 단계를 다룹니다.

놀라운 점 하나는 이 세션을 준비하는 데 들인 시간이었습니다. 보통 투자하는 시간의 일부에 불과했습니다. AI는 프로세스를 간소화하는 데 중요한 역할을 했습니다. 클로드를 사용하여 코딩, 개요 개발, 심지어 슬라이드 만들기까지 도왔습니다. 전체적으로 전체 과정이 48시간 이내에 준비되었습니다.

세션은 흥미진진했습니다. 참가자들은 주로 코딩을 하지 않는 CISO로, AI의 도움으로 만들어진 연습이 직관적이고 실용적이라고 생각했습니다. 제 목표는 그들이 데이터와 코드를 직접 다루는 데 몰두하도록 하는 것이었습니다. 그들은 특히 현대 사이버 위협 감시 및 SIEM 플랫폼이 일반적으로 자동화하는 것을 수동으로 탐색하여 "후드 아래"에서 발생하는 프로세스에 대한 통찰력을 얻을 수 있는 기회를 높이 평가했습니다.

수업에서 제가 얻은 핵심 요점은 놀랍게도 반직관적이었습니다. 우리가 아는 데이터 과학은 결국 AI로 대체될 것입니다 . 이런 관점은 성급하거나 시대를 앞서가는 것처럼 보일 수 있지만, 논의할 가치가 있는 관점입니다.

경고: 이 중 일부는 사람들에게 불안감을 줄 수 있습니다.

섹시함은 짐이다

10년 이상 데이터 과학은 "21세기의 가장 섹시한 직업"으로 칭송받아 왔습니다. 그러나 AI가 급속히 발전함에 따라 이 분야의 근본적인 과제를 간과하기 어렵다는 것이 분명해지고 있습니다. 강력한 생성 AI의 출현은 회고해보면 처음에 인정했던 것보다 더 느슨하게 정의되고 과대평가되었을 수 있는 학문 분야의 전환점이 될 수 있습니다.

본질적으로 데이터 과학은 컴퓨터 과학, 통계학, 비즈니스 통찰력을 결합하여 조직에 방대한 양의 데이터에서 실행 가능한 통찰력을 제공할 수 있는 약속을 제공합니다. 이 기술 세트는 오늘날의 데이터 중심 세계에서 부인할 수 없이 귀중합니다. 그러나 세련된 이미지 아래에는 이 분야가 심각한 문제에 직면해 있습니다. 종종 데이터 과학이라고 불리는 것은 항상 깔끔하게 정렬되지 않는 느슨하게 관련된 작업의 패치워크로 밝혀지며, 이 분야의 많은 전문가는 이 분야가 요구하는 전체 폭과 복잡성에 어려움을 겪습니다.

데이터 분석, 모델링, 통찰력 생성을 처리할 수 있는 AI 기반 도구의 등장은 데이터 과학 자체의 역할과 미래를 보는 방식에 변화를 가져올 수 있습니다. AI가 데이터 과학 내의 많은 기본 작업을 계속해서 단순화하고 자동화함에 따라, 이 분야는 지능형 자동화 시대에 데이터 과학자가 되는 것이 진정으로 무엇을 의미하는지에 대한 판단에 직면할 수 있습니다.

균열

많은 데이터 과학자는 정교한 코딩 기술과 디지털 도구를 사용함에도 불구하고 놀랍게도 수동적이고 오류가 발생하기 쉬운 작업에 참여합니다. 데이터 준비, 정리 및 분석에는 반복적이고 기계적인 지루하고 시간이 많이 걸리는 작업이 포함됩니다. 사실, 상당량의 데이터 과학 노동이 데이터 세트를 준비하는 데 사용됩니다. 이 작업은 종종 흥미진진하고 발견을 주도하는 과학이라고 주장하는 것보다 지루한 일처럼 느껴집니다. 이 문제는 이 분야에 진출하는 많은 사람이 기껏해야 아마추어라는 사실로 인해 더욱 복잡해집니다. Python이나 R에 대한 몇 가지 온라인 과정을 수강한 이러한 "데이터 과학자"는 종종 그 역할의 엄격함에 대비되지 않습니다 . 데이터 과학은 단순히 코딩이 아닙니다. 심층 분석, 맥락적 이해 및 비기술적 대상에게 통찰력을 제시하는 능력이 필요합니다. 사실, 그것은 더 많은 연구 작업이며, 이 분야의 많은 사람이 단순히 가지고 있지 않은 창의성과 분석적 사고의 조합이 필요합니다.

게다가 많은 데이터 과학자들은 자격 의식을 키워서 직함 때문에 높은 급여와 수익성 있는 패키지를 기대합니다 . 이런 태도는 특히 비용 효율성이 가장 중요한 분야에서 기업을 꺼리게 합니다. 저는 한때 데이터 과학자를 고용하기 위해 서두르다가 지금은 재고하고 있는 회사를 만났습니다. AI가 더 빠르고 더 잘, 그리고 훨씬 적은 비용으로 데이터 정리를 할 수 있는데, 대부분의 시간을 데이터 정리에 쏟는 사람에게 왜 높은 급여를 지불해야 합니까?

AI는 누구?

제가 개인적으로 수업을 쓰면서 경험했듯이, Generative AI는 데이터 과학이 가장 약한 분야에서 강력한 힘으로 진화했습니다. 데이터 준비, 정리, 심지어 기본적인 정성적 분석과 같은 작업(데이터 과학자의 많은 시간을 소모하는 활동)은 이제 AI 시스템에 의해 쉽게 자동화 됩니다. 더 나쁜 점(또는 더 나은 점, 입장에 따라 다름)은 AI가 더 빠르고, 더 정확하며, 인간의 실수나 피로에 덜 취약하다는 것입니다.

많은 데이터 과학자에게 이는 무섭게 느껴질 수 있습니다. 결국, 이러한 작업은 그들의 일상 업무의 대부분을 차지하기 때문입니다. 예를 들어, 데이터 정리는 악명 높게 시간이 많이 걸리고 실수하기 쉽지만, AI는 이제 몇 번의 클릭과 거의 완벽한 정밀도로 이를 수행할 수 있습니다. 데이터 과학자는 종종 이러한 지루한 작업에 대해 불평하지만, 이는 그들의 역할에 필수적입니다. AI 시스템이 개선됨에 따라 인간이 이러한 작업을 수행할 필요성은 줄어듭니다. AI에 대한 많은 비난이 데이터 과학자 자신에게서 나온다는 것은 놀라운 일이 아닙니다. 그들은 벽에 적힌 글씨와 자신의 직업에 대한 두려움을 봅니다.

사소함

데이터 과학자들에게 상황을 더 나쁘게 만드는 것은 이 분야가 최근 몇 년 동안 상당한 진전을 이루지 못했다는 것입니다. 인기가 급상승했음에도 불구하고 데이터 과학은 여전히 비효율성, 오류, 그리고 정확히 무엇을 수반해야 하는지에 대한 명확성 부족 으로 어려움을 겪고 있습니다. 한때 더 정교한 도구와 더 나은 교육이 이 분야를 발전시킬 것이라고 믿었지만, 예상한 만큼 실현되지 않았습니다. 반면 AI는 꾸준히 개선되었습니다. 머신 러닝 알고리즘, 자연어 처리, 생성 모델이 빠르게 진화하면서 기존 데이터 과학은 먼지 속에 묻혔습니다.

다시 말해, 데이터 과학자에 대한 높은 급여 기대치가 문제를 더욱 복잡하게 만듭니다 . 한때 비효율성을 용인했을지도 모르는 회사들이 이제 AI가 인간 노동에 붙은 막대한 가격표 없이도 많은 지루한 작업을 대체할 수 있다는 것을 깨닫고 있습니다. AI가 분석, 예측, 심지어 프레젠테이션과 같은 주요 작업을 수행하는 데 더 능숙해짐에 따라 데이터 과학의 수동적 특성은 점점 더 중복되고 있습니다. 많은 회사가 이전에 데이터 과학자 팀이 필요했던 일을 이제는 AI 기반 도구로 더 효율적으로 처리할 수 있다는 것을 깨닫게 될 것입니다.

변화

현실은 전통적으로 정의된 데이터 과학이 쓸모없어질 위기에 처해 있다는 것입니다. 생성적 AI가 놀라운 속도로 발전함에 따라 현재 형태의 인간 데이터 과학자에 대한 수요는 감소할 가능성이 큽니다. 이는 인간이 데이터 기반 의사 결정에서 역할이 없다는 것을 의미하지는 않지만, 고전적인 "데이터 과학자" 역할은 곧 과거의 개념이 될 수 있습니다. 지금 필요한 것은 AI와 협력하고, 전략적 사고와 더 높은 수준의 복잡한 문제 해결에 집중하면서 AI의 역량을 활용하는 데 능숙한 전문가입니다.

AI는 분석, 통찰력 또는 의사 결정의 종말이 아니라 진화를 나타냅니다 . 현재의 데이터 과학 분야는 발전하지 않으면 쓸모없게 될 위험이 있습니다. AI는 이미 산업을 혁신하고 있으며, 데이터 과학은 적응해야 하며 그렇지 않으면 이 물결에 밀려날 위험이 있습니다. 궁극적으로 문제는 AI가 데이터 과학을 없앨지 여부가 아니라 데이터 과학이 약속을 완전히 지켰는지 여부일 수 있습니다.

아니면 우리가 마침내 "데이터 과학"이라는 과장된 광고를 넘어 AI를 다음의 논리적 진보로 받아들인다면 그 구별은 더 이상 의미가 없을지도 모릅니다.

저에 대한 소개: 데이터, AI, 위험 관리, 전략 및 교육을 결합한 25년 이상의 IT 베테랑입니다. 4회 해커톤 우승자이며 데이터 옹호자로부터 사회적 영향을 받았습니다. 현재 필리핀에서 AI 인력을 활성화하기 위해 노력하고 있습니다. 저에 대한 자세한 내용은 여기에서 확인하세요: https://docligot.com