Що ШІ зробить з Data Science

Нещодавно я провів урок із використання науки про дані для кібербезпеки, зосередившись на аналізі даних захоплення пакетів — дещо технічна та традиційно суха тема. Підхід, яким я поділився, ґрунтувався на моєму досвіді кібербезпеки у фінансових установах і охоплював такі основні етапи, як пошуковий аналіз даних, попередня обробка та перетворення даних журналу, а також виявлення аномалій за допомогою поєднання кластеризації та аналізу мережевих графів.

Одним з несподіваних аспектів був час, який я витратив на підготовку до цієї сесії — незначна частка того, що я зазвичай інвестував. ШІ зіграв значну роль у оптимізації процесу. Я використовував Клода, щоб допомогти з кодуванням, розробкою плану та навіть створенням слайдів. Загалом весь курс був готовий протягом 48 годин.

Заняття вийшло захоплюючим. Учасники, насамперед CISO, які зазвичай не кодують, визнали вправи, створені за допомогою ШІ, інтуїтивно зрозумілими та практичними. Моєю метою було занурити їх у роботу безпосередньо з даними та кодом. Вони особливо оцінили можливість вручну дослідити, що сучасні системи спостереження за кіберзагрозами та платформи SIEM зазвичай автоматизують, отримуючи уявлення про процеси, що відбуваються «під капотом».

Мій ключовий висновок із уроку був напрочуд суперечливим: науку про дані, як ми її знаємо, з часом буде замінено ШІ . Ця точка зору може здатися передчасною або, можливо, випередила свій час, але це перспектива, яка заслуговує на обговорення.

Попередження: дещо з цього може спонукати людей.

Сексуальність - це багаж

Понад десять років науку про дані вважали «найсексуальнішою професією 21 століття». Однак у міру того, як штучний інтелект стрімко розвивається, стає зрозуміло, що проблеми, що лежать в основі цієї галузі, важче не помітити. Поява потужного генеративного штучного інтелекту цілком може стати переломним моментом для дисципліни, яка, ретроспективно, може бути більш вільною та розкрученою, ніж визнавалося спочатку.

За своєю суттю наука про дані поєднує в собі інформатику, статистику та ділову хватку, пропонуючи організаціям обіцянку ефективних ідей на основі величезних обсягів даних. Цей набір навичок, безсумнівно, цінний у сучасному світі, що керується даними. Однак під своїм відшліфованим іміджем ця сфера стикається з серйозними проблемами. Те, що часто називають наукою про дані, часто виявляється мозаїкою слабо пов’язаних завдань, які не завжди чітко узгоджуються, і багато професіоналів у цій галузі стикаються з повною широтою та складністю, яких вимагає ця дисципліна.

Розвиток інструментів на базі штучного інтелекту, здатних обробляти аналіз даних, моделювання та генерацію розуміння, може спричинити зміну нашого погляду на роль і майбутнє самої науки про дані. Оскільки штучний інтелект продовжує спрощувати та автоматизувати багато фундаментальних завдань у галузі обробки даних, галузь може зіткнутися з розрахою щодо того, що насправді означає бути науковцем із обробки даних в епоху інтелектуальної автоматизації.

Тріщини

Багато дослідників даних, незважаючи на володіння складними навичками кодування та цифровими інструментами, беруть участь у роботі, яка напрочуд ручна та схильна до помилок . Підготовка, очищення та аналіз даних включають в себе виснажливі, трудомісткі завдання, які повторюються та є механічними. Насправді значна кількість наукової праці йде на підготовку наборів даних — завдання, яке часто більше схоже на нудну роботу, ніж на захоплюючу, орієнтовану на відкриття науку, якою вона виглядає. Ця проблема ускладнюється тим фактом, що багато тих, хто виходить на поле, є в кращому випадку аматорами. Пройшовши кілька онлайн-курсів з Python або R, ці «науковці даних» часто не готові до суворої ролі . Наука про дані – це не просто кодування. Це включає в себе глибокий аналіз, розуміння контексту та здатність представити ідеї нетехнічній аудиторії. По правді кажучи, це скоріше дослідницька робота, що вимагає поєднання креативності й аналітичного мислення, яких у багатьох у цій галузі просто немає.

Більше того, у багатьох дослідників даних розвинулося відчуття прав, очікуючи високих зарплат і вигідних пакетів лише в силу свого титулу. Таке ставлення відштовхує компанії, особливо в секторах, де ефективність витрат має першорядне значення. Я зустрічався з компаніями, які колись поспішили найняти науковців з обробки даних, але тепер переглядають. Навіщо платити високу зарплату тому, хто витрачає більшу частину свого часу на очищення даних, коли штучний інтелект може робити це швидше, краще та дешевше?

AI Хто?

Під час написання уроку я особисто відчув, що Generative AI перетворився на потужну силу саме в тих сферах, де наука про дані є найслабшою. Такі завдання, як підготовка даних, очищення та навіть базовий якісний аналіз — дії, які забирають багато часу спеціаліста з обробки даних — тепер легко автоматизуються системами ШІ . Що гірше (або краще, залежно від того, де ви стоїте), це те, що ШІ швидший, точніший і менш схильний до людських помилок або втоми.

Для багатьох дослідників даних це може викликати жах. Зрештою, ці завдання становлять основну частину їхньої повсякденної роботи. Очищення даних, наприклад, як відомо, займає багато часу та схильне до помилок, але штучний інтелект тепер може виконати це кількома клацаннями миші та з майже ідеальною точністю. Науковці даних часто скаржаться на ці важкі завдання, але вони є фундаментальними для їхніх ролей. У міру вдосконалення систем штучного інтелекту потреба в людях виконувати цю роботу зменшується. Не дивно, що значна частина голосної критики ШІ походить від самих дослідників даних . Вони бачать написи на стіні і бояться за свою роботу.

Дріб'язковість

Що ще гірше для дослідників даних, ця сфера не досягла значного прогресу за останні роки. Незважаючи на стрімке зростання популярності, наука про дані все ще страждає від неефективності, помилок і відсутності ясності щодо того, що саме вона має передбачати . Колись вважалося, що більш складні інструменти та краще навчання сприятимуть розвитку галузі, але це не збулося в очікуваному обсязі. Навпаки, ШІ постійно вдосконалюється. Алгоритми машинного навчання, обробка природної мови та генеративні моделі швидко розвиваються, залишаючи традиційну науку про дані в пилу.

Знову ж таки, високі очікування щодо зарплати спеціалістів із обробки даних ускладнюють проблему . Компанії, які колись терпіли неефективність, тепер розуміють, що штучний інтелект може замінити багато важкої роботи без високої ціни на людську працю. Оскільки штучний інтелект стає все більш вправним у виконанні таких ключових завдань, як аналіз, прогнозування та навіть презентація, ручна природа науки про дані стає все більш зайвою. Багато компаній зрозуміють, що те, що раніше потребувало команди спеціалістів із обробки даних, тепер можна ефективніше обробляти за допомогою інструментів на основі ШІ.

Зсув

Реальність така, що наука про дані, як її традиційно визначають, знаходиться на межі морального старіння. Оскільки генеративний штучний інтелект розвивається вражаючою швидкістю, попит на науковців з обробки даних про людей у їх нинішньому вигляді, швидше за все, знизиться . Це не означає, що люди не беруть участі в ухваленні рішень на основі даних, але класична роль «фахівця з обробки даних» незабаром може залишитися в минулому. Зараз потрібні професіонали, які вміють працювати зі штучним інтелектом, використовувати його можливості, зосереджуючись на стратегічному мисленні та вирішенні складних проблем на вищому рівні.

AI — це не кінець аналітики, розуміння чи прийняття рішень — він представляє їх еволюцію . Сучасна галузь науки про дані ризикує стати застарілою, якщо вона не буде розвиватися в ногу з часом. ШІ вже революціонізує індустрію, і наука про дані повинна адаптуватися, або ризикує бути наздоженою цією хвилею. Зрештою, питання може полягати не в тому, чи штучний інтелект усуне науку про дані, а в тому, чи наука про дані коли-небудь повністю виконала свої обіцянки.

Або, можливо, ця різниця навіть не матиме значення, якщо ми нарешті вийдемо за межі ажіотажу про «науку про дані» та приймемо штучний інтелект як наступний логічний розвиток.

Про себе: 25-річний ветеран ІТ, який поєднує дані, ШІ, управління ризиками, стратегію та освіту. 4-кратний переможець хакатону та соціальний вплив від захисника даних. Наразі працюємо над тим, щоб на Філіппінах запустити робочу силу ШІ. Дізнайтеся більше про мене тут: https://docligot.com