Што штучны інтэлект зробіць з навукай аб дадзеных

Нядаўна я правёў занятак па выкарыстанні навукі аб даных для кібербяспекі, засяродзіўшы ўвагу на аналізе дадзеных перахопу пакетаў - гэта даволі тэхнічная і традыцыйна сухая тэма. Падыход, якім я падзяліўся, грунтаваўся на маім вопыце кібербяспекі ў фінансавых установах і ахопліваў такія асноўныя этапы, як даследчы аналіз даных, папярэдняя апрацоўка і пераўтварэнне даных часопісаў, а таксама выяўленне анамалій праз камбінацыю кластарызацыі і аналізу графічнай сеткі.

Адным з дзіўных аспектаў быў час, які я патраціў на падрыхтоўку да гэтай сесіі — доля таго, што я звычайна ўкладваў. ІІ адыграў значную ролю ў аптымізацыі працэсу. Я выкарыстаў Клода для дапамогі ў кадзіраванні, распрацоўцы плана і нават стварэнні слайдаў. У агульнай складанасці ўвесь курс быў гатовы на працягу 48 гадзін.

Сеанс атрымаўся займальным. Удзельнікі, у першую чаргу CISO, якія звычайна не пішуць код, палічылі, што практыкаванні, створаныя з дапамогай ІІ, інтуітыўна зразумелыя і практычныя. Мая мэта складалася ў тым, каб пагрузіць іх у працу непасрэдна з дадзенымі і кодам. Яны асабліва ацанілі магчымасць уручную даследаваць, што сучасныя сістэмы сачэння за кіберпагрозамі і платформы SIEM звычайна аўтаматызуюць, атрымліваючы ўяўленне аб працэсах, якія адбываюцца "пад капотам".

Мой ключавы вынік з заняткаў быў на здзіўленне неразумным: навука аб даных, якую мы ведаем, у рэшце рэшт будзе заменена ІІ . Гэта меркаванне можа здацца заўчасным — ці, магчыма, апярэдзіўшым свой час, — але гэта перспектыва, якая патрабуе абмеркавання.

Папярэджанне: нешта з гэтага можа выклікаць у людзей.

Сэксуальнасць - гэта багаж

На працягу больш за дзесяць гадоў навука аб дадзеных адзначалася як «самая сэксуальная праца 21-га стагоддзя». Тым не менш, па меры хуткага развіцця штучнага інтэлекту становіцца відавочным, што складаней не заўважыць асноўныя праблемы ў гэтай галіне. З'яўленне магутнага генератыўнага штучнага інтэлекту цалкам магло стаць пераломным момантам для дысцыпліны, якая, азіраючыся назад, магла быць больш вольна вызначана і празмерна раскручана, чым прызнавалася першапачаткова.

Па сутнасці, навука аб даных аб'ядноўвае інфарматыку, статыстыку і дзелавую хватку, прапаноўваючы арганізацыям абяцанне дзейсных ідэй з вялізных аб'ёмаў даных. Гэты набор навыкаў бясспрэчна каштоўны ў сучасным свеце, які кіруецца дадзенымі. Аднак за сваім адшліфаваным іміджам сфера сутыкаецца са значнымі праблемамі. Тое, што часта называюць навукай аб даных, часта аказваецца наборам слаба звязаных паміж сабой задач, якія не заўсёды акуратна спалучаюцца, і многія прафесіяналы ў гэтай галіне змагаюцца з усёй шырынёй і складанасцю, якіх патрабуе дысцыпліна.

Рост інструментаў на базе штучнага інтэлекту, здольных апрацоўваць аналіз даных, мадэляванне і генерацыю разумення, можа прымусіць змяніць тое, як мы разглядаем ролю і будучыню самой навукі аб дадзеных. Па меры таго, як штучны інтэлект працягвае спрашчаць і аўтаматызаваць многія асноўныя задачы ў галіне навукі аб даных, галіна можа сутыкнуцца з пытаннем аб тым, што сапраўды значыць быць навукоўцам у эпоху інтэлектуальнай аўтаматызацыі.

Расколіны

Многія спецыялісты па апрацоўцы дадзеных, нягледзячы на валоданне складанымі навыкамі кадавання і лічбавымі інструментамі, займаюцца працай, якая дзіўна ручная і схільная да памылак . Падрыхтоўка даных, ачыстка і аналіз ўключаюць стомныя, працаёмкія задачы, якія паўтараюцца і механічныя. Фактычна, значная колькасць працы ў галіне навукі аб даных ідзе на падрыхтоўку набораў даных — задача, якая часта больш падобная на катаргу, чым на захапляльную навуку, арыентаваную на адкрыцці. Гэтая праблема ўскладняецца тым, што многія з тых, хто выходзіць на поле, у лепшым выпадку з'яўляюцца аматарамі. Прайшоўшы некалькі онлайн-курсаў па Python або R, гэтыя «навукоўцы даных» часта аказваюцца непадрыхтаванымі да сур'ёзнасці гэтай ролі . Навука аб даных - гэта не проста кадаванне. Гэта ўключае ў сябе глыбокі аналіз, разуменне кантэксту і здольнасць прадстаўляць ідэі нетэхнічнай аўдыторыі. Па праўдзе кажучы, гэта больш даследчая праца, якая патрабуе сумесі крэатыўнасці і аналітычнага мыслення, якімі многія ў гэтай галіне проста не валодаюць.

Акрамя таго, многія навукоўцы па апрацоўцы дадзеных развілі пачуццё права, чакаючы высокіх заробкаў і прыбытковых пакетаў толькі ў сілу свайго звання. Такое стаўленне адштурхвае кампаніі, асабліва ў сектарах, дзе эканамічная эфектыўнасць мае першараднае значэнне. Я сустракаў фірмы, якія калісьці паспяшаліся наняць навукоўцаў па апрацоўцы дадзеных, але цяпер пераглядаюць. Навошта плаціць высокія заробкі таму, хто праводзіць большую частку свайго часу, змагаючыся з ачысткай даных, калі штучны інтэлект можа зрабіць гэта хутчэй, лепш і за долю кошту?

AI Хто?

Калі я асабіста пісаў курс, Generative AI ператварыўся ў магутную сілу ў тых самых галінах, дзе навука аб даных найбольш слабая. Такія задачы, як падрыхтоўка даных, ачыстка і нават базавы якасны аналіз — дзеянні, якія забіраюць шмат часу навукоўцаў па апрацоўцы даных — цяпер лёгка аўтаматызуюцца сістэмамі штучнага інтэлекту . Што яшчэ горш (ці лепш, у залежнасці ад таго, дзе вы знаходзіцеся), гэта тое, што AI больш хуткі, дакладны і менш схільны чалавечым памылкам або стомленасці.

Для многіх навукоўцаў па дадзеных гэта можа выклікаць жах. У рэшце рэшт, гэтыя задачы складаюць асноўную частку іх штодзённай працы. Напрыклад, ачыстка даных, як вядома, займае шмат часу і можа выклікаць памылкі, але штучны інтэлект цяпер можа выканаць гэта з дапамогай некалькіх пстрычак мышы і з амаль ідэальнай дакладнасцю. Навукоўцы па апрацоўцы дадзеных часта скардзяцца на гэтыя цяжкія задачы, але яны з'яўляюцца асноватворнымі для іх ролі. Па меры ўдасканалення сістэм штучнага інтэлекту патрэба людзей у выкананні гэтай працы змяншаецца. Нядзіўна, што вялікая частка крытыкі супраць штучнага інтэлекту зыходзіць ад саміх навукоўцаў апрацоўкі дадзеных . Яны бачаць надпісы на сцяне і баяцца за сваю працу.

Дробязнасць

Што яшчэ горш для навукоўцаў па апрацоўцы дадзеных, за апошнія гады гэтая сфера не дасягнула істотнага прагрэсу. Нягледзячы на імклівы рост папулярнасці, навука аб дадзеных па-ранейшаму пакутуе ад неэфектыўнасці, памылак і адсутнасці яснасці ў тым, што менавіта гэта павінна пацягнуць за сабой . Калісьці лічылася, што больш дасканалыя інструменты і лепшае навучанне паспрыяюць развіццю гэтай сферы, але гэта не спраўдзілася ў чаканай ступені. Наадварот, штучны інтэлект няўхільна паляпшаецца. Алгарытмы машыннага навучання, апрацоўка натуральнай мовы і генератыўныя мадэлі хутка развіваюцца, пакідаючы традыцыйную навуку аб даных у пылу.

Зноў жа, высокія заробкі навукоўцаў ускладняюць праблему . Кампаніі, якія раней маглі мірыцца з неэфектыўнасцю, цяпер разумеюць, што штучны інтэлект можа замяніць шмат цяжкай працы без высокай цаны, звязанай з чалавечай працай. Паколькі штучны інтэлект становіцца больш дасведчаным у выкананні ключавых задач, такіх як аналіз, прагназаванне і нават прэзентацыя, ручная прырода навукі аб даных становіцца ўсё больш лішняй. Многія кампаніі зразумеюць, што тое, што раней патрабавала група навукоўцаў па апрацоўцы дадзеных, цяпер можна больш эфектыўна апрацоўваць з дапамогай інструментаў на базе штучнага інтэлекту.

Зрух

Рэальнасць такая, што навука аб дадзеных, як яе традыцыйна вызначаюць, знаходзіцца на мяжы састарэння. Паколькі генератыўны штучны інтэлект развіваецца з ашаламляльнай хуткасцю, попыт на навукоўцаў па апрацоўцы дадзеных чалавека ў іх цяперашнім выглядзе, хутчэй за ўсё, знізіцца . Гэта не азначае, што людзі не ўдзельнічаюць у прыняцці рашэнняў на аснове даных, але класічная роля «вучонага па апрацоўцы даных» хутка можа сысці ў мінулае. Цяпер патрэбны прафесіяналы, якія валодаюць навыкамі ўзаемадзеяння з штучным інтэлектам, якія выкарыстоўваюць яго магчымасці, засяроджваючыся на стратэгічным мысленні і вырашэнні складаных праблем на больш высокім узроўні.

ШІ не з'яўляецца канцом аналітыкі, разумення або прыняцця рашэнняў, ён прадстаўляе іх эвалюцыю . Сучасная вобласць навукі аб дадзеных рызыкуе састарэць, калі яна не будзе развівацца ў нагу. ШІ ўжо здзяйсняе рэвалюцыю ў галінах, і навука аб дадзеных павінна адаптавацца, інакш гэтая хваля рызыкуе быць нагнанай. У канчатковым рахунку, пытанне можа быць не ў тым, ці ліквідуе ІІ навуку аб дадзеных, а ў тым, ці цалкам выканае навука дадзеных калі-небудзь свае абяцанні.

Ці, магчыма, адрозненне нават не будзе мець значэння, калі мы нарэшце пяройдзем за рамкі ажыятажу «навукі аб даных» і прымем штучны інтэлект як наступны лагічны прагрэс.

Пра мяне: 25+ гадовы ветэран ІТ, які спалучае дадзеныя, штучны інтэлект, кіраванне рызыкамі, стратэгію і адукацыю. Пераможца ў 4 хакатоны і сацыяльны ўплыў ад абаронцы дадзеных. У цяперашні час працуе над стварэннем працоўнай сілы ІІ на Філіпінах. Даведайцеся больш пра мяне тут: https://docligot.com