Что искусственный интеллект сделает с наукой о данных

Недавно я провел занятие по использованию науки о данных для кибербезопасности, сосредоточившись на анализе данных захвата пакетов — несколько технической и традиционно сухой теме. Подход, которым я поделился, основывался на моем опыте в области кибербезопасности в финансовых учреждениях, охватывая основные этапы, такие как разведочный анализ данных, предварительная обработка и преобразование данных журнала, а также выявление аномалий посредством комбинации кластеризации и анализа графовых сетей.

Удивительным аспектом было время, которое я потратил на подготовку к этому сеансу — лишь малая часть того, что я обычно тратил. ИИ сыграл значительную роль в оптимизации процесса. Я использовал Клода для помощи с кодированием, разработкой плана и даже созданием слайдов. В общей сложности весь курс был готов в течение 48 часов.

Сессия оказалась увлекательной. Участники, в основном руководители служб информационной безопасности, которые обычно не пишут код, обнаружили, что упражнения, созданные с помощью ИИ, были интуитивно понятными и практичными. Моей целью было погрузить их в работу непосредственно с данными и кодом. Они особенно оценили возможность вручную изучить то, что современные платформы наблюдения за киберугрозами и SIEM обычно автоматизируют, получая представление о процессах, происходящих «под капотом».

Мой главный вывод из этого занятия оказался на удивление контринтуитивным: наука о данных, какой мы ее знаем, в конечном итоге будет заменена ИИ . Эта точка зрения может показаться преждевременной — или, возможно, опережающей свое время — но это перспектива, которая заслуживает обсуждения.

Предупреждение: некоторые из этих вещей могут вызвать у людей аллергическую реакцию.

Сексуальность — это багаж

На протяжении более десяти лет наука о данных прославлялась как «самая сексуальная работа 21-го века». Однако по мере быстрого развития ИИ становится ясно, что основные проблемы этой области все сложнее игнорировать. Появление мощного генеративного ИИ вполне может стать переломным моментом для дисциплины, которая, оглядываясь назад, могла быть более расплывчато определена и переоценена, чем изначально признавалось.

По своей сути наука о данных объединяет компьютерные науки, статистику и деловую хватку, предлагая организациям обещание действенных идей из огромных объемов данных. Этот набор навыков, несомненно, ценен в сегодняшнем мире, управляемом данными. Однако за его отполированным образом эта область сталкивается с серьезными проблемами. То, что часто называют наукой о данных, часто оказывается лоскутным одеялом из слабо связанных задач, которые не всегда четко совпадают, и многие специалисты в этой области испытывают трудности с полной широтой и сложностью, которых требует дисциплина.

Рост числа инструментов на основе ИИ, способных обрабатывать анализ данных, моделировать и генерировать идеи, может привести к изменению нашего взгляда на роль и будущее самой науки о данных. Поскольку ИИ продолжает упрощать и автоматизировать многие из основополагающих задач в науке о данных, эта область может столкнуться с необходимостью оценить, что на самом деле означает быть специалистом по данным в эпоху интеллектуальной автоматизации.

Трещины

Многие специалисты по данным, несмотря на владение сложными навыками кодирования и цифровыми инструментами, занимаются работой, которая на удивление ручная и подвержена ошибкам . Подготовка, очистка и анализ данных включают в себя утомительные, трудоемкие задачи, которые являются повторяющимися и механическими. Фактически, значительная часть труда в области науки о данных уходит на подготовку наборов данных — задача, которая часто кажется скорее нудной, чем захватывающей, движимой открытиями наукой, которой она является. Эта проблема усугубляется тем фактом, что многие, кто приходит в эту область, в лучшем случае являются любителями. Пройдя несколько онлайн-курсов по Python или R, эти «специалисты по данным» часто не готовы к суровости роли . Наука о данных — это не просто кодирование. Она включает в себя глубокий анализ, контекстное понимание и способность представлять идеи нетехнической аудитории. По правде говоря, это скорее исследовательская работа, требующая сочетания креативности и аналитического мышления, которым многие в этой области просто не обладают.

Более того, многие специалисты по данным развили в себе чувство права, ожидая высоких зарплат и выгодных пакетов только в силу своего названия. Такое отношение отпугивает компании, особенно в секторах, где первостепенное значение имеет эффективность затрат. Я встречал компании, которые когда-то спешили нанять специалистов по данным, но теперь пересматривают свое решение. Зачем платить высокую зарплату тому, кто большую часть времени борется с очисткой данных, когда ИИ может делать это быстрее, лучше и за малую часть стоимости?

ИИ Кто?

Как я лично испытал, когда писал этот курс, генеративный ИИ превратился в мощную силу в тех самых областях, где наука о данных слабее всего. Такие задачи, как подготовка данных, очистка и даже базовый качественный анализ — действия, которые отнимают много времени у специалиста по данным — теперь легко автоматизируются системами ИИ . Что хуже (или лучше, в зависимости от того, где вы находитесь), так это то, что ИИ быстрее, точнее и менее подвержен человеческим ошибкам или усталости.

Для многих специалистов по работе с данными это может быть пугающим. В конце концов, эти задачи составляют большую часть их повседневной работы. Например, очистка данных, как известно, отнимает много времени и подвержена ошибкам, но теперь ИИ может выполнять ее несколькими щелчками мыши и с почти идеальной точностью. Специалисты по работе с данными часто жалуются на эти рутинные задачи, хотя они имеют основополагающее значение для их ролей. По мере совершенствования систем ИИ потребность в людях для выполнения этой работы уменьшается. Неудивительно, что большая часть громкой критики ИИ исходит от самих специалистов по работе с данными . Они видят, что все идет не так, и боятся за свою работу.

Мелочность

Чтобы усугубить ситуацию для специалистов по данным, в последние годы эта область не достигла значительного прогресса. Несмотря на стремительный рост популярности, наука о данных по-прежнему страдает от неэффективности, ошибок и отсутствия ясности относительно того, что именно она должна подразумевать . Когда-то считалось, что более сложные инструменты и лучшее обучение будут развивать эту область, но этого не произошло в той степени, в которой ожидалось. Напротив, ИИ неуклонно совершенствуется. Алгоритмы машинного обучения, обработка естественного языка и генеративные модели стремительно развиваются, оставляя традиционную науку о данных далеко позади.

Опять же, высокие ожидания зарплаты специалистов по данным усугубляют проблему . Компании, которые когда-то могли мириться с неэффективностью, теперь понимают, что ИИ может заменить большую часть рутинной работы без высокой цены, связанной с человеческим трудом. Поскольку ИИ становится все более искусным в выполнении ключевых задач, таких как анализ, прогнозирование и даже презентация, ручная природа науки о данных становится все более излишней. Многие компании поймут, что то, что раньше требовало команды специалистов по данным, теперь может быть выполнено более эффективно с помощью инструментов на базе ИИ.

Сдвиг

Реальность такова, что наука о данных, как ее традиционно определяют, находится на грани устаревания. С развитием генеративного ИИ с поразительной скоростью спрос на специалистов по данным в их нынешнем виде, скорее всего, снизится . Это не означает, что люди не играют никакой роли в принятии решений на основе данных, но классическая роль «специалиста по данным» вскоре может стать концепцией прошлого. Сейчас нужны профессионалы, умеющие сотрудничать с ИИ, использовать его возможности, концентрируясь на стратегическом мышлении и решении сложных проблем на более высоком уровне.

ИИ не является концом аналитики, понимания или принятия решений — он представляет их эволюцию . Текущая область науки о данных рискует устареть, если не будет развиваться в ногу со временем. ИИ уже производит революцию в отраслях, и наука о данных должна адаптироваться или рисковать быть захваченной этой волной. В конечном счете, вопрос может заключаться не в том, уничтожит ли ИИ науку о данных, а в том, выполнила ли наука о данных когда-либо свои обещания.

Или, возможно, это различие вообще не будет иметь значения, если мы наконец выйдем за рамки шумихи вокруг «науки о данных» и примем ИИ как следующий логический шаг вперед.

Обо мне: более 25 лет опыта работы в сфере ИТ, сочетающий данные, ИИ, управление рисками, стратегию и образование. Четырехкратный победитель хакатонов и социальный вклад от адвоката данных. В настоящее время работаю над тем, чтобы дать толчок развитию рабочей силы в сфере ИИ на Филиппинах. Узнайте больше обо мне здесь: https://docligot.com