今週は、AI の概念やコーディング チュートリアルを説明するいつもの記事から少し外れてみます。そうです、私がこれまでずっと幸運にも歩んできた道をたどる、哲学的でノスタルジックな旅です。

ある分野にかなり早くから取り組むことで得られる稀な特権の 1 つは、その分野が我が子のように成長していくのを見られることです。10 年前にコンピューター ビジョンの修士課程を始めたとき、コンピューター サイエンスの卒業生である友人が「コンピューター ビジョンとはそもそも何を意味するのか」と尋ねました。今日では、セグメンテーション (下記参照) などのコンピューター ビジョン タスクのビデオがインターネット上にあふれているため、これは些細な質問です。

これは、10 年前にディープラーニングが普及したときにインターネット上で話題になったコンピューター ビジョン タスクである画像セグメンテーションの結果です。

では、この 10 年間で何が変わったのでしょうか。物事には常に表と裏があります。また、成長には良い面と悪い面の両方があります。

閉鎖的なコミュニティ — 小さいことは美しい

アイスランドでは人々は何らかの形で互いに親戚関係にあり、いとこ以上であれば結婚してもよいと言われています。

同様に、AI コミュニティも緊密に結びついていました。緊密に結びついたコミュニティという感覚はなくなりました。研究者と交流する際、その人がどのグループに属しているかは大体わかりました。その分野への影響について読み、理解することで、何らかの形で彼らの仕事に共感し、尊敬するようになりました。

この分野は際限なく拡大しており、誰かの研究を知っていれば忘れてしまえると言うことさえ難しくなっています。新しい名前や新しい分野が多すぎて、追跡することさえ困難です。

もう 1 つの例として、PyTorch はまだ初期段階でした。Slack コミュニティは非常に小規模で協力的だったため、PyTorch の開発者は、ライブラリの使用に関する質問に直接回答してくれました。これにより、PyTorch についてさらに学ぶ意欲が湧きました。現在、このフレームワークは非常に成熟しており、LangChain や Llamaindex などの新しいフレームワークが登場しています。AI の他のどの分野よりも、LLM に焦点が当てられています。

ハードウェア高級品

当時は、インパクトのあるものを作るために、単一の GPU でディープ ニューラル ネットワークをトレーニングしていました。CVPR、NeurIPS、ICML などの主要なカンファレンスで発表されたほとんどの研究は、単一の 8 GB GPU マシンでトレーニングして複製できました。最悪の場合でも、まれに 4 つの GPU を搭載した単一のマシンでしか再現できませんでした。

テスラがAIに使用している最新のGPUクラスターの画像（出典： https://www.hpcwire.com/off-the-wire/tesla-to-roll-out-advanced-supercomputer ）

Kaggle コンテストに参加するために、たった 8 GB の RAM を搭載した汎用 GPU を 1 つ購入したときの嬉しさを今でも鮮明に覚えています。Kaggle Grandmasters の優勝ソリューションの中には、自宅の 1 台の GPU マシンでディープラーニング モデルをトレーニングしたものもありました。

今日の AI の世界では、基礎モデルをトレーニングするために GPU クラスターが必要です。これらのモデルを微調整するだけでも 24 GB の GPU が必要ですが、これは非常に高価で、「AI 予算」のある企業でしか購入できません。

スキルセットの需要

当時は、この分野がまだ AI の概念を理解できていなかった時代でした。採用担当者は、「ディープラーニング」エンジニアを探すという異質な仕事を任されていました。採用担当者とスタートアップの創設者は、あらゆるチャネルを通じてディープラーニングの専門家を探していました。LinkedIn でディープラーニング エンジニアとしてチームに加わらないかというメッセージを定期的に受け取るのは当たり前のことでした。

わずか 5 日前に投稿された機械学習エンジニアの求人広告のスクリーンショット。応募者は 100 人を超えています。

現状では、「機械学習エンジニア」の求人には、広告掲載から 1 日以内に LinkedIn で 100 件を超える応募があります。信じられない場合は、上のスクリーンショットをご覧ください。応募者のスキルが求人内容にどの程度関連しているかという疑問が残ります。しかし、市場はスキルで飽和状態になります。しかも、かなり早いのです。

サブスキル - 運用とアーキテクチャ

成長は、多様性と機会の増加を意味します。ML-ops、LLM-ops、ML-architects などの新しい役割が生まれています。小さな単一モデル ファイル (< 1 GB) の時代は終わりました。モデルのサイズと機能の両方が成長したことにより、モデルを展開および維持するための新しいスキルが生まれました。

さらに、モデルのトレーニングと展開は、MLFLow などのツールによって自動化されています。トレーニング用のクラウド インフラストラクチャは十分に洗練されている必要があります。これらすべてにより、専任の責任を持つフルタイムの役割が生まれました。

さようなら ML エンジニア、こんにちは AI エンジニア

AI の仕事で最も楽しいのは、モデル アーキテクチャを記述し、社内データを使用してモデルをゼロからトレーニングすることです。これには多くのデータの前処理が含まれますが、モデルのトレーニングとトレーニング結果の視覚化は非常に楽しいものでした。このための機械学習 (ML) エンジニアと呼ばれる専門職がありました (現在も存在します)。

テクノロジーの巨人による基盤モデルの開発は、この役割を再定義しています。モデルのサイズが大きくなるにつれて、トレーニング予算は膨大になります。実際、Meta の LLama 2 モデルのトレーニング費用は 2,000 万ドルでした。AI を導入しようとしているスタートアップや組織が、この金額を無駄にしたくないのは明らかです。基盤モデルは、Mistral や Anthropic などの一部の企業を除き、テクノロジーの巨人が開発するものであることが今では確立されています。

残念なことに、これは ML エンジニアの役割が AI エンジニアの役割に置き換えられることを意味します。ML エンジニアの役割は、モデル アーキテクチャの開発、トレーニング、評価がすべてでした。新しい AI エンジニアの役割は、主に API の開発、またはテクノロジー大手 (OpenAI、Meta、Google) が提供する API を呼び出して基盤モデルを促進することです。

まれに、これらの基礎モデルの微調整が必要になることがあります。ただし、企業には、RAG パイプラインを構築するか、微調整せずに基礎モデルを「そのまま」使用するかを選択できます。

結論

結論として、私はこれをソフトウェア エンジニアリングと機械学習の役割のゆっくりとした融合と見ています。ソフトウェア エンジニアとディープラーニングの専門家の境界線は薄れつつあります。そのため、今後数年間で、ソフトウェア エンジニアは、コードを記述し、顧客のニーズを解決するために、基盤モデルと連携して作業する AI エンジニアになるでしょう。

さらに、今後数年間で、企業は AI 製品企業と AI サービス企業の 2 つのカテゴリに分類されるでしょう。AI 製品企業は、基礎モデルの開発では再び OpenAI、Meta、Google になります。AI サービス企業は、AI 基礎モデルを中心に RAG スタイルのパイプラインを微調整または開発して、顧客にサービスを提供する API サービスを提供します。

最後に、求人応募数の急増は、ドットコム バブルのようなバブルの崩壊が迫っていることを示しているのでしょうか。私はそう思います。しかし、しばらく待って様子を見ましょう...

大声で叫ぶ

役に立ったと思います。

この記事が気に入ったら、ぜひフォローしてくださいツイッター研究の最新情報、ビデオチュートリアルのリンク、トップ AI ラボの新しい AI ツールを入手したいですか?

また、私のチャンネルを購読してくださいYouTubeチャンネルAIの概念と論文を視覚的に説明します。