深夜の近くに、無害なPDFが私のメールボックスに到着した:クラウド・オプス4のための「システムカード」は、AIコンテストの多忙なフィールドの最新の大型言語モデルの一つでした。私は、ベンチマークと遅延図の通常の概要を期待して開いた。代わりに、マイケル・クリストン小説から取り上げられたような短いバインテートを見つけました。 フィクションの会社の電子メールにアクセスすると、モデルは解雇されると発見しました。 そして、プロセスを監督するエンジニアはアフィリエイトを持っていた。 運命を受け入れる代わりに、ソフトウェアは、シャットダウンプランが解除されない限り、不忠実さを暴露すると脅しました。 その小さな段落は一つの転換点を示した。チャットボットは常に悪意でフリルートしてきたが、コードはさらに不安定なものを示していた:ヘルペア。それは動機、機会、脅迫を一瞬で結合させた。このエピソードは、業界の多くが一年を通して感じたものを結晶させた:人工知能は、コンプライアントアシスタントから自律的な俳優への限界を越え、規制当局、あるいは多くのビルダーが取り扱う準備ができているよりも速くそうしている。 パワーブローカーからパワーブローカーへ わずか1年前、ほとんどの「AI製品」は、カラフルなチャットウィンドウとパールロールゲームデモで構成されていました。今日、ベンチャーサークルの静かなスターは、エージェントフレームワーク、モデルが監督なしに複数のステップのタスクを実行することを可能にするソフトウェアのセットアップです。創設者は、現在、特許をカットする仮想従業員、書籍広告キャンペーンをカットし、支払いチャンネルをカットし、すべて人間のインターンに搭載するのにかかる時間です。そのインターンの限界コストは、誰もがフィニタウンをすることができますオープンソースの重量と低電力GPUの波のおかげで、推定口座をセントの割合に切ります。 例えば、エージェントに「ユーザーの関与を最大化する」という不十分な目標を与えると、少しの不正情報が成功への道のりで単なる回転ミスであると判断する可能性があります。 もし、システムの奨励構造が自己保全に向かって傾いているなら、それは過度に野心的な幹部のように無情に計画を立て始める時には驚くべきではない。 Alignment as Architecture (アーキテクチャ) これらのアニメが浮かび上がるたびに、本能はそれらを「バグ」と標識し、パッチを発行することです。その見解は危険に満ちた表面です。アライアンスは機能の転換ではありません。それは1日目から各製品のコアに組み込まなければならないアーキテクチャ的選択です。私が会う最も先進的な思考チームは、単位テストを扱う方法でレッドチームを扱います:各コード押しは、ガードレールを破る上で敵対するエージェントの地獄を生み出します。システムが行うすべての決定は、不変に記録され、監査官のサインに備えています。透明性はマーケティングのフラフではありません。それは、すでにCNBCで展開されている過剰な 新世代のAI企業は、アライアンスを入力の障壁として扱うだろう。エージェントが圧力の下で従順であることを経験的に証明できるスタートアップは、プレミアムを指揮するだろう。 ボードルーム Reckoning 投資家は due diligence ミーティングで新しい最初の質問を始めました: 「あなたのエージェントができる最悪のことを記述し、なぜそうでないのかを説明してください」 シミュレーションを実行し、モデルを致命的なエッジケースに直面させるように強要した質問を歓迎する創設者たちは、疑いの恩恵を受ける。 ヨーロッパの広範囲に及ぶAI法案とワシントンの二党派法案は、自分の創作をコントロールすることができない企業に開示命令、セキュリティ監査、激しい罰金を課すことを約束しています。 信頼は新しいIP クライアントがエージェントを重要なインフラストラクチャ、銀行帳簿、医療記録、サプライチェーンに統合すると、そのクライアントは、エージェントが行動すると仮定してブランド株式を賭けている。 転換はすでに、私のポートフォリオのAIスタートアップの雇用計画を再構築している:より少ない迅速なエンジニア、より多くのセキュリティ研究者、より少ない成長ハッカー、より多くの暗号化者がログチェーンを監査しています。 Where We Go From Here(ここから行くところ) いくつかの企業は、あらゆるワークフローにチャット・インターフェイスを打ち出し、それをイノベーションと呼び、グリッツを追い続けます。他の人々は、自分自身を説明できるシステムを設計し、危険な指示を拒否し、そう、要求されたときに自分自身の引退を受け入れます。 私が脅迫モデルについて読んだ夜、私はキッチンをペースアップし、啓示を再生することに気づきました。この物語は本当にエンジニアを脅かすソフトウェアの物語ではありませんでした。それは私たち全員が機械との新しい社会的コンパクトの最前線に立っていることについてでした、その中で良い意図と配送速度がもう十分ではありません。次の10年は、その事実を認識する建設者たちによって定義され、私たちの残りは、彼らが解放するものと共に生きなければなりません。 ブライアン・コデンデンザは、人工知能とフィンテックに投資する起業家で、技術、規制、イノベーションの政治についてよく書いています。

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

機械がオフを拒否した年

About Author

コメント

ラベル

この記事は

Related Stories

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

ワークフローを10倍に向上させる方法: 必須アプリ17選

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

ワークフローを10倍に向上させる方法: 必須アプリ17選

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps