すべての機械学習エンジニアは、彼らのモデルが初めて生かされたときを思い出します。メトリクスは良いように見え、予測は安定しています...そして、ほとんど目に見えないほど、遅延のピーク、正確さのドリフ、または依存性の破壊。 大手多国籍小売店のソフトウェアエンジニアであるSaurabh Kumar氏にとって、「It Works」と「It Scales」の間の脆弱な瞬間が、研究と生産の違いを定義している。 「Production MLは、モデルそのものについてではありません」とSaurabhは説明します。「それは、モデルが野外で、負荷の下で、変更の下で、そして規模でどのように振る舞うかです。 Saurabh は、スコアリング エンジンの再構築に幅広く取り組んでおり、小売業者向けの MLOps プラットフォームを初期から構築し、規模の広告を提供しています。 しかし、彼のアプローチを区別するものは、技術的な精巧さだけではなく、彼がそう呼ぶように、生産システムを速く、安定し、エラーを減らすための方法論、演習本です。 実験から執行まで Saurabhの見解では、訓練されたモデルから生産可能なシステムへの道のりは産業変革のプロセスに似ています。 「モデルはプロトタイプエンジンのようなものです」と彼は言います。 この現実は、彼が「Production ML Playbook」と呼ぶものにインスピレーションを与え、長年にわたる試行、失敗、改良から生み出された運用原則のセットです。 最初の、遅延テストは、スケールの目に見えない摩擦に取り組んでいます。 「あなたは測定できないものを最適化することはできません」Saurabhは言います。 「あなたが何百万ものリクエストを提供しているときに、追加のミリ秒化合物が発生します」彼のチームは、リリース前にリアルな需要を反映し、ストレステストインフラを反映する分散ロードシミュレーションを使用しています。 Regression Validation: Guarding Against the Subtle Break 遅延がコントロールされると、Saurabhは生産システムの静かな破壊者に振り向く:回帰。「回帰バグは迷惑だ」と彼は言う。 その崩壊に対抗するために、Saurabhはパフォーマンスと行動の両方を追跡する自動回帰検証パイプラインを構築するのに役立ちました. 各モデルイテレーションは、正確性メトリクスだけでなく、データセットやタイムウィンドウ全体の出力一致性についてもテストされています。 彼のアプローチは、ソフトウェアエンジニアリングのテスト駆動開発の倫理から多くを借りており、ML実験と生産レベルの厳格さを融合させます。 この厳格さとスムーズさのバランスにより、彼のチームは操作のサプライズを減らしながら、より速く出荷することができます:彼がML操作における成熟性と呼ぶ特徴です。 自動化 imperative 「人間の介入は例外であって、規範ではない」と彼は主張する。 Saurabhが大手多国籍の小売業者としての役割において、彼のチームは継続的な検証、ロールバックセキュリティ、およびダイナミックスケーリングトリガーを統合する自動展開パイプラインを採用しています。 「自動化はあなたに自由を与えます」とSaurabhは言います。「それはあなたが戦略、より大きな建築問題に焦点を当てることを可能にし、同じ展開問題を何度も何度も繰り返さないようにします。 効率性に加えて、自動化は信頼性を強化します。それぞれの新しいモデルは、生のトラフィックに促進される前に、合成データテストや影モードの検証を含む、デプロイ前検査のバッテリーを受けており、「あらゆるデプロイを実験として扱います」と彼は付け加えています。 Scaling Philosophy: Trust the Process, Not the Hunch(スケーリングの哲学) Saurabhにとって、生産の成功は直感から来るのではなく、プロセスへの信頼から来る「あなたは人の本能をスケールすることはできない」彼は言う。 彼の幅広い哲学は、研究の科学的厳格さとエンジニアリングの実用的実務主義を結びつけており、彼のリーダーシップの下で、AIチームは継続的なフィードバックループ、リアルデータからモデル学習、モデル行動からインフラ学習、そしてエンジニアが両方から学習を培ってきた。 「生産は実験の終わりではない」と彼は言う。 自主的な信頼性への道 今後を眺めながら、Saurabhは、自己観察と自己訂正のMLパイプラインを生産し、自動的に遅延のピークや回帰を検出し、リソースをリアルタイムで再バランスをとることができることを想定していますが、最も自動化されたシステムでさえも根底にある哲学が必要です。 「理解のない自動化は単により速い混乱に過ぎない」と彼は言います。「目標は人間の判断を排除することではなく、それを高めることです。 その考え方は彼の北の星となり、生産システムは、それらを構築する人々と同様に、フィードバック、透明性、継続的な改善を通じて進化しなければならないという信念です。 This story was published by Steve Beyatte under HackerNoon's の記事です。 ビジネスブログプログラム . This story was published by Steve Beyatte under HackerNoon's の記事です。 ビジネスブログプログラム ビジネスブログプログラム .
