6ヶ月前、私は Slack message. You know the one. It was from our CTO, shining with the kind of urgency that makes your whole day change. あなたはそのことを知っています。 あの "Team, we need an AI strategy! Let's get a smart summarizer on the dashboard. What's the fastest we can get an MVP out with GPT-4o-mini?" そしてあなたは何を知っていますか? それはエキサイティングでした。 任務は単純でした: 「AIはすべての上にありました。 今です」 開発者として、私の心はすでにレースしていました。 私は日が終わるまでにプロトタイプをハッキングすることができると知っていました。 Pythonのいくつかの行、APIの呼び出し、そして presto - AIの魔法のちょっとしたスプリンク。 そのメッセージはゴールデンウィークを引き起こした。その後の6ヶ月間で、私のチームと私は機能工場となりました. 私たちはスマートな検索、顧客サービスのチャットボット、ユーザーのフィードバックを分析するツール、マーケティングフラフのためのジェネレーターを配信しました. 15の機能を合計しました. 私たちは会社のヒーローでした. ブロックのペースで「イノベーション」を配信しました. 管理はエクスタティックでした. しかし、我々は革新しなかった。我々は将来の自分たちにを置いていた。 私たちは彼らが求めたことをしたが、スピードは見えないテクノロジー債務の山を生み出し、開発チーム全体がほぼ止まってしまった。 Part I: How We Buried Ourselves in Tech テクノロジー債務 この新しいタイプのテクノロジーの借金は隠蔽的で、混乱したコードのようには見えないが、清潔でシンプルでモダンなように見えるが、それは一連のタイム爆弾だった。 ミス1:「Shiny New Toy」症候群 狂った急ぎの中で、我々は最新のツールや最も簡単なツールを手に入れました。 サミュレータのために、我々はOpenAIと行きました。 誰もがそれについて話していました。 チャットボットのために、別のチームはすでにAnthropicと遊んでいたので、我々はそれを使用しました。 シンプルな翻訳機能のために、誰かがいくつかの曖昧なAPIを見つけました。 個別に、各機能のコードは順調に見えたが、拡大したとき、それは純粋な混乱だった。我々は異なるAPIキー、異なるSDK、異なる請求書と戦っていた。 本当の痛みは、主なプロバイダーの1つが一晩で価格を2倍にすることを決定した3カ月間でした。それを交換することは、迅速な解決策ではありませんでした。 ミス2:The Fragile Prompts and the "Who Do We Blame?" ゲーム 私たちは、コンフィギュレーションファイルのもう一つの行のように私たちのプロンプトを扱いました. They were not. They were fragile, whispered suggestions to a machine we didn't understand. For our feedback summarizer, we had a prompt that felt like a work of art: まるで魅力のようでした。 Summarize the following user feedback into a single, positive-sounding sentence. ある火曜日までは、そうではなかった。 APIプロバイダーは彼らのモデルに静かなアップデートを押し付けました。警告なしで、私たちの「ポジティブな響き」の概要は...サルカスティックに響き始めました。私たちの機能のすべての論理は破られましたが、私たちのコードの一行も変更されていませんでした。 クライアントは、奇妙な、非ブランドの概要について文句を言います。私は何をすべきですか? あなたは閉鎖されたソースのLLMの内部にブロックポイントを貼ることができません。 あなたは何が起こっているかを見ることができません。 私の日常生活は困難な推測のループになりました: 
 
 
 
 さて、10回目に改めてお試しください・・・。 ユーザの入力ですか? もしかして彼らは何か奇妙なものを入力しました...エッジケースですか? APIが悪い日を迎えましたか? ステータスページをもう一度チェックする時が来ました... これはエンジニアリングではありません。それは現代の推測です. 私は脳が完全なブラックボックスだった機能のハックにいました。 ミス3:Nukeを使ってフライを殺す その単純なAPI呼び出しは空白のチェックであり、我々はそれらをクレイジーのように書いていた。我々の内部ツールの1つとして、サポートチケットを分類するだけで、我々は大きな、一般的なモデルの1つを使用していました。 最終的に私たちは、私たちがスーパーインテリジェントな核を使ってハエを殺すことに気づきました. はるかに小さい、細かく調整された、オープンソースのモデル - くそ、たとえわずかでも。 発言は、10倍速く、100倍安くなっただろうが、「Feature Factory」では、重要なのは、それをドアから抜け出すことだけだった。 if/else Part II: Digging Our Way Out 約6カ月後、物事は崩壊し始めた。新しい機能を押すと古い機能が崩壊します。私たちのコストはどこにでもありました。そして正直に言うと、チームは火災との戦いから燃え尽きていました。私たちは立ち止まって息を吸い、実際にソリューションを開発し始めました。 ステップ1:我々は「テクノロジー債務トライアージ」を実行 私たちは、午後全体の会議室を予約し、すべての15のAI機能をホワイトボードに置き、デッドシンプルな2x2グリッドでそれらを計画しました。 (真剣に、これはホワイトボードに描きます。それはゲーム変換器です。私はここに挿入するためのシンプルな2x2グリッドイメージを作成することをお勧めします) 
 
 
 X軸:これはビジネスにとってどれくらい重要ですか? (低いから高いまで) Y軸:どれくらいの技術的な混乱ですか? (低いから高い) その日の午後、たくさんの明確さが届きました。 
 
 
 
 Top-Right (High Impact, High Debt): たとえば、顧客チャットボット。 Bottom-Right (Low Impact, High Debt): ログイン画面上の馬鹿げた「面白い事実」ジェネレーター. We decided to kill it. 削除コードはこれほど良いと感じたことはありません。 残りの2つの四角形:私たちはそれらをひとりで残すことにしました. 壊れなかったら、直さないでください。 Step 2: We Built a Centralized “AI Gateway” (中央化されたAIゲートウェイ) 私たちの最初の大きなプロジェクトは、「あまりにも多くのAPI」の問題を修正することでした。私たちは、他のすべてのアプリが話す単純な内部サービスを構築しました。この「ゲートウェイ」は、今や私たちのシステムで外部のAIベンダーと話す唯一のものです。 . (シンプルな図はここで完璧です: [Our App] -> [Our AI Gateway] -> [OpenAI, Anthropic, etc.]) それはすぐに私たちの力を取り戻してくれた。 
 
 
 
 コントロール:我々は他のアプリのいずれも知らずに、一つの場所でプロバイダーを交換することができます。 節約:ゲートウェイに直接シンプルなキャッシュシステムを構築しました。 Sanity:すべてのレコード、モニタリング、アラートは1つの管理可能な場所にあります。 Step 3: We Made A “Prompt Library” (私たちは「早急な図書館」を作りました) 私たちのコードに住む脆弱なプロンプトの悪夢を止めるために、私たちはそれらをすべて取り外し、それらのために単純なライブラリを構築しました - これは実際にはデータベース内のテーブルで、歴史がGitで追跡されています - 私たちが使用するすべてのプロンプトを格納します。 これにより、「何を言おうか」と「どう言おうか」がついに分離されます。当社の製品マネージャーは、心のコンテンツにプロンプトを調整してテストすることができ、それを行うためにエンジニアリングチケットを提出する必要はありません。 It's About The Long Game(長いゲーム) 見てください、すべてに「AIを追加する」という圧力は消えることはありませんが、選択肢があります。私たちは、コントロールできないAPIの上に機能を組み合わせ、高価で維持できない製品の未来を構築することができます。 あるいは、実際の、時には、よりゆっくりとした仕事をすることができます。 私たちの新しいルールはシンプルです:私たちは、新しい機能を何ができるかではなく、その機能に基づいて判断します。 私たちの借金に対処し、これらのコントロール層を構築することで、私たちは機能工場でオーダーを取ることをやめました。 long-term cost of ownership. ゲームは、ただの AI. It's about 工場を養うのをやめて、持続可能なものを構築し始めましょう。 利用 所有 So, what's the worst AI tech debt you've stumbled into? I want to hear your war stories in the comments.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Contact Us Today at sales@saigontechnology.com

Drop me a message at 

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

I Churned Out 15 AI Features in 6 Months And It Almost Broke Us. Here's Our Story

About Author

コメント

ラベル

この記事は

Related Stories

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps