6 taon na ang nakalipas Slack mensahe. Alam mo ang isa. Ito ay mula sa aming CTO, lumilitaw sa uri ng pangangailangan na gumagawa ng iyong buong araw ng pagbabago. ang "Team, we need an AI strategy! Let's get a smart summarizer on the dashboard. What's the fastest we can get an MVP out with GPT-4o-mini?" Ang mandate ay simpleng: "AI sa lahat ng bagay. Ngayon." bilang isang developer, ang aking paniniwala ay na-race. Alam ko na maaari kong i-hack ang isang prototype sa katapusan ng araw. Ang ilang mga linya ng Python, isang API call, at presto - isang maliit na sprinkle ng AI magic. Ang mensahe na ito ay nagsisimula ng isang golden rush. Sa mga six months na nangangahulugan, ang aking team at ako ay naging isang feature factory. Kami ay nagpadala ng isang smart search, isang customer service chatbot, isang tool upang pag-analisa ng mga feedback ng mga gumagamit, isang generator para sa marketing fluff... 15 features sa kabuuan. Kami ay ang mga hero ng kumpanya, nagpadala ng "innovation" sa isang breakneck rate. Ngunit hindi kami nag-innovate. Kami ay lumikha ng isang trap para sa aming future self. Kami ay ginawa kung ano ang nangangailangan nila, ngunit ang bilis ay nilikha ng isang bundok ng invisible tech debt na halos pinatay ang buong aming development team sa isang stop. Ito ay ang kasaysayan ng mga error na ginawa namin, at ang three-step system na ginagamit namin upang i-crawl ang aming paraan. Part I: Paano Kami Nakabalik sa Teknolohiya Debt Ang bagong uri ng teknolohiya na utang na ito ay tinatawag. Ito ay hindi tulad ng messy code. Ito ay matatagpuan clean, simple, at modernong. Ngunit ito ay isang serye ng mga time bombs, ang bawat isa ay ticking down sa pamamagitan ng tatlong silent killer. Mistake #1: ang "Shiny New Toy" Syndrome Sa madli rush, natagpuan namin ang anumang tool ay ang pinakabagong o madaling. Para sa summarizer, kami ay dumating sa OpenAI dahil lahat ay nagsasalita tungkol dito. Para sa chatbot, ang isa pang team ay na-play sa Anthropic, kaya ginagamit namin na. Para sa isang simpleng pag-translation feature, isang taong natagpuan ng ilang obscure API na ay dirty cheap. Hindi kami ay may plano, walang estratehiya - lamang ang desire para sa speed. Individually, ang code para sa bawat feature ay nakikita na magandang. Ngunit kapag nag-zoom out, ito ay purong kaos. Nag-struggle kami sa isang hanay ng iba't-ibang API keys, iba't-ibang SDKs, at iba't-ibang mga bills upang bayaran. Kapag ang isang gumagamit ay nag-iisip na ang mga summaries ay mababang, isang buong pag-aaral ay nagsimula lamang upang malaman kung ano sa aming halos-dusan ng mga vendors ay pumunta ang bola. Ang tunay na sakit ay nakakaapekto sa tatlong buwan, kapag ang isa sa aming pangunahing provider ay nagsisimula na i-dubble ang kanilang mga presyo sa loob ng isang gabi. I-swapping ito ay hindi isang mabilis na solusyon. Ito ay nangangahulugan na i-rewrite ang isang core bahagi ng bawat single feature na depende sa ito. Mistake #2: Ang Fragile Prompts at ang "Who Do We Blame?" Game Nagtatrabaho kami sa aming mga prompts tulad ng ang mga ito ay lamang ang isa pang linya sa isang config file. Hindi na sila. Ito ay mga fragile, whispered mga suggestion sa isang machine na hindi namin malalaman. Para sa aming feedback summarizer, kami ay may isang prompt na natutunan tulad ng isang trabaho ng arte: Ito ay gumagana tulad ng isang charm. Summarize the following user feedback into a single, positive-sounding sentence. Sa isang Martes, hindi na. Ang provider ng API ay nagdadala ng isang silent update sa kanilang modelo. Walang warning, ang aming "positive-sounding" summaries ay nagsimula na naglalaro ... sarcastic. Ang buong logic ng aming feature ay napatunayan, ngunit hindi isang single line ng aming code ay nagbabago. Walang linter, walang static na pag-analysis, walang bagay ay maaaring i-warn sa amin. Ito ay kung ano ang ako ngayon ay tinatawag na isang "semantic dependence," at ito ay isang kumpletong kahanga-hangang upang i-debug. Ang isang customer ay nag-iisip tungkol sa isang karaniwang, off-brand summary. Ano ang inaasahan ko upang gawin? Hindi mo maaaring ilagay ang isang breakpoint sa loob ng isang closed-source LLM. Huwag mong makita kung ano ang nangyari. Ang aking araw-araw na rutina ay naging isang frustrating loop ng guesswork: 
 
 
 
 Okay, i-re-word ito para sa 10th time... Ito ba ay ang input ng user? Mayroon ba sila ang tiped ng something weird... isang edge case? Ang API lamang ay may isang mababang araw? Time to check their status page again... Ito ay hindi engineering. Ito ay modern-day divination. I was on the hook for a feature whose brain was a complete black box. Mistake #3: Paggamit ng isang Nuke upang Kill a Fly Ang simpleng API call na ito ay isang blank check, at kami ay nag-script ang mga ito tulad ng madaling. Para sa isa sa aming mga internal na mga tool - lamang ang pag-specialize ng mga tiket ng suporta - kami ay gumagamit ng isa sa mga malaking, generic-purpose na mga modelo. Ito ay gumagana, sigurado, ngunit ang aming cloud bill ay nagsimula na makita tulad ng isang numero ng telepono. Nakapagsimula na kami ay gumagamit namin ng isang super-intelligent na nuke upang maabot ang isang mosquito. isang mas maliit na, fine-tuned, open-source na modelo - heck, kahit na isang handful ng mga Sa isang panayam sa Star for All Seasons, sinabi niyang something new for her ang karakter na gagampanan niya. if/else Part II: Ipinanganak ang aming paraan Sa halos six months sa, ang mga bagay ay nagsimula na tumakbo. Pushing ng isang bagong feature ay tumakbo ang isang old one. Ang aming mga gastos ay sa lahat ng lugar. At ang katotohanan, ang team ay na-burn out mula sa fighting fires. Kailangan namin mag-stay, pumunta, at halos magsimula ang pag-engineering ng isang solusyon. Step 1: Ipinanganak namin ang isang "Tech Debt Triage" Nag-book kami ng isang meeting room para sa isang buong afternoon, ilagay ang lahat ng 15 AI na mga tampok sa isang whiteboard, at pinagsama ang mga ito sa isang dead-simple 2x2 grid. (Siguro, i-draw ito sa isang whiteboard. Ito ay isang game-changer. I recommend creating a simple 2x2 grid image to insert here) 
 
 
 X-Axis: Anong mahalaga ito sa negosyo? (Low to High) Y-Axis: Ikaw ba ay isang technical mess? (Low to High) Ang araw na ito ay nagbibigay ng maraming clarity. 
 
 
 
 Top-Right (High Impact, High Debt): Ang customer chatbot, halimbawa. Bottom-Right (Low Impact, High Debt): Ang kabila "fun fact" generator sa login screen. Kami ay nagsisimula upang matulog ito. Ang iba pang dalawang quadrants: Kami ay nagsisimula upang mag-iisa ang mga ito. Kung ito ay hindi bumalik, huwag i-fix ito. Step 2: Kami ay binuo ng isang centralized "AI Gateway" Kami ay binuo ng isang, simpleng internal service na lahat ng aming iba pang mga apps ay nagsasalita sa. Ang "gateway" na ito ay ngayon ang isa sa bagay sa aming sistema na nagsasalita sa mga outsider AI vendors. . (Ang isang simpleng diagram ay perpekto dito: [Our App] -> [Our AI Gateway] -> [OpenAI, Anthropic, atbp.]) Ito ay ngayong nagbibigay sa amin ang aming kapangyarihan. 
 
 
 
 Kontrol: Maaari naming i-swap ng mga provider sa isang lugar nang walang nakakaalam ng anumang iba pang mga app. Savings: Kami ay binuo ng isang simpleng sistema ng caching ngayong sa gateway. Sanity: Ang lahat ng aming logging, monitoring, at alerts ay ngayon sa isang, malaman na lugar. Step 3: Kami ay gumawa ng isang "Prompt Library" Upang i-stop ang nightmare ng mga fragile prompts na nakatira sa aming code, natagpuan namin ang lahat ng mga ito. Kami ay binuo ng isang simpleng library para sa kanila - ito ay talagang lamang ng isang table sa isang database, na may ang kasaysayan na nagtrace sa Git - na maglagay ng bawat prompt na ginagamit namin. Ngayon, ang aming mga app lamang mag-iisip sa library para sa parehong prompt bago gumawa ng isang telepono. Ito ay kumita ang "hindi upang sabihin" mula sa "hindi upang sabihin ito." Ang aming mga managers ng produkto ay ngayon maaaring i-tune at i-test ang mga prompts sa mga nilalaman ng kanilang puso, at sila ay hindi kailangang mag-file ng isang engineering ticket upang gawin ito. Tungkol sa Long Game Tingnan, ang presyon sa "pagbigay ng AI" sa lahat ay hindi lumabas. Ngunit mayroon kaming isang pagpipilian. Maaari naming mag-sliping ang mga tampok kasama sa ibabaw ng mga API na hindi kami kontrolado, bumuo ng isang kabuuan ng mga produkto na mahal at hindi maaaring magtataguyod. At para umano maging ‘absoluto’ ang bilang ay kailangan magsagawa ng consensus. Ang aming bagong regla ay simple: kami ay nag-judge ang bawat bagong feature hindi lamang sa kung ano ang maaaring gawin, ngunit sa kanyang Sa pamamagitan ng pag-aalok ng aming utang at bumuo ng mga layer ng kontrol na ito, nagpasya kami na maging mga order-taker sa isang feature factory. long-term cost of ownership. Ang laro ay hindi lamang tungkol AI. ito ay tungkol sa Magpasya kami sa paghahatid ng pabrika at magsimula na bumuo ng mga bagay na matatagpuan. Tungkol sa Mga Property So, what's the worst AI tech debt you've stumbled into? I want to hear your war stories in the comments.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Contact Us Today at sales@saigontechnology.com

Drop me a message at 

Read My Stories

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Masyadong mahaba; Upang basahin

Get Free Unlimited IP Geo Data With IPinfo Lite

I Churned Out 15 AI Features sa 6 buwan at ito ay malapit na bumalik sa amin.

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

Hosting a DNS domain on the blockchain

COVID-19: We Need More Than Data, We Need Insights!

State of the Noonion: The Year of Profitability and Product Renaissance

Hosting a DNS domain on the blockchain

COVID-19: We Need More Than Data, We Need Insights!

State of the Noonion: The Year of Profitability and Product Renaissance

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps