Prije šest godina, dobio sam To je bio od našeg CTO, sjaji s vrstom hitnosti koja čini vaš ceo dan promene. To "Team, we need an AI strategy! Let's get a smart summarizer on the dashboard. What's the fastest we can get an MVP out with GPT-4o-mini?" I znaš šta? Bilo je uzbudljivo. Mandat je bio jednostavan: "AI na sve. Sada." Kao programer, moj um je već bio u trci. Znao sam da bih mogao hakovati prototip do kraja dana. Nekoliko linija Pythona, poziv API-ja i presto - malo špricanje AI magije. U šest mjeseci koji su uslijedili, moj tim i ja smo postali tvornica značajki. isporučili smo pametnu pretragu, chatbot za usluge korisnicima, alat za analizu povratnih informacija korisnika, generator za marketing fluff... 15 značajki u ukupnom broju. Ali mi nismo bili inovativni, mi smo postavljali zamku za naše buduće ja. Učinili smo ono što su tražili, ali brzina je stvorila planinu nevidljivih tehnoloških dugova koji su gotovo zaustavili čitav naš razvojni tim. Deo I: Kako smo se sahranili u tehnološkom dugovanju Ova nova vrsta tehnološkog duga je podmukao. To ne izgleda kao nered kod. To izgleda čisto, jednostavno, i moderno. Ali to je bila serija vremenskih bombi, svaka od njih ticking dolje zahvaljujući tri tiha ubice. Greška # 1: Sindrom "Shiny nove igračke" U ludoj žurbi, uhvatili smo bilo koji alat koji je bio najnoviji ili najlakši. Za sažetak, otišli smo s OpenAI-om jer su svi razgovarali o tome. Za chatbot, drugi tim je već igrao s Anthropic-om, pa smo to koristili. Za jednostavnu funkciju prijevoda, netko je našao neku nejasnu API-ju koja je bila prljavština jeftina. Pojedinačno, kod za svaku funkciju izgledao je dobro. Ali kada ste povećali, to je bio čisti haos. Borili smo se s nekoliko različitih API ključeva, različitih SDK-ova i različitih računa za plaćanje. Kada se korisnik žalio da su sažeti bili spori, čitava istraga bi počela samo da sazna koji od naših pola dućana prodavaca je bacio loptu. Prava bol je pogodila tri meseca, kada je jedan od naših glavnih pružatelja odlučio udvostručiti svoje cijene preko noći. Zamjena nije bila brz popravak. To je značilo prepisivanje ključnog dijela svake pojedine funkcije koja je ovisila o tome. Pogreška # 2: Krhke šetnje i igra "Koga krivimo?" Mi smo tretirali naše upite kao da su samo još jedna linija u konfig datoteci. Oni nisu bili. Oni su bili krhki, šaputani prijedlozi mašini koju nismo razumjeli. Za naš povratni sažetak, imali smo upit koji se osjećao kao umetničko djelo: Delovalo je kao šarm. Summarize the following user feedback into a single, positive-sounding sentence. Do jednog utorka, to nije bilo. Pružatelj API-ja je gurnuo tiho ažuriranje njihovog modela. Bez upozorenja, naši „pozitivno zvučni“ sažeti počeli su zvučati... sarkastično. Cijela logika naše funkcije bila je slomljena, ali nije se promijenila ni jedna linija našeg koda. Bez lantera, bez statičke analize, ništa nas nije moglo upozoriti. To je ono što sada nazivam „semantičkom ovisnošću“, i to je potpuna noćna mora za debugiranje. Klijent bi se žalio na neobičan, izvanbrandž sažetak. Šta sam trebao učiniti? Ne možete držati prelomnu tačku unutar zatvorenog izvora LLM. Ne možete vidjeti šta se događa. Moja dnevna rutina postala je frustrirajuća kruga nagađanja: 
 
 
 
 Da li je to prompt?U redu, hajde da pokušamo da ga preobratimo po deseti put... Da li je to ulaz korisnika? možda su otkucali nešto čudno... krajnji slučaj? Je li API samo imao loš dan? Vrijeme je da ponovo provjerite njihovu stranicu statusa... Ovo nije inženjering. To je moderna nagađanja. Bio sam na kuk za funkciju čiji je mozak bio potpuna crna kutija. Greška #3: Korišćenje Nuke da ubije muva Taj jednostavan API poziv bio je prazan ček, a mi smo ih pisali kao ludi. Za jedan od naših internih alata – jednostavno razvrstavanje karata za podršku – koristili smo jedan od velikih, općih modela. Konačno smo shvatili da koristimo super-inteligentnu nuklearnu snagu za ubijanje muve. mnogo manji, finiji, model otvorenog koda - heka, čak i nekoliko Izjave – bilo bi deset puta brže i stotinu puta jeftinije. Ali u „Funkcijskoj tvornici“, sve što je važilo bilo je da ga izvučemo iz vrata. if/else Drugi deo: Digging Our Way Out Otprilike šest meseci kasnije, stvari su počele da se raspadaju. Pushing novu funkciju bi slomio staru. Naši troškovi su bili svuda. I iskreno, tim je bio izgorio od borbe sa požarima. Morali smo da se zaustavimo, udahnemo, i zapravo početi inženjering rješenje. Korak 1: Mi smo pokrenuli "Tech dug triage" Rezervirali smo prostor za sastanke za čitavo poslijepodne, stavili svih 15 AI funkcija na tablicu i isplanirali ih na jednostavnoj 2x2 mreži. (Озбиљно, нацртајте ово на белој табли. То је игра-промењивач. Препоручујем да креирате једноставну слику мреже 2к2 да бисте је овде убацили) 
 
 
 X-Axis: Koliko je to važno za posao? (Niska do Visoka) Y-Axis: Koliko je to tehnički nered? (Niska do Visoka) To popodne je donijelo toliko jasnoće. 
 
 
 
 Top-Right (High Impact, High Debt): Na primjer, chatbot za klijente. Bottom-Right (Low Impact, High Debt): Ta glupa "zabavna činjenica" generator na prijava zaslonu. odlučili smo da ga ubijemo. Ostala dva kvadranta: Odlučili smo da ih ostavimo same. Ako nije slomljena, nemojte je popraviti. Korak 2: Izgradili smo centralizovani "AI Gateway" Naš prvi veliki projekat bio je da se riješi problem "previše API-ja".Postavili smo jednu, jednostavnu unutrašnju uslugu s kojom sve naše druge aplikacije razgovaraju.Ova "gateway" je sada jedina stvar u našem sistemu koja razgovara s vanjskim dobavljačima AI. . (Jednostavan diagram je savršen ovde: [Naša aplikacija] -> [Naš AI Gateway] -> [OpenAI, Anthropic, itd.]) To nam je odmah vratilo moć. 
 
 
 
 Kontrola: Možemo zamijeniti pružatelje na jednom mestu bez ikakvih drugih aplikacija. Uštede: Izgradili smo jednostavan caching sistem u vrata. Sanity: Sva naša evidencija, praćenje i upozorenja sada su na jednom, upravljivom mestu. Korak 3: Napravili smo "Prompt biblioteku" Izgradili smo jednostavnu biblioteku za njih – to je zapravo samo tabela u bazi podataka, s istorijom praćenom u Gitu – koja skladišti svaki poziv koji koristimo. To konačno razdvaja "šta reći" od "kako to reći."Naši menadžeri proizvoda sada mogu prilagoditi i testirati uputstva na sadržaj svog srca, i ne moraju podnositi inženjersku kartu da to učine. Riječ je o dugoj igri Pogledajte, pritisak da se "dodajete AI" u sve ne nestaje.Ali imamo izbor.Možemo držati funkcije zajedno na API-jima koje ne kontroliramo, gradeći budućnost proizvoda koji su skupi i nemoguće održavati. Ili možemo raditi pravi, ponekad sporije, posao. Naše novo pravilo je jednostavno: mi sudimo o svakoj novoj funkciji ne samo po tome što ona može učiniti, već po njenom karakteru. Rješavanjem našeg duga i izgradnjom tih slojeva kontrole, prestali smo biti naručitelji u fabrici funkcija. long-term cost of ownership. Igra nije samo o AI. to je o Prestanimo hraniti tvornicu i počnimo graditi stvari koje traju. Korišćenje Posjedovanje So, what's the worst AI tech debt you've stumbled into? I want to hear your war stories in the comments.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Contact Us Today at sales@saigontechnology.com

Drop me a message at 

Read My Stories

Ovaj audio je proizveden na originalnom jeziku priče!

Predugo; Citati

Get Free Unlimited IP Geo Data With IPinfo Lite

Ja sam uklonio 15 AI funkcija u 6 meseci i gotovo nas je slomio.

About Author

KOMENTARI

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps