6 maande gelede het ek Dit was van ons CTO, glimlag met die soort dringendheid wat jou hele dag verander. Die "Team, we need an AI strategy! Let's get a smart summarizer on the dashboard. What's the fastest we can get an MVP out with GPT-4o-mini?" En jy weet wat? Dit was opwindend. Die mandaat was eenvoudig: "AI op alles. Nou." As 'n ontwikkelaar, my gedagtes was reeds hardloop. Ek het geweet ek kan 'n prototype by die einde van die dag saam hack. 'n Paar lyn van Python, 'n API oproep, en presto - 'n bietjie sprinkel van AI magie. In die ses maande wat gevolg het, het my span en ek 'n funksiesfabriek geword. Ons het 'n slim soektog, 'n kliëntediens chatbot, 'n instrument om gebruikersfeedback te analiseer, 'n generator vir bemarking fluff... 15 funksies in totaal. Maar ons was nie innoverend nie.Ons het 'n valstrik vir ons toekomstige self gesit. Ons het gedoen wat hulle gevra het, maar die spoed het 'n berg onsienlike tegnologie skuld geskep wat byna ons hele ontwikkelingsteam tot 'n stilstand gebring het. Deel I: Hoe ons onsself begrawe in tegniese skuld Hierdie nuwe soort van tegnologie skuld is sneaky. Dit lyk nie soos 'n rommelige kode nie. Dit lyk skoon, eenvoudig, en moderne. Maar dit was 'n reeks van tyd bomme, elkeen getik deur drie stil moordenaars. Fout #1: Die "shiny nuwe speelding" sindroom In die gekke haas, het ons alles wat die nuutste of maklikste gereedskap gekry het. Vir die opsommer, het ons met OpenAI gegaan omdat almal daaroor gepraat het. Vir die chatbot het 'n ander span reeds met Anthropic gespeel, so ons het dit gebruik. Vir 'n eenvoudige vertalingsfunksie het iemand 'n duister API gevind wat vuil goedkoop was. Afsonderlik, die kode vir elke funksie lyk goed.Maar toe jy uitzoom het, was dit suiwer chaos. Ons het met 'n handvol verskillende API-toets, verskillende SDK's en verskillende rekeninge om te betaal.Wanneer 'n gebruiker gekla het dat ooreenkomste stadig was, het 'n hele ondersoek begin net om uit te vind watter van ons half dosyn verkopers die bal verloor het. Die werklike pyn het drie maande in geraak, toe een van ons hoofverskaffers besluit het om hul pryse oor 'n nag te verdubbel. Die uitruil was nie 'n vinnige oplossing nie. Fout #2: Die Fragile Prompts en die "Wie blameer ons?" spel Ons het ons oproepe behandel asof hulle net 'n ander rigting in 'n konfig lêer was. Hulle was nie. Hulle was fragile, fluisterende voorstelle aan 'n masjien wat ons nie verstaan het nie. Vir ons terugvoerversamelaar het ons 'n oproep gehad wat soos 'n kunswerk gevoel het: Dit werk soos 'n sjarme. Summarize the following user feedback into a single, positive-sounding sentence. Tot op 'n Dinsdag het dit nie gebeur nie. Die API-verskaffer het 'n stilte-update na hul model gedruk. Sonder enige waarskuwing het ons "positief klinkende" opsommings begin klink ... sarkastiese. Die hele logika van ons funksie is gebreek, maar geen enkele lyn van ons kode het verander nie. Geen linter, geen statiese analise, niks kon ons gewaarsku nie. Dit is wat ek nou 'n "semantiese afhanklikheid" noem, en dit is 'n totale nagmerrie om te debug. 'N Kliënt sou klag oor 'n vreemde, off-brand samestelling. Wat moes ek doen? Jy kan nie 'n breekpunt in 'n geslote bron LLM steek nie. Jy kan nie sien wat gebeur nie. My daaglikse roetine het 'n frustrerende loop van raaiwerk geword: 
 
 
 
 Kom ons probeer om dit vir die tiende keer te herwoord... Is dit die gebruiker se invoer? Miskien het hulle iets vreemd geskryf ... 'n rand geval? Is die API net 'n slegte dag? Tyd om hul status bladsy weer te kyk... Dit is nie ingenieurswese nie. Dit is moderne hedendaagse voorspelling. Ek was op die hoek vir 'n funksie wie se brein 'n volledige swart boks was. Fout #3: Gebruik 'n Nuke om 'n vlieg te doodmaak Die eenvoudige API-oproep was 'n leë toets, en ons het hulle soos gek geskryf. Vir een van ons interne gereedskap - net die klassifisering van ondersteuningstickets - het ons een van die groot, algemene-doelmodelle gebruik. Ons het uiteindelik besef dat ons 'n super-intelligente kernkrag gebruik het om 'n vlieë te doodmaak. 'N Baie kleiner, fijn aangepaste, oopbronmodel - haastig, selfs 'n handvol Stellings – sou tien keer vinniger en honderd keer goedkoper gewees het.Maar in die "Feature Factory" het alles wat belangrik was, dit uit die deur gekry.Ons het uiteindelik met hemelhoë koste en traag prestasie vir 'n funksie wat nooit soveel vuurkrag nodig het nie. if/else Deel 2: Grawe ons uitweg Ongeveer ses maande in, dinge het begin val af. Duw 'n nuwe funksie sou breek 'n ou een. Ons koste was oor die hele plek. En eerlik, die span was verbrand uit veg brande. Ons moes stop, neem 'n asem en eintlik begin ontwerp 'n oplossing. Stap 1: Ons het 'n "Tech Debt Triage" uitgevoer Ons het 'n vergaderingsaal vir 'n hele middag gereserveer, al 15 AI-funksies op 'n whiteboard geplaas en hulle op 'n dood-eenvoudige 2x2 grid geplaas. (Ernstig, teken dit op 'n whiteboard. Dit is 'n spel-verander. Ek beveel aan om 'n eenvoudige 2x2 grid beeld te skep om hier in te voeg) 
 
 
 X-Axis: Hoeveel beteken dit vir die besigheid? (Lae tot Hoë) Y-Axis: Hoeveel van 'n tegniese rommel is dit? (Lae tot Hoë) Die middag het baie duidelikheid gebring. 
 
 
 
 Top-Right (High Impact, High Debt): Die kliënt chatbot, byvoorbeeld. Bottom-Right (Low Impact, High Debt): Dat dwaas "fun feit" generator op die login skerm. Ons het besluit om dit te doodmaak. Die ander twee kwadrante: Ons het besluit om hulle alleen te laat. as dit nie gebreek is nie, maak dit nie reg nie. Stap 2: Ons het 'n sentrale "AI Gateway" gebou Ons eerste groot projek was om die "te veel API's" probleem op te los. Ons het 'n eenvoudige interne diens gebou waarmee al ons ander programme praat. Hierdie "gateway" is nou die enigste ding in ons stelsel wat met buite AI-verskaffers praat. . (Een eenvoudige diagram is perfek hier: [Our App] -> [Our AI Gateway] -> [OpenAI, Anthropic, ens.]) Dit het onmiddellik ons krag teruggegee. 
 
 
 
 Beheer: Ons kan verskaffers in een plek ruil sonder dat enige van die ander apps weet. Besparing: Ons het 'n eenvoudige caching stelsel reg in die gateway gebou. Sanity: Al ons logging, monitoring en waarschuwings is nou op een, bestuurbare plek. Stap 3: Ons het 'n "Prompt Library" gemaak Ons het 'n eenvoudige biblioteek vir hulle gebou - dit is regtig net 'n tabel in 'n databasis, met die geskiedenis wat in Git gevolg word - wat elke oproep wat ons gebruik, stoor. Nou vra ons programme net die biblioteek vir die regte oproep voordat hulle 'n oproep maak.Dit skei uiteindelik die "wat om te sê" van die "hoe om dit te sê." Dit gaan oor die lang spel Kyk, die druk om "AI by alles toe te voeg" gaan nie weg nie.Maar ons het 'n keuse.Ons kan funksies saam hou op API's wat ons nie beheer nie, bou 'n toekoms van produkte wat duur en onmoontlik is om te onderhou. Of ons kan die werklike, soms trager, werk. Ons nuwe reël is eenvoudig: ons beoordeel elke nuwe funksie nie net op wat dit kan doen nie, maar op sy Deur ons skuld aan te spreek en hierdie beheerslae op te bou, het ons opgehou om bestellers in 'n funksiefabriek te wees. long-term cost of ownership. Die spel is nie net oor AI. dit gaan oor Kom ons stop om die fabriek te voed en begin om dinge te bou wat duur. gebruik Eigendom So, what's the worst AI tech debt you've stumbled into? I want to hear your war stories in the comments.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Contact Us Today at sales@saigontechnology.com

Drop me a message at 

Read My Stories

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Te lank; Om te lees

Get Free Unlimited IP Geo Data With IPinfo Lite

Ek het 15 AI funksies in 6 maande uitgeskakel en dit het ons amper gebreek.

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

The #decentralize-ai Writing Contest by ICP and HackerNoon: Results Announcement 🎉

Thrilled to be Recognized as Startup of the Year in New York City

'Decentralization Means Freedom': Interview with Alfredo de Candia

The #decentralize-ai Writing Contest by ICP and HackerNoon: Results Announcement 🎉

Thrilled to be Recognized as Startup of the Year in New York City

'Decentralization Means Freedom': Interview with Alfredo de Candia

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps