Sei mesi fa, ho È stato dal nostro CTO, brillando con il tipo di urgenza che fa cambiare l'intera giornata. Questo "Team, we need an AI strategy! Let's get a smart summarizer on the dashboard. What's the fastest we can get an MVP out with GPT-4o-mini?" E sai cosa? Era emozionante. Il mandato era semplice: "AI su tutto. ora." Come sviluppatore, la mia mente era già in gara. So che potevo hackerare un prototipo alla fine della giornata. Poche righe di Python, una chiamata API e presto - un po 'di magia AI. Nel corso dei sei mesi successivi, il mio team e io siamo diventati una fabbrica di funzionalità. Abbiamo consegnato una ricerca intelligente, un chatbot per il servizio clienti, uno strumento per analizzare il feedback degli utenti, un generatore per il flusso di marketing... 15 funzionalità in totale. Ma non eravamo innovativi, stavamo creando una trappola per il nostro futuro. Abbiamo fatto quello che chiedevano, ma la velocità ha creato una montagna di debiti tecnologici invisibili che quasi hanno fermato l'intero team di sviluppo. Parte I: Come ci siamo sepolti nel debito tecnologico Questo nuovo tipo di debito tecnologico è insidioso. Non sembra un codice confuso. Sembra pulito, semplice e moderno. Ma è stata una serie di bombe a tempo, ognuna delle quali si è schiantata grazie a tre assassini silenziosi. Errore #1: La sindrome del "brillante nuovo giocattolo" Per il riassumitore, siamo andati con OpenAI perché tutti parlavano di esso. Per il chatbot, un'altra squadra aveva già giocato con Anthropic, quindi l'abbiamo usato. Per una semplice funzione di traduzione, qualcuno ha trovato un'API oscura che era poco costosa. Non avevamo un piano, nessuna strategia - solo un desiderio di velocità. Individualmente, il codice per ciascuna funzione sembrava buono. Ma quando si zoomò fuori, era puro caos. Siamo stati lottando con una manciata di chiavi API diverse, SDK diversi e diverse bollette da pagare. Quando un utente si è lamentato che i riassunti erano lenti, un'intera indagine avrebbe iniziato solo per scoprire quale dei nostri mezzo dozzine di venditori stava gettando la palla. Il vero dolore ha colpito tre mesi, quando uno dei nostri principali fornitori ha deciso di raddoppiare i loro prezzi durante la notte. Lo scambio non è stato una soluzione rapida. Errore n. 2: Le fragili promesse e il gioco "Chi abbiamo colpevole?" Abbiamo trattato i nostri inviti come se fossero solo un'altra riga in un file di configurazione. Non erano. Essi erano suggerimenti fragili, sussurrati a una macchina che non capivamo. Per il nostro riepilogo di feedback, abbiamo avuto un invito che si sentiva come un'opera d'arte: Funziona come un fascino. Summarize the following user feedback into a single, positive-sounding sentence. Fino a un martedì, non lo è stato. Il fornitore dell'API aveva spinto un aggiornamento silenzioso al loro modello. Senza avviso, i nostri riassunti "positivamente suonanti" hanno iniziato a suonare... sarcastico. L'intera logica della nostra funzione è stata rotta, ma non una sola riga del nostro codice era cambiata. nessun lantere, nessuna analisi statica, nulla ci avrebbe potuto avvertire. Un cliente si lamenterebbe di un strano riassunto fuori dal marchio. Che cosa dovevo fare? Non puoi incollare un punto di rottura all'interno di un LLM a codice chiuso. Non puoi vedere cosa sta succedendo. La mia routine quotidiana è diventata un ciclo frustrante di indovinello: 
 
 
 
 Cerchiamo di rivederlo per la decima volta... È l'ingresso dell'utente? forse hanno digitato qualcosa di strano... un caso di margine? L’API ha appena avuto un brutto giorno? è tempo di controllare nuovamente la loro pagina di stato... Questo non è ingegneria, è una speculazione moderna, ero alla ricerca di una funzione il cui cervello era una scatola nera completa. Errore #3: Usando un Nuke per uccidere una mosca Quella semplice chiamata API era un controllo vuoto, e li stavamo scrivendo come pazzi. Per uno dei nostri strumenti interni, semplicemente classificando i biglietti di supporto, stavamo usando uno dei grandi modelli a scopo generale. Alla fine ci siamo resi conto che stavamo usando un nucleo super-intelligente per uccidere una mosca.Un modello molto più piccolo, raffinato e open-source, anche una manciata di Le dichiarazioni – sarebbero state dieci volte più veloci e centinaia di volte più economiche.Ma nella “Feature Factory”, tutto ciò che contava era farlo uscire dalla porta. if/else Titolo: Digging Our Way Out Circa sei mesi dopo, le cose cominciarono a crollare. Spingendo una nuova funzionalità avrebbe rotto una vecchia. I nostri costi erano ovunque. E onestamente, la squadra stava bruciando per combattere gli incendi. Abbiamo dovuto fermarci, prendere un respiro e iniziare a progettare una soluzione. Passo 1: Abbiamo eseguito un "Triage del debito tecnologico" Abbiamo prenotato una sala riunioni per un'intera pomeriggio, abbiamo messo tutte le 15 funzionalità AI su un tabellone e le abbiamo piantate su una griglia 2x2 morta. (Seriamente, disegna questo su una tavola bianca. È un cambiatore di gioco. Consiglio di creare un'immagine di griglia semplice 2x2 da inserire qui) 
 
 
 X-Axis: Quanto questo conta per il business? (Low to High) Y-Axis: Quanto di un disordine tecnico è questo? (Low to High) Quel pomeriggio ha portato tanta chiarezza. 
 
 
 
 Top-Right (High Impact, High Debt): il chatbot del cliente, per esempio. Bottom-Right (Low Impact, High Debt): Che sciocco "fun fact" generatore sullo schermo di accesso. abbiamo deciso di ucciderlo. Gli altri due quadranti: abbiamo deciso di lasciarli soli.Se non è rotto, non ripararlo. Passo 2: Abbiamo costruito un "AI Gateway" centralizzato Il nostro primo grande progetto è stato quello di risolvere il problema delle "troppi API".Abbiamo costruito un semplice servizio interno con cui tutte le nostre altre app parlano.Questo "gateway" è ora l'unica cosa nel nostro sistema che parla con fornitori esterni di AI. . (Un semplice diagramma è perfetto qui: [La nostra App] -> [Il nostro gateway AI] -> [OpenAI, Anthropic, ecc.]) Questo ci ha restituito immediatamente il nostro potere. 
 
 
 
 Controllo: possiamo scambiare fornitori in un luogo senza che nessuna delle altre app lo sappia. Risparmio: abbiamo costruito un semplice sistema di cache direttamente nel gateway. Sanità: tutti i nostri registri, monitoraggio e allarmi sono ora in un unico luogo, gestibile. Passo 3: Abbiamo creato una "Biblioteca Prompt" Abbiamo costruito una semplice libreria per loro - è davvero solo una tabella in un database, con la storia tracciata in Git - che memorizza ogni prompt che usiamo. Ora, le nostre app chiedono semplicemente alla libreria la giusta prompt prima di effettuare una chiamata. Questo separa finalmente il "cosa dire" dal "come dirlo".I nostri manager di prodotto possono ora regolare e testare le prompt al contenuto del loro cuore, e non hanno bisogno di presentare un biglietto di ingegneria per farlo. Si tratta del lungo gioco Guardate, la pressione di "aggiungere AI" a tutto non sta andando via.Ma abbiamo una scelta.Possiamo mantenere le funzionalità insieme su API che non controlliamo, costruendo un futuro di prodotti che sono costosi e impossibili da mantenere. Oppure possiamo fare il vero, a volte più lento, lavoro. La nostra nuova regola è semplice: giudichiamo ogni nuova funzionalità non solo in base a ciò che può fare, ma anche in base alle sue caratteristiche. Affrontando il nostro debito e costruendo questi strati di controllo, abbiamo smesso di essere ordini in una fabbrica di funzioni. long-term cost of ownership. Il gioco non è solo A. Si tratta di Smettiamo di alimentare la fabbrica e iniziamo a costruire cose che durano. utilizzo Proprietà So, what's the worst AI tech debt you've stumbled into? I want to hear your war stories in the comments.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Contact Us Today at sales@saigontechnology.com

Drop me a message at 

Read My Stories

Questo audio è prodotto nella lingua originale della storia!

Ho eliminato 15 funzioni di AI in 6 mesi e ci ha quasi rotto.

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

OpenAI Has Everything Under Control 😎

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

OpenAI Has Everything Under Control 😎

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps