La crisi energetica dell’intelligenza artificiale e una nuova spinta verso l’efficienza

Non è un segreto che ci siamo imbattuti in un ostacolo formidabile al nostro futuro basato sull'intelligenza artificiale: l'enorme consumo energetico dei nostri modelli attuali.

I leader del settore si stanno affannando per trovare risposte a breve termine per assicurarsi di non perdere l'onda, con sforzi ambiziosi come La riapertura dei reattori nucleari di Three Mile Island da parte di Microsoft E Google lavora a progetti geotermici “unici nel loro genere” .

E mentre tutto questo si svolge al tavolo dei grandi, un gruppo di nuove startup sta costruendo sui progressi compiuti negli ultimi anni, riconsiderando i principi fondamentali per vedere se ci sono soluzioni che potrebbero fungere da soluzione a lungo termine.

Una soluzione che non richieda centinaia di milioni di dollari di investimenti infrastrutturali.

Le richieste di potenza dell'intelligenza artificiale sono una bomba a orologeria

L'utilizzo di grandi modelli linguistici nella loro attuale iterazione è un processo ad alta intensità energetica che sta rapidamente raggiungendo livelli insostenibili. L'addestramento di un singolo modello di IA può emettere tanto carbonio quanto cinque auto nel corso della loro intera vita. Non è solo una preoccupazione ambientale; è un incubo di scalabilità che minaccia di far deragliare la rivoluzione dell'IA prima che prenda completamente il volo.

Considerate questi fatti che fanno riflettere:

• Si dice che GPT-3, con i suoi 175 miliardi di parametri, abbia richiesto 1.287 MWh per una singola sessione di addestramento.
• Si stima che l'impatto ambientale dell'addestramento di un modello di PNL di grandi dimensioni sia di circa 626.000 libbre di CO2 equivalente.
• Man mano che i modelli crescono, aumenta anche il loro consumo energetico, spesso a un ritmo superlineare.

E mentre l'industria spinge per capacità di intelligenza artificiale più avanzate, questo consumo energetico è destinato a salire alle stelle. Questo non è solo un problema a livello operativo, ma anche nel quadro generale, poiché i leader del settore come Google si sono impegnati a raggiungere emissioni di carbonio nette pari a zero tramite l'acquisto di crediti di carbonio da aziende che fanno cose come tappare pozzi di petrolio e gas orfani , un mercato in cui la domanda sta già superando di gran lunga l'offerta.

Efficienza e attivazione minima dei parametri: la nuova stella polare dell'innovazione dell'intelligenza artificiale

La soluzione potrebbe essere piuttosto semplice: modelli più intelligenti, più piccoli e più efficienti, costruiti per una serie di scopi specifici.

Restringendo il campo, se vogliamo.

Un esempio del genere è il modello Aria open source creato da Rhymes , che impiega un'attivazione minima dei parametri. Mentre il modello Aria vanta un totale di 25,3 miliardi di parametri, ne attiva solo 3,9 miliardi per ogni data attività. I modelli tradizionali e mainstream come GPT-3 attivano tutti i loro parametri per ogni attività, indipendentemente dalla complessità, mentre l'approccio di Aria è come un chirurgo che usa solo gli strumenti necessari per una procedura specifica. Molti chirurghi ti direbbero che non hanno bisogno di distribuire l'intera attrezzatura della sala operatoria per ogni operazione.

Rhyme ha implementato questa funzionalità in pratica con BeaGo, che definisce "una ricerca AI più intelligente e veloce". In base ai miei test, i risultati di BeaGo erano indistinguibili dai prodotti concorrenti di Perplexity e da altri prodotti che richiedono più energia e tempo.

Ma non si tratta semplicemente di restringere la portata: la startup ha creato un modello multimodale open source di esperti che ordina e gestisce in modo intelligente dati di grandi dimensioni e di lungo contesto di tutti i tipi, tra cui testo, video e immagini.

La soluzione di Rhymes potrebbe illuminare la strada all'intelligenza artificiale nel 2025 e oltre, senza dover spendere centinaia di milioni di dollari in infrastrutture.

Il promemoria: l'innovazione non si ferma mai

Alla fine, il lavoro di aziende come Rhymes serve a ricordare che solo perché abbiamo trovato qualcosa che funziona , non significa che il compito di innovare sia finito. Mentre Microsoft e Google funzionano con i nostri grandi modelli linguistici esistenti, lavorando per rendere produttiva e portare l'intelligenza artificiale al mercato di massa, altri non possono smettere di lavorare per costruire qualcosa di ancora migliore.

Sono incoraggiato dall'approccio basato sulle startup che vedo qui alla fine del 2024, che combina capacità multimodali, attivazione selettiva dei parametri e collaborazione open source, e che offre un modello di come possiamo realizzare la visione di un'intelligenza artificiale che funzioni e lavori per il pianeta.