La sfida dei costi dell’IA in azienda: dieci leve per ridurre consumi e impatto ambientale

Con la rapida diffusione delle soluzioni di intelligenza artificiale in azienda, le organizzazioni devono fronteggiare i costi ad essa connessi, che stanno superando i loro vincoli di budget. Questa leva di competitività ha infatti un impatto crescente sui loro conti, considerata anche la tendenza al ‘tokenmaxxing‘ di alcune realtà, vale a dire a massimizzare il consumo di token (i frammenti di testo che compongono sia le informazioni fornite al sistema, sia la risposta generata): una pratica che nei mesi scorsi era stata anche presentata come un indicatore di produttività per poi essere giudicata negativamente. Al peso economico si aggiunge il profondo impatto ambientale, legato ai consumi energetici e idrici che l’uso di questa tecnologia comporta, visto che ogni richiesta a un modello attiva risorse di calcolo in un data center.

Proporzionare calcolo, contesto e automazione al valore prodotto dovrebbe essere la strada da seguire per rendere più efficace e sostenibile l’impiego dell’IA, secondo un’analisi realizzata da Oliver Wyman, società di consulenza strategica: scrivere prompt chiari, definire i limiti dell’output da produrre, attivare il ragionamento avanzato solo nei compiti più complessi, e ancora tenere un archivio di prompt da riutilizzare e governare agenti e processi automatici sono alcune delle pratiche per abbattere costi, consumi energetici e le relative emissioni di CO2 prodotte.

Davide Romeo e Anna Maria Rosati, rispettivamente Partner e Director di Oliver Wyman, individuano dieci leve per raggiungere questi obiettivi: insieme, queste possono ridurre i costi del 25-65% e il consumo energetico, le emissioni di CO2 e l’impatto idrico stimato del 25-60%.

Ad esempio, una di queste leve consiste nell’adattare il modello al compito da svolgere. Per determinate attività, come riscrivere una mail, riassumere un testo breve o tradurre un bozza, non è sempre necessaria la soluzione IA più potente a disposizione: un modello più leggero o intermedio è spesso sufficiente. “Quelli più avanzati vanno riservati a ragionamenti articolati, documenti lunghi, codice critico, decisioni ad alto impatto e sintesi con molte fonti”, sottolineano i due esperti. E aggiungono: “A parità di task, il costo per 1.000 richieste da 1.000 token varia da circa $2,5 con un modello leggero a $25 con un modello avanzato: 10 volte tanto”.

Costi, consumi energetici e impatto ambientale

Un sondaggio realizzato da McKinsey mostra l’aumento della spesa aziendale per l’IA. Gradualmente, con le imprese che passano da casi d’uso isolati a un’adozione su più larga scala, questa è quasi quadruplicata secondo un sondaggio effettuato dalla società di consulenza: mentre il 62% delle organizzazioni è andato oltre la fase di sperimentazione per passare all’implementazione attiva, il 93% dei rispondenti ha riferito di aver superato il budget destinati all’intelligenza artificiale. Un trend che potrebbe diventare ancora più marcato, fa notare McKinsey: secondo la sua indagine, la maggioranza delle realtà intervistate prevede un balzo della spesa per l’IA di almeno il 25% nei prossimi 12 mesi.

Molte organizzazioni si stanno rendendo conto di non disporre della visibilità e dei controlli su tutti questi processi, necessari per gestirne il volume di spesa. Così il termine “tokenmaxxing” sta diventando un’espressione negativa, con diverse società che hanno rimosso le classifiche interne sull’utilizzo dell’IA da parte dei dipendenti.

Come chiarisce McKinsey, la difficoltà nel gestire i costi di adozione dell’IA è legata a diverse sfide: in particolare, i modelli di utilizzo dell’IA non sono prevedibili. La stessa attività può generare volumi di token molto diversi, richiamare modelli differenti, attivare catene di agenti diverse e comportare costi differenti. Inoltre, i fornitori dei modelli di IA stanno riducendo i piani a prezzo fisso, passando a una tariffazione a consumo che dipende dalla quantità di dati elaborati: i costi diventano così ancora più imprevedibili.

L’impatto dell’IA si misura anche sul piano della sostenibilità e dei consumi energetici. I prompt scritti dai dipendenti delle organizzazioni sfruttano risorse di calcolo nei data center, che condizionano i consumi elettrici, tra server che processano dati, sistemi di archiviazione e impianti di raffreddamento. Secondo i dati dell’International Energy Agency, nel 2024 i data center hanno consumato circa 415 TWh di elettricità, pari all’1,5% del consumo elettrico globale, riportando un aumento del 12% all’anno dal 2017. E nello scenario base potrebbe arrivare a 945 TWh entro il 2030, con una crescita attesa del 15% all’anno.

Per quanto riguarda le risorse idriche necessarie a raffreddare i server, un grande data center può arrivare a consumare fino a 5 milioni di galloni d’acqua al giorno, l’equivalente del consumo idrico di una città da 10.000-50.000 abitanti, a seconda di dimensione, clima e tecnologia di raffreddamento, ricorda l’analisi di Oliver Wyman che cita i dati dell’Environmental and Energy Study Institute (Eesi). Da qui la necessità di utilizzare l’IA con maggiore efficienza possibile: “La tesi di fondo è manageriale prima che ambientale: scegliere la capacità necessaria per il compito, eliminare il calcolo che non produce valore e alimentare nel modo più pulito possibile quello che resta”, puntualizzano Romeo e Rosati.

Secondo i due esperti di Oliver Wyman, la riduzione della domanda computazione deve andare di pari passo con l’uso delle rinnovabili per alimentare i data center: solo così si può rendere l’adozione dell’IA più efficiente e sostenibile. Per la razionalizzazione dei consumi, fondamentale è capire come viene utilizzata l’IA, quali modelli per quali scopi e attività, quanti token vengono generati, quante sono le automazioni inutili e le richieste duplicate.

Dieci leve per un uso più consapevole dell’IA

La prima leva suggerita da Oliver Wyman è adattare il modello al compito: uno leggero è spesso sufficiente per task semplici; quelli più avanzati dovrebbero essere riservati ai compiti più complessi. “Per l’azienda significa introdurre un sistema di instradamento, o model routing: modello leggero come impostazione predefinita, passaggio a quello avanzato solo quando la complessità lo giustifica”, spiegano i due esperti. “È la leva con il maggiore potenziale di risparmio. Pur non essendo tutto il traffico reindirizzabile verso modelli più leggeri, l’applicazione di questo principio può ridurre i costi del 13-33% e il consumo di energia, le emissioni di CO2 e l’impatto idrico stimato dell’8-21%, secondo le ipotesi del modello. Il risultato è una capacità di calcolo più proporzionata al valore del compito, con i modelli avanzati disponibili per le attività in cui servono davvero”.

Un secondo consiglio è scrivere prompt chiari, specificando obiettivo, pubblico, formato, lunghezza, vincoli e tono, riducendo così le rilavorazioni. Il beneficio stimato è pari a un taglio del 3-7% di richieste ripetute, token, costi, consumi energetici, emissioni di CO2 e impatto idrico stimato. Un’altra regola indica invece di chiedere solo l’output che serve, e quindi definire i limiti della risposta del sistema: più è esteso l’output, maggiore è il numero di token che il modello deve generare. La riduzione dell’output comporta anche un taglio del costo dell’elaborazione: secondo il modello elaborato da Oliver Wyman, questa leva può abbattere i costi del 9-18% e il consumo di energia, le emissioni di CO2 e l’impatto idrico stimato del 5-10%.

Il ragionamento avanzato dovrebbe essere attivato solo per i compiti complessi: quindi non dovrebbe essere adottato come impostazione predefinita: una scelta diversa dal model routing, perché non cambia soltanto il modello, ma la quantità di elaborazione richiesta al modello scelto. “Su scala complessiva, l’impatto stimato è una riduzione dell’1-4% di costi, consumi energetici, emissioni di CO2 e impatto idrico stimato”, si legge nell’analisi.

Immagini, audio e video possono costare molto di più, da evitare quindi quando basta un’elaborazione testuale. Inoltre, tenere un archivio di prompt efficaci da riutilizzare, standardizzando ciò che funziona, può ridurre i token del 5-10%, i costi del 3-7% e i consumi energetici, le emissioni di CO2 e l’impatto idrico stimato del 3-9%. Un altro taglio di costi e consumi si ottiene quando, dovendo recuperare un’informazione che ci serve o consultare contenuti interni, prima di affidarci a un modello generativo, proviamo a utilizzare un motore di ricerca, una knowledge base, una FAQ aziendale, un database o un documento condiviso (la stima è di un calo del 4-8% per chiamate, token, costi, consumi energetici, emissioni di CO2 e impatto idrico).

Fondamentale è poi misurare l’uso dell’IA attraverso l’adozione di metriche, come numero di richieste, token consumati, quota di uso dei modelli avanzati e costo per funzione. Così come limitare l’input alle informazioni rilevanti, eliminando quelle non pertinenti all’analisi: quest’ultima leva può ridurre i token totali del 3-13%, i costi del 2-8% e i consumi energetici, le emissioni di CO2 e l’impatto idrico stimato del 3-13%. Infine, bisogna stare attenti agli automatismi, che fanno lievitare i costi senza renderli subito visibili, come agenti che fanno molte chiamate in sequenza con poca o nulla utilità, o la generazione di report che nessuno leggerà.

L’effetto positivo di queste dieci leve non deve essere sommato, visto che molte agiscono sulla stessa base di consumo. Secondo i calcoli di Oliver Wyman, nel complesso la loro applicazione insieme può ridurre i costi del 25-65% e il consumo energetico, le emissioni di CO2 e l’impatto idrico stimato del 25-60%.