L'intelligenza a 1 bit che gira sul portatile

I modelli AI sono fatti di numeri, miliardi di numeri chiamati pesi, di solito memorizzati con 16 bit ciascuno. Tanti numeri precisi significano tanta memoria, tanta energia, tante moltiplicazioni. È il motivo per cui l'AI di frontiera vive nei data center e non nel tuo portatile.

Poi arriva un'idea quasi insolente: e se ogni peso potesse valere solo tre cose, meno uno, zero, uno? Si chiama BitNet, ed è una di quelle trovate che sembrano troppo semplici per funzionare. Funzionano.

Tre valori, e le moltiplicazioni quasi spariscono

BitNet b1.58 usa pesi ternari, ognuno vale -1, 0 o +1. In termini di informazione, è 1,58 bit per peso invece di 16. Ma il colpo di genio non è solo il risparmio di memoria. È che, con pesi così, la matematica del modello smette di aver bisogno di vere moltiplicazioni. Moltiplicare per -1, 0 o 1 vuol dire cambiare segno, ignorare, o lasciare com'è. Operazioni banali per un processore.

Meno moltiplicazioni significa meno energia, meno calore, meno hardware specializzato. E i risultati sono sorprendenti: a partire da una certa dimensione, BitNet regge il confronto con i modelli a piena precisione su perplexity e compiti reali.

Microsoft ha mostrato un modello BitNet da 100 miliardi di parametri girare su una singola CPU a 5-7 token al secondo, la velocità con cui una persona legge.

Perché è una notizia che riguarda tutti

Cento miliardi di parametri su una CPU normale, senza una GPU da migliaia di euro, è il tipo di frase che sposta gli equilibri. Con framework come bitnet.cpp, le accelerazioni vanno da 2 a 6 volte sui processori comuni. L'AI potente smette di essere un servizio remoto e diventa qualcosa che può vivere sul tuo dispositivo.

E qui la tecnica incontra la libertà. Un modello che gira in locale è un modello che non manda i tuoi dati da nessuna parte. Niente cloud, niente abbonamento, niente azienda che vede cosa chiedi. Per la privacy, l'efficienza non è un dettaglio da risparmiosi: è la differenza tra un'AI che ti appartiene e una che ti sorveglia mentre ti aiuta.

Il fascino delle idee povere

C'è una lezione più ampia in BitNet, ed è controintuitiva. In un settore ossessionato dal "più grande, più parametri, più GPU", una delle innovazioni più potenti va nella direzione opposta: meno precisione, meno energia, più semplicità. La crescita a tutti i costi non è l'unica strada, e a volte la mossa più intelligente è togliere invece di aggiungere.

I pesi a 1 bit non risolveranno tutto, e BitNet non è ancora ovunque. Ma raccontano una possibilità che vale la pena tenere d'occhio: un'intelligenza artificiale leggera abbastanza da stare in tasca, frugale abbastanza da non scaldare il pianeta, e tua abbastanza da non dover passare da nessuno. Tre valori, meno uno, zero, uno, e un'idea di AI molto diversa da quella che ci stanno vendendo.