Raspberry Pi è appena diventato il tuo assistente AI economico grazie a NightRun

Quando parliamo di modelli linguistici locali, il pensiero va subito a GPU potenti, decine di gigabyte di RAM e setup complessi. NightRun ribalta completamente questa idea: è un progetto che fa avviare un LLM direttamente da una chiavetta USB o da una scheda SD, senza sistema operativo, senza rete, senza nulla. Basta un Raspberry Pi 5 con 8 GB di RAM, e il vostro mini computer si trasforma in un chatbot dedicato.

L’idea è semplice quanto radicale: invece di installare un OS, scaricare un runtime e configurare tutto, NightRun è una singola applicazione UEFI scritta in Rust che il firmware della macchina avvia direttamente. Carica il modello in RAM, disegna la sua interfaccia pixel per pixel e vi lascia chattare. Due soli comandi disponibili: /clear per azzerare la conversazione e /bye per spegnere. Niente di più.

Il progetto supporta quattro modelli, tutti nella fascia tra 1,3 e 2,4 GB: Llama 3.2 da 1B e 3B parametri, Granite 4.1 3B e Qwen3 4B.

Tutto gira solo su CPU, il che significa che non aspettatevi risposte istantanee, ma significa anche che funziona su hardware che avete già in casa. Il contesto è limitato a 4.096 token, una finestra che fino a qualche anno fa avrebbe prodotto risposte insensate, ma che oggi i modelli piccoli gestiscono sorprendentemente bene.

Chi ha testato il progetto ha fatto girare il modello Qwen3 4B su un laptop per comodità di ripresa, confrontando i risultati con quelli di Lemonade, un runtime tradizionale con lo stesso modello. Le risposte di NightRun erano leggermente più corte e prive di formattazione markdown, ma sostanzialmente equivalenti in qualità. Su sei domande di test, NightRun ne ha sbagliate due, nessuna delle quali era quella trabocchetto: un problema di orario che richiedeva un calcolo aritmetico, risolto correttamente. Il limite più evidente è la mancanza di supporto Unicode, che causa la perdita di alcuni accenti nelle risposte in lingue diverse dall’inglese.

L’installazione è pensata per essere semplice, ma il progetto è giovane e qualche problema di compatibilità con le versioni recenti del compilatore Rust può far saltare la build. Chi usa Windows può aggirare i problemi più comuni costruendo l’immagine con cargo xtask image e scrivendola sulla chiavetta con Rufus in modalità DD, saltando il passaggio via WSL2 che causa errori di verifica. NightRun è comunque molto attento alla sicurezza del flashing: verifica i checksum del modello mentre lo carica in memoria, rifiuta di scrivere su dischi di sistema e richiede di digitare esplicitamente il percorso del dispositivo prima di procedere.

La cosa forse più interessante di NightRun non è tecnica ma concettuale: un Raspberry Pi con una scheda SD che avvia direttamente un chatbot non è un computer che esegue un’app AI, è un elettrodomestico AI. Un oggetto dedicato, isolato dalla rete, che non tocca il vostro sistema operativo e non trasmette nulla all’esterno. Per chi vuole sperimentare con l’AI locale su hardware minimalista, è probabilmente il punto di partenza più radicale che esista oggi.

Il progetto è ancora acerbo e si rompe con gli aggiornamenti del toolchain, ma dimostra qualcosa di importante: i single-board computer come il Raspberry Pi sono più capaci di quanto molti pensino, e i modelli piccoli hanno fatto passi enormi. Vale la pena tenerlo d’occhio, anche solo per capire dove sta andando l’edge computing con AI locale.