Un interprete della lingua dei segni con Raspberry Pi e IA (funziona senza cloud)
Un team di studenti ha sviluppato in sole 24 ore un sistema capace di riconoscere le lettere della lingua dei segni in tempo reale. Tutto gira su Raspberry Pi e una fotocamera AI, senza server esterni. Ne parliamo in questo blogpost.
Rendere la tecnologia più accessibile e inclusiva è una delle grandi sfide dell’Intelligenza Artificiale moderna. Da questa idea è nato un progetto innovativo presentato durante l’evento Hack-a-Bot della società di robotica dell’Università di Manchester: un interprete della lingua dei segni basato su Raspberry Pi e Intelligenza Artificiale edge, capace di riconoscere le lettere in tempo reale senza ricorrere al cloud. Con oltre cento studenti coinvolti e appena ventiquattro ore a disposizione, il team ha deciso di puntare su un obiettivo ambizioso ma concreto. Il cuore del sistema è un Raspberry Pi 3 Model B abbinato alla fotocamera Sony IMX500 AI, un sensore intelligente in grado di eseguire modelli di Machine Learning direttamente a bordo. Tale scelta elimina la necessità di server remoti, connessioni internet o GPU dedicate, garantendo velocità, privacy e bassi consumi. Il primo approccio si è basato sulla libreria MediaPipe per il tracciamento delle mani. Sebbene utile come prototipo iniziale, la soluzione non offriva la precisione richiesta per il riconoscimento affidabile delle lettere della lingua dei segni. Da qui, la decisione di sviluppare un modello personalizzato di Machine Learning utilizzando TensorFlow, costruito su misura per il progetto.
La fase di addestramento si è rivelata una delle più impegnative.
Dopo aver testato dataset esistenti, il gruppo ha scelto di crearne uno proprietario, fotografando le proprie mani mentre formavano diverse lettere, un lavoro lungo e ripetitivo, fatto di scatti, etichettatura e continui aggiustamenti del modello, ma fondamentale per ottenere risultati coerenti e di qualità. Una volta addestrato, il modello è stato ottimizzato tramite tecniche di quantizzazione per ridurne il peso e renderlo compatibile con l’hardware. Un passaggio fondamentale è stato il deployment diretto sulla fotocamera Sony IMX500, che ha eseguito l’inferenza in tempo reale; in questo modo l’elaborazione avviene interamente sul dispositivo, secondo quello che è il concetto di edge AI.
Il team ipotizza l’integrazione futura di algoritmi di segmentazione della mano per migliorare ulteriormente la precisione, soprattutto in ambienti complessi o con sfondi variabili. Sarebbe un ulteriore passo verso un interprete della lingua dei segni sempre più affidabile. Il progetto qui descritto, attraverso l’integrazione di Raspberry Pi, Machine Learning e fotocamere AI, è un’idea che può convergere in soluzioni concrete e socialmente utili, molto di più di un semplice esercizio tecnologico da hackathon, piuttosto un esempio di come l’Intelligenza Artificiale possa abbattere barriere, un passo alla volta. Il progetto è disponibile qui: Interprete della lingua dei segni Raspberry Pi – Hackster.io.
