Un Successo nella Ricerca Scientifica

13 settembre 2026 – ore 10:00 – Può l’intelligenza artificiale aiutarci a capire quanto sia solido un risultato scientifico? È la domanda al centro della Predicting Replicability Challenge, competizione internazionale promossa dal Center for Open Science, nella quale Federico D’Atri, dottorando all’Università di Trieste, si è classificato al terzo posto, ottenendo un premio di 3.375 dollari. Com’è nello spirito della proposta editoriale Faglia Doppia, abbiamo cercato di capirne qualcosa in più, intervistando l’autore del progetto per approfondire il significato di un risultato che contribuisce a valorizzare il sistema della ricerca e dell’innovazione “Made in Trieste”, a partire dalla breve nota pubblicata dallo stesso ateneo giuliano. Federico D’Atri ha partecipato alla challenge nell’ambito di SCORE, un ampio progetto coordinato principalmente dal Center for Open Science con l’obiettivo di verificare quanto siano replicabili diversi risultati pubblicati nella letteratura scientifica. Il progetto ha preso in esame centinaia di risultati, o claim, provenienti soprattutto dalle scienze sociali e da discipline come la psicologia cognitiva, la psicologia clinica e le neuroscienze, cercando di ripetere gli esperimenti originali per verificare se producessero nuovamente risultati analoghi.

La replicazione degli studi scientifici è infatti uno degli strumenti utilizzati per verificare l’affidabilità di un risultato. Ripetere uno studio, però, può essere molto costoso: bisogna ricostruire il più fedelmente possibile le condizioni dell’esperimento originale, reclutare nuovi partecipanti, raccogliere i dati e analizzarli. In alcuni casi sono inoltre necessari campioni più numerosi rispetto a quelli utilizzati nello studio di partenza. Da qui nasce una delle domande affrontate dal progetto: è possibile utilizzare l’intelligenza artificiale per stimare in anticipo quanto sia probabile che un risultato scientifico venga replicato? Su questo interrogativo è stata costruita la challenge. Ai partecipanti è stato messo a disposizione un archivio di risultati già sottoposti a replicazione, che poteva essere utilizzato per sviluppare e addestrare i propri modelli. Successivamente, in tre diversi round, sono stati proposti nuovi studi dei quali i concorrenti non conoscevano ancora l’esito della replicazione. Per ciascun risultato scientifico, il modello doveva quindi indicare la probabilità che venisse confermato da un nuovo esperimento. Gli organizzatori fornivano diverse informazioni sullo studio originale, come la dimensione del campione, la grandezza dell’effetto osservato, alcuni indicatori statistici e la disciplina di provenienza.

Perché ha deciso di partecipare a questo progetto? “Ho deciso di partecipare perché la replicabilità degli studi, la riproducibilità e la robustezza dei claim scientifici mi interessano da tempo, almeno da quando ho conseguito la laurea magistrale in Psicologia qui a Trieste”, spiega D’Atri: “Come penso sia successo a tante altre persone, sono rimasto deluso, arrivato a un certo punto del mio percorso, nello scoprire che alcuni insegnamenti ricevuti erano scoperte non molto affidabili, oppure che altri ricercatori che avevano provato a riprodurle in maniera indipendente non erano riusciti a trovare lo stesso risultato. È un problema che non riguarda solo la psicologia ma molte scienze non dure: l’economia comportamentale, la medicina e altri ambiti. Ho quindi iniziato a interessarmi soprattutto al tema della replicabilità. La crisi è nata soprattutto nell’ambito della psicologia sociale, che quando sono state avviate le prime repliche sistematiche, all’inizio degli anni Dieci, era proprio la disciplina che replicava meno di tutte. In parte, la risposta che ci si è dati, ed effettivamente è così, è che c’erano problemi metodologici, sia a livello degli studi sia legati agli incentivi a pubblicare risultati che confermassero le ipotesi. Tutto questo porta a una maggiore inaffidabilità della letteratura e incentiva pratiche che rendono meno affidabili i risultati. Può succedere banalmente che un ricercatore faccia uno studio, guardi i dati, provi tanti tipi di analisi, selezioni quelle che vanno meglio, quelle che gli sembrano migliori, e poi costruisca una storia attorno a quei risultati. In alcuni casi, quindi, ci sono ipotesi che vengono costruite post hoc e poi tutta la narrazione dello studio finisce per supportarle. Ci sono anche pratiche che possono sembrare meno eticamente scorrette, ma che dal punto di vista metodologico sono comunque inadeguate e portano a sostenere claim che hanno meno probabilità di replicare”.

Nell’ambito del progetto che ha visto D’Atri distinguersi, era disponibile l’intero articolo scientifico in cui il risultato era stato pubblicato. Partendo da questi elementi, ogni gruppo poteva scegliere liberamente quale sistema di machine learning o di intelligenza artificiale utilizzare. Il compito non consisteva semplicemente nello stabilire se uno studio avrebbe replicato oppure no. I modelli dovevano assegnare a ogni risultato una probabilità, per esempio del 60, dell’80 o del 90 per cento. In questo modo era possibile valutare non soltanto quante previsioni fossero corrette, ma anche quanto il modello fosse in grado di stimare correttamente la propria incertezza: un sistema che indica una probabilità del 90 per cento dovrebbe infatti essere molto più sicuro della propria previsione rispetto a uno che indica il 55 per cento. Per stabilire il risultato della challenge, gli organizzatori utilizzavano una definizione semplificata di replicazione: il nuovo studio doveva osservare un effetto nella stessa direzione di quello originale e raggiungere una determinata soglia di evidenza statistica. Il risultato veniva quindi classificato come replicato oppure non replicato e confrontato con la probabilità precedentemente assegnata dai modelli. D’Atri ha sviluppato un modello capace di combinare le caratteristiche quantitative degli studi con il contenuto degli articoli scientifici, per stimare la probabilità che i relativi risultati potessero essere replicati.

Il sistema sviluppato da D’Atri combinava infatti due diverse fonti di informazione. Da una parte utilizzava i dati numerici e i metadati messi a disposizione dagli organizzatori, come la dimensione del campione, gli indicatori statistici e l’ambito disciplinare dello studio. Dall’altra analizzava l’intero testo dell’articolo scientifico attraverso un Large Language Model open weight, cioè un modello linguistico i cui parametri sono accessibili agli sviluppatori. La difficoltà è aumentata soprattutto nell’ultimo round della challenge, dedicato esclusivamente a studi relativi agli “health behavior”, cioè ai comportamenti legati alla salute. Nel materiale utilizzato per sviluppare i modelli erano presenti pochi studi di questo tipo: i sistemi dovevano quindi fare previsioni su ricerche abbastanza diverse da quelle sulle quali avevano imparato. Era, di conseguenza, una prova particolarmente importante della loro capacità di generalizzare, cioè di applicare ciò che avevano appreso anche a casi nuovi. È proprio in questo round che il modello di D’Atrio ha ottenuto il suo risultato migliore.

Si aspettava il risultato ottenuto? “Nell’ultimo round mi aspettavo di fare bene, perché è stato l’unico in cui sono riuscito a dedicare del tempo effettivamente a fare fine-tuning di un Large Language Model. Negli altri round ho usato sempre metodi quantitativi, ma più grezzi, che richiedessero meno risorse, sia di tempo sia economiche. Nell’ultimo ho avuto più tempo. Anche visti i risultati del secondo round, mi ero fatto abbastanza un’idea di cosa avessero potuto fare gli altri team per raggiungere risultati così buoni. Ho quindi risimulato da zero il secondo round per capire effettivamente se la mia strategia fosse buona e se avessi potuto fare bene. Risimulando il secondo round con il modello che avevo sottoposto a fine-tuning, avrei vinto il secondo round. Quindi mi aspettavo che avrei fatto bene nel terzo round, magari non necessariamente di arrivare tra i primi tre, però. Nell’ultimo round c’era una quindicina di team. Non so in totale quante fossero le persone, perché la maggior parte dei team era composta da più persone. Io ero da solo, anche se inizialmente volevo farlo con altre persone. Avevo contattato degli studenti qui a Trieste di Data Science e Artificial Intelligence, ma poi loro hanno avuto altri impegni. Comunque, le persone intellettualmente curiose e talentuose di solito hanno sempre qualcosa da fare, quindi purtroppo alla fine l’ho fatto da solo”.

L’intelligenza artificiale potrà aiutare molti altri ricercatori a verificare la propria ricerca? Qual è il lavoro delle persone che non potrà essere invece sostituito dalle macchine? “Potrà. In generale, sicuramente i modelli, anche i migliori che sono stati costruiti dai vari gruppi in questa challenge, avranno bisogno di ulteriore sviluppo. Durante i tre round, soprattutto dal primo al secondo, c’è stato un grande miglioramento dei modelli, probabilmente anche perché i team che partecipavano hanno capito cosa funzionava meglio e cosa no. Questi modelli, ulteriormente sviluppati — e questo accadrà sicuramente in futuro — daranno una grande mano a capire, con un costo molto basso, se un claim o un insieme molto grande di claim scientifici, quindi provenienti da diversi paper, sia abbastanza affidabile oppure no. Attualmente c’è ancora bisogno di lavorare su questi modelli, ma l’Ia sta avanzando molto velocemente ed è sempre più facile addestrare i modelli e farli girare in locale. Diventerà sempre più semplice. Alla fine, se vuoi avere veramente la certezza, cioè se vuoi avere l’informazione migliore possibile sul fatto che uno studio replichi o meno, devi rifare lo studio e replicarlo veramente. Inoltre, questi modelli al momento sono ancora in uno stato abbastanza acerbo per fare questo tipo di compito. Sono migliorati molto, ma per prevedere meglio la replicabilità servirà che altre persone facciano intanto delle repliche. Queste informazioni potranno poi essere utilizzate per addestrare meglio i modelli. Più dati avremo su quali claim replicano e quali no, più possiamo costruire modelli che predicono meglio se questi claim replicano o meno. E poi niente toglie che, se vuoi l’informazione di qualità e con la maggiore precisione possibile, la cosa migliore sia replicare al meglio che puoi lo studio originale”.

Il modello D’Atri può essere consultato da qualche parte? “Ancora no, però presto sì, perché sto aspettando che il Center for Open Science pubblichi dati granulari con gli outcome delle repliche effettivamente realizzate dagli studiosi. Per ora hanno dato solo dei grafici con le performance aggregate sul dataset. Nel giro di massimo uno o due mesi rilasceranno i dati granulari e, a quel punto, pubblicherò anche il modello su un repository pubblico, probabilmente su Hugging Face o GitHub, e poi sarà utilizzabile. Magari mostrerò anche un esempio di utilizzo. Comunque, i metodi di tutte le squadre, non solo quelli dei vincitori, saranno pubblicamente disponibili nei prossimi mesi. L’idea era di rendere tutto assolutamente pubblico fin dall’inizio. Anche il modello che sono andato a fine-tunare: ottenere questi risultati, cioè fare previsioni buone, è possibile anche perché esistono Large Language Models open weight che chiunque può scaricare e che sono disponibili gratuitamente. L’unica cosa che serve è avere una macchina in grado di farli girare, cosa che ancora non è sempre così semplice, però sperabilmente sarà sempre più facile”.

Questi modelli potrebbero cambiare in futuro il modo di fare ricerca scientifica, quando diventeranno migliori? Permetteranno anche di selezionare le ricerche per cui vale la pena fare effettivamente delle sperimentazioni concrete? “Sì, e non solo questi modelli. I modelli migliori, sviluppati da vari team, utilizzano tutti almeno in parte dei Large Language Models che sono stati addestrati appositamente per questo compito. I Large Language Models stanno già cambiando moltissimo il modo in cui si fa ricerca e sicuramente anche in quest’area, nella valutazione dell’affidabilità di una letteratura scientifica o di un claim, verranno utilizzati e produrranno dei cambiamenti. Per quanto riguarda la seconda domanda, non ora; in futuro penso di sì. Ad esempio, potrebbe darsi il caso che un ricercatore voglia basare parte del suo studio su alcune ricerche precedenti, non fatte – o fatte in parte – da lui e dal suo gruppo, e magari non abbia abbastanza risorse per replicare tutti gli studi originali. Gli serve tuttavia sapere se sono più o meno affidabili. In quel caso potrebbe esserci un caso d’uso: se vedo che i claim su cui si basa il mio nuovo esperimento sembrano tutti essere abbastanza affidabili e replicano, per esempio, in media all’80 per cento, allora magari posso essere più sicuro nel fare il mio studio. Potrebbe essere più facile anche fare delle predizioni sugli effetti che mi aspetto o decidere quali analisi fare. Se invece alcuni sembrano molto affidabili e altri no, e uno studio che era centrale per la mia ricerca mi sembra estremamente inaffidabile, ma è comunque molto rilevante, allora magari mi conviene provare a replicarlo direttamente e vedere se effettivamente è solido oppure no. Quindi mi sembra una prospettiva molto utile, soprattutto in un contesto in cui purtroppo non si hanno sempre, realisticamente, le risorse e il tempo necessari per replicare tutto ciò che ci serve”.

Nelle università italiane i fondi destinati alla ricerca e alla sperimentazione sono adeguati? “Nell’università italiana mediamente girano meno soldi di quanto si auspichi. Uno dei problemi è che, anche quando si investono soldi, in Italia si tende a spenderli velocemente con progetti a breve o medio termine, senza prevedere di introdurre delle innovazioni più strutturali. Ad esempio, con il PNRR sono stati assunti moltissimi profili post doc e moltissimi dottorandi. Quando finirà il PNRR tanti rischieranno di trovarsi senza lavoro perché, strutturalmente, tutto è rimasto uguale a prima, se non forse peggio. Ora questo è un ragionamento “spannometrico”: bisognerebbe andare a vedere i numeri”

Nota magari un certo scetticismo nell’utilizzare, in generale, l’intelligenza artificiale per capire la solidità di un risultato scientifico? “Onestamente, avere un po’ di scetticismo e dubitare sicuramente fa bene. Io sono partito con questa sfida abbastanza scettico sull’abilità attuale dei Large Language Models di riuscire a prevedere bene se effettivamente i claim replicassero o meno. È una cosa estremamente difficile anche per un esperto del settore. Anche se sei esperto di una certa area di ricerca, per esempio la cognizione numerica, e hai davanti un claim di cognizione numerica, comunque è molto complicato prevedere se quel claim replicherà o meno. Anche per gli esperti. Mi sembrava quindi, onestamente, un compito un po’ oltre le capacità di questi modelli. Soprattutto vedendo i risultati di altri team nel secondo round, però, mi sono detto: effettivamente, se c’è qualcuno che è in grado di farli funzionare abbastanza bene, di estrarre parecchio segnale e di fare previsioni molto buone, è giusto essere ancora scettici, anche con l’obiettivo di avere previsioni migliori, che siano le migliori possibili, per capire ancora cosa non funziona, cosa funziona male e cosa si potrebbe fare meglio rispetto a quello che c’è ora”.

Approfondimento a cura di Aurora Cauter e Lilli Goriup

_________________________________________________________

Faglia Doppia è il format di approfondimento di Trieste News nato dall’idea che una notizia non abbia mai una sola chiave di lettura. Ogni articolo è scritto a quattro mani: due firme, due sensibilità, due percorsi di ricerca che convergono in un’unica analisi costruita attraverso verifica delle fonti, confronto e lettura critica dei fatti. Il nome richiama le faglie che attraversano territori, comunità e società: linee di frattura storiche, culturali, economiche e sociali spesso invisibili in superficie, ma fondamentali per comprendere ciò che accade. Da qui nasce il concetto di Faglia Doppia: osservare gli eventi nel loro sviluppo immediato e, allo stesso tempo, nelle cause profonde e nelle conseguenze che producono. La doppia firma non rappresenta soltanto una scelta editoriale, ma un metodo di lavoro. Ogni approfondimento nasce dall’incontro di punti di vista differenti che si confrontano, si verificano reciprocamente e contribuiscono a costruire una lettura più ampia e articolata della realtà. Faglia Doppia non è cronaca in tempo reale. È uno spazio dedicato all’approfondimento, al contesto e all’analisi. Un luogo editoriale in cui dati, documenti, testimonianze e interpretazioni vengono messi in relazione per offrire ai lettori strumenti utili non solo a conoscere i fatti, ma a comprenderne il significato. Perché informare significa raccontare ciò che accade. Comprendere significa andare oltre.