Speaker
Description
Comprendere lo sviluppo e le differenze individuali nella teoria della mente (ToM; la capacità di attribuire stati mentali agli altri) richiede strumenti di misura solidi e facilmente applicabili su larga scala. I compiti a risposta aperta - come il “Triangles task” - forniscono indicatori validi della ToM, ma richiedono uno scoring manuale molto dispendioso in termini di tempo e formazione. Nel Traingles task, ai partecipanti viene chiesto di descrivere il contenuto di alcuni filmati muti raffiguranti due triangoli animati; le risposte vengono poi valutate (tramite doppio-giudice) sulla base dell’indice di intenzionalità, che riflette il grado con cui il soggetto attribuisce stati mentali intenzionali (i.e., ToM) ai triangoli, con un punteggio da 0 a 5. Qui presentiamo TrAIngles, un software di scoring automatico delle risposte nel “Triangles task” sviluppato tramite un fine-tuning di large language models. TrAIngles è stato addestrato su un training set di 10,989 osservazioni raccolte da un campione di N = 581 partecipanti di lingua italiana, di età compresa tra 8 e 81 anni. I risultati hanno mostrato alta accuratezza e indici di affidabilità (Cohen’s kappa, ICC, Krippendorff’s alpha, Spearman’s rho) consistentemente al di sopra delle soglie comunemente utilizzate per valutare la consistenza tra due giudici umani (i.e., > .80), anche quando considerate separatamente le varie fasce di età (bambini, adolescenti, giovani adulti, adulti e anziani). TrAIngles viene apertamente distribuito per l’utilizzo tramite codice e interfaccia grafica.
| If you're submitting a symposium, or a talk that is part of a symposium, is this a junior symposium? | No |
|---|
