Speaker
Description
Introduzione. La validità di contenuto rappresenta un elemento cruciale nello sviluppo dei test psicometrici. Con l'avvento dei Large Language Models (LLMs), è oggi possibile analizzare la coerenza semantica degli item in maniera preliminare, senza la necessità di raccogliere dati empirici da campioni di rispondenti. Metodo. Utilizzando gli embedding testuali generati dagli LLMs, analizziamo la similarità semantica tra gli item e il loro allineamento con le strutture fattoriali teoriche attese. La metodologia prevede l'utilizzo di item provenienti da differenti strumenti psicometrici validati, tra cui l' IPIP-50, il RIASEC Questionnaire, l’Humor Styles Questionnaire (HSQ) il Depression Anxiety Stress Scales (DASS-42) e il Multidimensional Sexual Self-Concept Questionnaire (MSSCQ), al fine di valutare la correlazione tra la semantica degli item e il loro raggruppamento nei principali fattori psicometrici. Risultati. I risultati del nostro studio suggeriscono che gli embedding generati dagli LLMs, sono in grado di catturare in modo efficace e affidabile le somiglianze semantiche tra gli item in tutti i questionari analizzati, mostrando correlazioni da moderate ad elevate con le strutture fattoriali derivanti dalle risposte umane. Conclusioni. Questi risultati suggeriscono che l’analisi semantica basata su LLMs può rappresentare un valido contributo oggettivo e innovativo alla fase di costruzione e validazione dei test, migliorando la coerenza interna degli item e aumentando l'efficienza dei processi di costruzione e validazione psicometrica.
