Speaker
Description
La stima dell’accordo tra valutatori su compiti di classificazione booleana si basa sul conteggio delle concordanze osservate, eventualmente aggiustato per la probabilità di accordo dovuto al caso. Una classificazione booleana, a sua volta, può essere considerata come il risultato di un modello a due costrutti. Il primo è la teoria del valutatore, ossia la soggettiva valutazione sul grado di appartenenza degli oggetti alle varie categorie, il secondo è una soglia, fissa e unica per ogni valutatore: quando il grado di appartenenza supera la soglia, l’oggetto viene classificato come appartenente alla data categoria. In alcune circostanze le soglie dei valutatori hanno un forte impatto nella stima del loro accordo e possono portare a distorsioni anche notevoli.
Per limitare questo problema abbiamo ideato due modelli Bayesiani, uno di stima della soglia dei valutatori e l’altro della loro teoria. Sulla base di queste stime è possibile parificare le soglie e correggere le eventuali distorsioni. Attraverso uno studio di simulazione Monte Carlo abbiamo poi posto a confronto la precisione degli indici tradizionali rispetto a quelli corretti. Tra i fattori manipolati vi sono il numero di valutatori - 3 o 6 - e la disponibilità di una prior informativa.
I risultati confermano che gli indici corretti superano i loro corrispettivi tradizionali. Tale miglioramento è direttamente proporzionale alle differenze tra le soglie dei valutatori. Saranno discusse infine le possibili applicazioni, le prospettive di sviluppo e, più in generale, la riproducibilità e la validità delle misure e della ricerca.
| If you're submitting a symposium, or a talk that is part of a symposium, is this a junior symposium? | No |
|---|
