0.01_Problem_statement

Requisiti del Progetto

Segue una descrizione dei vari requisiti individuati durante l'incontro effettuato in data 2024-10-28.

Possibili ruoli individuati:

• Proprietario
• Moderatore
• Utente

Segue ora una breve descrizione dei vari compiti assegnati ai rispettivi ruoli

1. Proprietario

Il Proprietario è colui che crea il progetto in primo luogo. Il suo ruolo è principalmente quello di supervisionare l'intero progetto dal lato gestionale, occupandosi di invitare al progetto i vari Utenti già registrati al servizio (e teoricamente facenti parte della sua azienda) e di gestirne il flusso di lavoro ed eventuali conflitti di etichettatura. Per fare ciò ha alcuni strumenti a sua diposizione:

• Essendo questo progetto uno strumento principalmente improntato a una metodologia Agile, il Proprietario ha la facoltà di impostare un tempo limite entro cui i vari Utenti dovranno completare la propria etichettatura. Tale tempo sarà scelto a totale discrezione del Proprietario, con però alcune accortezze: ogni documento deve essere etichettato da almento due Utenti, al fine di garantire un'etichettatura consona ed evitare errori umani.
• Nel caso di progetti molto ampi può essere molto utile suddividere il carico di lavoro tra vari utenti, pertanto il Proprietario ha la facoltà di suddividere gli utenti in vari gruppi. In tal modo è dunque possibile lavorare su grandi moli di dati con una copertura superiore, potendo così abbreviare il tempo di etichettatura senza inficiarne eccessivamente la qualità.
• Al fine di monitorare l'andamento del progetto, il Proprietario ha accesso ad alcune metriche riguardo il lavoro svolto dai vari Utenti nel proprio progetto. Tali metriche includono quanti documenti ha etichettato l'Utente fino a quel momento e la lunghezza media dei documenti etichettati dall'Utente, oltre a un generico profilo dell'Utente con i suoi dati per il determinato progetto.

Essendo a capo del progetto, il Proprietario infine può decidere di chiuderlo a sua discrezione, eliminare Utenti dal progetto ed assegnare poteri ad eventuali Moderatori. Inoltre è importante tenere presente che il Proprietario ha sempre anche tutti i poteri del Moderatore elencati di seguito, quindi in caso di progetti più piccoli è possibile operare senza Moderatori.

2. Moderatore

Il ruolo di Moderatore è quello di assistere il Proprietario in tutte quelle operazioni in cui è richiesta l'attenzione e la decisione di un ruolo superiore a quello dell'Utente. Una volta che i vari Utenti hanno consegnato le varie etichettature è possibile che ci siano dei conflitti nel caso di due o più etichettature differenti dello stesso documento, ed è proprio compito del Moderatore risolvere tali conflitti. Per fare ciò è possibile prima di tutto procedere con una procedura automatizzata per risolvere eventuali conflitti dovuti a sinonimi e/o eventuali errori di battitura come ad esempio la stessa etichetta scritta con l'iniziale maiuscola o minuscola. In caso in cui ciò non dovesse bastare sarà possibile aprire una discussione con i vari Utenti che hanno etichettato il documento al fine di decidere un set definitivo di etichette. Una volta presa una decisione, anche eventualmente tramite l'uso di sondaggi all'interno della discussione, sarà compito del Moderatore assegnare la corretta etichettatura finale e chiudere la discussione.

Il Moderatore ha anche il compito di segnalare al Proprietario eventuali comportamenti malevoli da parte degli Utenti per provvedere al loro allontanamento dal progetto.

3. Utente

L'Utente è il componente base dell'Analisi Qualitativa.

In una prima fase esso lavora indipendentemente da altri Utenti assegnati agli stessi documenti al fine di evitare bias nelle etichettature. L'Utente può inserire varie etichette associandole a un determinato documento. Per ridurre errori e velocizzare il lavoro è possibile salvare le proprie etichette, dato che vari documenti potrebbero condividere la stessa etichetta ed è facile incorrere in errori digitando più e più volte la medesima parola. Le etichette vengono salvate nel momento in cui l'Utente invia la propria etichettatura e vengono successivamente ordinate in base al numero di utilizzi.

Successivamente alla fase di etichettatura, l'Utente può essere convocato in varie discussioni riguardo i propri documenti etichettati in caso in cui fossero presenti conflitti. L'Utente potrà liberamente partecipare alla discussione e votare ad eventuali sondaggi messi a disposizione dal Moderatore.

Fine ultimo

Al termine delle fasi di etichettatura e revisione dei conflitti saranno fornite ulteriori metriche al Proprietario, come Inter-Rater Agreement e quali etichette sono state utilizzate e quante volte. Tali dati saranno forniti al Proprietario in modo grafico.

Funzionalità opzionali

Sono state inoltre individuate alcune funzionalità opzionali per il progetto, di seguito elencate:

• Possibilità di affiancare in ogni team uno o più LLM che agiscono come Utenti, andando a etichettare i vari documenti e ampliando così la forza lavoro.
• Possibilità di evidenziare il testo con vari colori e associare un'etichetta a quel determinato colore. In caso di documenti molto lunghi può essere utile associare etichette specifiche a determinate porzioni di testo, oltre che a migliorarne la leggibilità complessiva.
• L'Utente ha la possibilità di visualizzare i propri documenti etichettati.