5 min di lettura
La vostra funzione di IA ha bisogno di un set di valutazione, non di una demo
Una demo convincente dimostra che qualcosa può funzionare una volta. Un set di valutazione vi dice quanto spesso.
I modelli linguistici sono bravissimi a produrre demo convincenti. Date loro una fattura ben scelta ed estraggono correttamente ogni campo. Questo dimostra che l’approccio può funzionare. Non dice nulla delle cento fatture con note a mano, scansioni storte e layout insoliti che arriveranno il mese prossimo.
Partite da cinquanta casi reali
Prima di scrivere un prompt, raccogliete esempi reali dal flusso di lavoro — anonimizzati dove necessario — e annotate per ciascuno la risposta corretta. Cinquanta casi bastano per iniziare; includete apposta quelli scomodi. Questo set diventa il metro di ogni decisione successiva.
Prima misurare, poi decidere
Con un set di valutazione, domande come «quale modello?» o «questo prompt è migliore?» smettono di essere questioni di gusto. Eseguite il set, confrontate i risultati e guardate gli errori. Spesso la scoperta più preziosa è capire quali input il sistema non dovrebbe affatto gestire in automatico.
Progettate per i casi incerti
Nessuna estrazione o classificazione sarà perfetta. Un sistema in produzione ha bisogno di un percorso definito per i risultati incerti: una coda di revisione, una soglia di confidenza, una persona che vede il documento originale accanto ai dati estratti. Progettare questo percorso è lavoro di ingegneria — ed è ciò che distingue un pilota da un sistema.
La demo resta utile. Solo, non dovrebbe essere l’ultimo test.