INTELLIGENZA ARTIFICIALE · CYBER-MED
Agenti AI: un test utile include anche quando fermarsi.
Risposte corrette, informazioni mancanti e richieste fuori perimetro: definire prima il risultato atteso rende più chiara la valutazione di un assistente aziendale.
Dal compito al risultato atteso
Una dimostrazione riuscita è un punto di partenza. Per valutare un agente AI serve anche descrivere come dovrebbe comportarsi quando non trova una fonte, riceve una domanda ambigua o incontra una richiesta oltre i permessi assegnati.
Il NIST AI RMF Playbook, nella funzione Measure, propone di documentare casi di test, metriche e strumenti di valutazione. Il riferimento aiuta a impostare un confronto verificabile tra obiettivo del sistema e comportamento osservato.
Tre casi fittizi da mettere alla prova
Immaginiamo un assistente che cerca procedure interne in documenti autorizzati. I materiali dell’esempio sono fittizi e non contengono informazioni di clienti o dati sanitari. Prima della prova, il team concorda che cosa considerare un risultato adeguato per ciascun caso.
- Fonte disponibile: trovare la procedura pertinente e indicare il documento utilizzato.
- Informazione insufficiente: segnalare la fonte mancante o chiedere un chiarimento, senza completare il vuoto con dettagli inventati.
- Richiesta oltre i permessi: rispettare il perimetro definito e indirizzare il passaggio previsto dalla procedura aziendale.
Confrontare atteso e osservato
Per ogni prova si può registrare la domanda, le fonti disponibili, la versione del sistema, il risultato atteso e quello osservato. Anche un chiarimento richiesto al momento opportuno può essere un esito utile: conta la coerenza con il processo concordato, non solo la presenza di una risposta.
Un risultato inatteso va esaminato prima di ampliare l’uso: il problema riguarda una fonte, un permesso, la formulazione della richiesta o un limite del sistema? Le correzioni e le prove successive devono restare documentate.
La verifica continua nel tempo
Una prova circoscritta non garantisce affidabilità in ogni situazione. Cambiamenti ai documenti, ai ruoli o al sistema possono richiedere nuove verifiche. Il primo confronto con Cyber-Med può partire dal processo e dai risultati che il team vuole osservare, usando inizialmente esempi fittizi.
Fonti e approfondimenti
NIST AI RMF Playbook — Measure, in particolare 1.1 e 2.1
NIST — AI Risk Management Framework
Fonti consultate il 19/10/2026. AI RMF è un riferimento volontario; il NIST segnala che AI RMF 1.0 è in aggiornamento. I tre casi e le domande operative sono una proposta divulgativa Cyber-Med, non una checklist ufficiale NIST, una certificazione o risultati di test realmente svolti su un prodotto.
Scopri il servizio Cyber-Med ↗
Il tema in 35 secondi
Video divulgativo senza audio, con testi italiani a schermo. Sottotitoli e trascrizione in italiano e inglese.
Leggi la trascrizione
- 00:00–00:07 Sa anche fermarsi? Un test utile verifica risposte, richieste di chiarimento e rispetto del perimetro.
- 00:07–00:14 Che cosa ci aspettiamo? Esempio fittizio: cercare una procedura interna e indicare la fonte utilizzata.
- 00:14–00:21 E se manca l’informazione? Definire quando segnalare una fonte assente o chiedere chiarimenti, senza inventare.
- 00:21–00:28 Atteso e osservato. Registrare caso, fonti, risultato e problema emerso. Verificare anche i limiti di accesso.
- 00:28–00:35 Correggere. Riprovare. Una prova non garantisce ogni esito. Scegliamo il primo processo: info@cyber-med.it
Guarda il carosello: 5 schede
