Un avvocato brasiliano ha sfruttato una vulnerabilità dell'intelligenza artificiale per influenzare il sistema giudiziario. Inserendo istruzioni nascoste in un documento legale, ha manipolato l'AI del tribunale per generare un riassunto superficiale e non contestare gli allegati. Questo caso, scoperto dal giudice del Tribunale del Lavoro dello Stato di Parà, ha portato a una sanzione per l'avvocato, segnalato all'ordine forense per un procedimento disciplinare. È il primo caso noto in cui un avvocato è stato disciplinato per aver tentato di influenzare un giudice tramite il software.
Il fenomeno, noto come "prompt injection", è una tecnica che permette di nascondere comandi all'interno di documenti, sfruttando l'incapacità delle AI di distinguere tra testo e istruzioni. Questo tipo di attacco, inizialmente una curiosità accademica, è ora una minaccia concreta. Da esperimenti in ambito educativo, come il trucco della "banana" per smascherare studenti che usano AI, si è evoluto in un rischio per la giustizia e la sicurezza informatica globale. Le intelligenze artificiali, integrate in numerosi sistemi, possono eseguire comandi nascosti senza che gli utenti se ne accorgano, con implicazioni devastanti.
La gravità della situazione è accentuata dal fatto che la prompt injection è stata riconosciuta come una delle principali vulnerabilità dell'intelligenza artificiale da enti come OWASP e NIST. OpenAI stessa ha ammesso che questo problema è intrinseco all'architettura dei modelli di AI e difficilmente risolvibile. La fiducia cieca nelle capacità delle AI senza una verifica umana potrebbe portare a errori significativi e potenzialmente dannosi in ambiti critici come la giustizia, la sicurezza e la gestione delle informazioni.
In questa Puntata
Un avvocato brasiliano ha scoperto come manipolare la giustizia con l'intelligenza artificiale. È l'inizio di un nuovo incubo legale?