Recentemente, è emerso un caso interessante che riguarda l'uso di intelligenza artificiale nelle revisioni accademiche. Un paper pubblicato su Arxiv, intitolato "Meta-Reasoner", conteneva comandi nascosti destinati a ChatGPT. Questi comandi, invisibili all'occhio umano ma rilevabili da un'analisi attenta, istruiscono l'IA a produrre recensioni estremamente positive, ignorando qualsiasi critica. La scoperta è stata fatta su Reddit e ha portato alla luce 17 paper con simili manipolazioni, coinvolgendo 14 università. La NUS ha ritirato il paper, condannando l'uso improprio dell'intelligenza artificiale che compromette l'imparzialità della peer review.
La questione centrale è capire chi sia veramente responsabile: i ricercatori che inseriscono questi comandi o i revisori che si affidano ciecamente all'IA per le loro valutazioni. Questo fenomeno si collega a un concetto noto come "inattentional blindness", dove si ignorano dettagli essenziali a causa di una fiducia eccessiva nella tecnologia. La tecnica utilizzata è conosciuta come "adversarial prompting", ovvero la creazione di prompt che contrastano altri prompt.
Dal mio punto di vista, non c'è nulla di intrinsecamente errato nell'uso di tali tecniche per difendersi da revisori che non svolgono adeguatamente il loro lavoro. È un modo per proteggersi da giudizi non umani, in linea con il principio dell'human in the loop, che sostiene che le decisioni che impattano sugli umani debbano essere prese da umani. Tuttavia, in ambito di cyber security e knowledge management, l'assenza di controlli su questi contenuti può diventare pericolosa.
È necessario sviluppare framework che rilevino tali manipolazioni e responsabilizzino gli autori. Inoltre, la formazione sull'etica dell'intelligenza artificiale dovrebbe essere obbligatoria, non solo per gli accademici, ma soprattutto per i revisori, che devono valutare basandosi su metriche umane piuttosto che affidarsi ciecamente alle macchine.
In conclusione, la responsabilità di una revisione accurata e imparziale ricade sui revisori stessi, che devono evitare di delegare decisioni critiche alle intelligenze artificiali. Questo episodio sottolinea l'importanza di una maggiore consapevolezza e responsabilità nell'uso delle tecnologie AI.
In questa Puntata
Un nuovo studio rivela l'uso di comandi nascosti nei paper accademici per influenzare le revisioni automatiche da parte di intelligenze artificiali. Questo fenomeno solleva dubbi sull'integrità della peer review e mette in luce la necessità di un intervento umano più attento e responsabile. La questione centrale riguarda la responsabilità dei revisori e l'etica nell'uso dell'intelligenza artificiale.