Negli ultimi tempi, OpenAI ha rilasciato un nuovo classificatore progettato per identificare se un testo è stato scritto da GPT-3. Ho condotto una serie di esperimenti per valutarne l'efficacia. Il classificatore analizza mille token di testo per determinare la probabilità che siano stati generati da un'intelligenza artificiale. Tuttavia, i risultati sono stati deludenti.
In un articolo del Guardian, noto per essere stato scritto da GPT-3, il classificatore ha erroneamente indicato che era improbabile fosse stato generato da un'IA. Al contrario, un testo scritto da me e Daniele Chieffi è stato classificato come probabilmente generato da un'IA, nonostante fosse opera nostra. Questi test evidenziano le limitazioni del classificatore, soprattutto con testi in italiano.
Ho anche esplorato l'uso di strumenti di parafrasi come Quillbot, che alterano il testo per evitare il rilevamento. Dopo aver modificato un testo generato da GPT-3, il classificatore non è stato in grado di determinare chiaramente l'origine del contenuto.
Queste esperienze sollevano domande sull'utilità di determinare se un testo è stato scritto da un'IA. Se un lavoro soddisfa le aspettative, importa davvero chi o cosa lo ha creato? In ambito educativo, ad esempio, pongo ai miei studenti domande che richiedono un ragionamento critico, consentendo l'uso di materiali di riferimento. Questo approccio sottolinea la necessità di comprendere e applicare la conoscenza, piuttosto che semplicemente riprodurla.
In conclusione, il vero valore di strumenti come GPT-3 potrebbe risiedere nel liberare tempo per migliorare la qualità del lavoro umano, piuttosto che sostituirlo del tutto. La sfida non è tanto scoprire se un testo è stato generato da un'IA, ma capire quanto sia stato influenzato dall'intervento umano.
In questa Puntata
OpenAI ha lanciato un nuovo classificatore per identificare i testi generati da GPT-3, ma i risultati sono deludenti. In vari test, l'accuratezza è bassa, con molti falsi positivi e negativi. La discussione si amplia sul valore del contenuto generato dall'IA rispetto a quello umano e sull'efficacia di strumenti simili nel contesto educativo e professionale.