Ho dedicato tempo a esaminare Gemini, il nuovo modello di linguaggio di Google, e sono rimasto sorpreso da quanto le informazioni ufficiali siano lontane dalla realtà. Google ha dichiarato che Gemini supera GPT-4 in diversi benchmark, ma un'analisi più approfondita rivela che i test sono stati condotti in condizioni non paritarie. Ad esempio, mentre Gemini ha ricevuto 32 passaggi di "Chain of Thoughts" per risolvere i problemi, GPT-4 ne ha ricevuti solo 5, alterando i risultati a favore di Gemini.
Inoltre, il confronto è stato effettuato tra Gemini Ultra, una versione non ancora disponibile, e una vecchia versione di GPT-4, non tenendo conto dei miglioramenti più recenti. Questo è come confrontare studenti di classi diverse e dichiarare che uno è superiore solo perché ha ricevuto più istruzioni.
Anche il video di presentazione di Gemini è ingannevole. Le dimostrazioni mostrate non sono eseguite in tempo reale, ma sono state pre-registrate e montate per sembrare più impressionanti di quanto siano in realtà. Non c'è interazione diretta con video o audio, ma solo immagini statiche e spiegazioni aggiuntive che non riflettono un uso reale del modello.
Google sembra in difficoltà nel tenere il passo con OpenAI e, piuttosto che affrontare le sfide attraverso l'innovazione autentica, ha scelto di manipolare la percezione del pubblico. Questo approccio non solo inganna i consumatori, ma mina anche la fiducia degli investitori e del mercato.
In conclusione, mentre capisco le pressioni competitive, credo fermamente che la trasparenza e l'integrità dovrebbero guidare le comunicazioni aziendali, specialmente in un campo delicato come l'intelligenza artificiale. I dati su Gemini Ultra, non essendo verificabili, lasciano molti dubbi aperti. Invito tutti a riflettere criticamente su queste presentazioni e a non accettare passivamente le informazioni fornite.
In questa Puntata
Il nuovo modello di linguaggio di Google, Gemini, è stato presentato con affermazioni che sembrano esagerate e potenzialmente ingannevoli. I confronti con GPT-4 sono stati condotti in modo da favorire Gemini, utilizzando metodi di test non equi e benchmark alterati. Inoltre, il video promozionale è stato realizzato con tecniche che non riflettono la reale capacità del modello, sollevando dubbi sull'integrità della comunicazione di Google.