Krátce po spuštění ChatGPT se objevily obavy, že by školní děti a studenti mohli pomocí chatbota vytvořit během několika sekund schůdné eseje, které by pak mohli odevzdat jako semestrální práce. Obava není neopodstatněná, protože nástroj OpenAI – stejně jako někteří jeho konkurenti – chrlí překvapivě dobré texty. Není proto divu, že se několik start-upů snaží vyvinout software, jehož účelem je rozpoznávat text generovaný umělou inteligencí.

reklama

Problém je však v tom, že je poměrně snadné tyto nástroje oklamat a detekci obejít. To je výsledek nové studie, která dosud nebyla recenzována. Debora Weber-Wulff, profesorka médií a informatiky na Berlínské univerzitě aplikovaných věd (HTW), spolupracovala se skupinou výzkumníků z různých univerzit na do kapacity 14 nástrojů – včetně Turnitin, GPT Zero a Compilatio – rozpozná text napsaný ChatGPT OpenAI.

Většina těchto programů hledá charakteristiky textu generovaného umělou inteligencí, včetně určité formy opakování, a poté vypočítává pravděpodobnost, že text vygenerovala umělá inteligence. Výzkumný tým však zjistil, že každý testovaný nástroj má potíže s rozpoznáním textu generovaného ChatGPT, který byl dříve snadno přeskupován lidmi a/nebo zakryt nástrojem pro parafrázi. „Tyto nástroje nefungují,“ zní Weber-Wulffův verdikt. „Prostě nedělají to, co říkají, že dělají. Nejsou to detektory AI.“ Výsledky průzkumu ukazují, že školáci a vysokoškoláci potřebují jen mírně přizpůsobit práci generovanou AI, aby obešli takové detektory.

Různé lidské a AI texty

Jak výzkumnice a její kolegové ve studii postupovali? Aby měli ke studiu výběr textů vytvořených lidmi, napsali krátké eseje na vysokoškolské úrovni na řadu témat, včetně stavebnictví, informatiky, ekonomie, historie, lingvistiky a literatury. Přepsali texty, aby se ujistili, že se nezobrazují v trénovacích datech ChatGPT.

Poté každý badatel napsal doplňující text v bosenštině, češtině, němčině, lotyštině, slovenštině, španělštině nebo švédštině. Tyto texty byly přeloženy do angličtiny buď AI překladatelským nástrojem DeepL nebo konkurenčním Google Translate.

Tým poté pomocí ChatGPT vygeneroval další dva texty najednou. Mírně je upravili, aby skryli původ AI. Jedna oblast byla ručně upravena výzkumníky, přeskupováním vět a záměnou slov, zatímco jiná používala nástroj pro parafrázi AI tzv. brk byl přepsán. Nakonec měla skupina k dispozici 54 dokumentů, na kterých mohla rozpoznávací nástroje otestovat.

Vědci rychle zjistili, že zatímco nástroje byly dobré v rozpoznávání textu psaného člověkem (s průměrnou přesností 96 %), nedokázaly rozpoznat text generovaný umělou inteligencí – a to zejména v případě, že byl upraven. . Ačkoli nástroje identifikovaly text ChatGPT s přesností 74 %, tato míra klesla na 42 %, když byl text generovaný ChatGPT jen nepatrně upraven.

reklama

Vážné důsledky pro akademickou kariéru

Studie také ukazuje, jak zastaralé jsou současné metody hodnocení práce vysokoškolských studentů, komentuje Vitomir Kovanović, docent, který vyvíjí modely strojového učení a umělé inteligence na Australské univerzitě du Sud, ale výzkumného projektu se neúčastnil. Daphne Ippolito, vedoucí vědecká pracovnice společnosti Google specializující se na generování přirozeného jazyka, která se do projektu rovněž nezapojila, také vyjadřuje další obavy.

„Pokud mají být ve vzdělávání používány systémy automatického uznávání, pochopení jejich falešně pozitivních výsledků je zásadní, protože falešné obvinění studenta může mít vážné důsledky pro jeho akademickou kariéru,“ říká. „Míra falešně negativních výsledků je také důležitá, protože pokud je příliš mnoho textu generovaného umělou inteligencí vydáváno za psaný člověkem, systém rozpoznávání není užitečný.“

Společnost Compilatio, která vyvíjí jeden z výzkumníků testovaných nástrojů, upozorňuje, že jejich systém zobrazuje pouze podezřelé pasáže, které označuje za potenciální plagiát nebo potenciálně AI generovaný obsah. „Je odpovědností škol a učitelů, kteří opravují analyzované dokumenty, aby potvrdily skutečně získané znalosti autorem dokumentu. To lze provést například použitím dalších prostředků ověření – ústní zkoušky, doplňujících otázek v framework kontroloval prostředí třídy a další,“ řekl mluvčí Compilatio.

„Nástroje Compilatio jsou tedy součástí skutečného vzdělávacího přístupu, který podporuje osvojování si dobrých postupů při výzkumu, psaní a citování. Software Compilatio je nástroj pro korektury, nikoli korektor“, vysvětluje společnost. Turnitin a GPT Zero okamžitě neodpověděly na žádost o komentář.

Otázka rozpoznávání vzorů

Zatím: „Náš model rozpoznávání je založen na výrazných rozdílech mezi idiosynkratickou a nepředvídatelnou povahou lidského rukopisu a vysoce předvídatelnými statistickými podpisy textu generovaného umělou inteligencí,“ řekla Annie Chechitelli, produktová manažerka z kolínského vývojáře Turnitin.

„Naše funkce rozpoznávání textu AI však pouze upozorňuje uživatele na existenci takových oblastí a upozorňuje na ty, kde může být vyžadováno další šetření. psaní AI je vhodné nebo nevhodné, nebo pokud je jejich použití v mezích pravidel zkoušky a pokyny učitele představují podvod nebo pochybení.

Již nějakou dobu víme, že nástroje určené k rozpoznání textu napsaného umělou inteligencí nefungují vždy tak, jak by měly. Začátkem tohoto roku OpenAI odhalilo nástroj určený k rozpoznání textu vytvořeného ChatGPT a přiznalo, že pouze 26 % AI napsaného textu označilo jako „pravděpodobně AI“.

OpenAI informovalo MIT Technology Review o části svého webu s varováním, že nástroje pro detekci obsahu generují AI „Daleko od neomylnosti“ jsou.

Pokračující boom produktů

Ale takové neúspěchy nezabránily společnostem uvádět na trh produkty, které slibují, že práci splní, říká Tom Goldstein, odborný asistent na University of Maryland, který se na výzkumu nepodílel.

„Mnoho z nich není příliš přesných, ale ani všechny nejsou úplnou katastrofou,“ dodává s tím, že Turnitinu se podařilo dosáhnout určité přesnosti detekce s poměrně vysokou mírou falešných pozitiv.

A i když jsou studie zdůrazňující nedostatky takzvaných systémů rozpoznávání textu AI velmi důležité, bylo by užitečné rozšířit studii o nástroje AI nad rámec ChatGPT, říká Sasha Luccioni, výzkumník ze startupu AI Hugging Face.

Pro Kovanoviće je celá myšlenka pokusit se rozpoznat text napsaný AI mylná. „Nepokoušejte se rozpoznat AI – jen udělejte z používání AI problém,“ říká.

(jle)