Sprawdzanie tekstu AI: jak działają detektory i dlaczego algorytmy zawodzą
Sprawdzanie tekstu AI stało się jednym z kluczowych wyzwań dla redakcji, wydawnictw oraz instytucji edukacyjnych po gwałtownym upowszechnieniu wielkich modeli językowych, takich jak GPT-4. Wraz ze wzrostem liczby generowanych maszynowo artykułów, esejów i raportów coraz częściej pojawia się pytanie, jak sprawdzić czy tekst napisała AI i czy dostępne na rynku oprogramowanie gwarantuje bezbłędną ocenę autorstwa. Choć komercyjni dostawcy obiecują precyzyjną weryfikację, niezależne badania naukowe dowodzą, że automatyczna klasyfikacja jest obarczona poważnym ryzykiem błędów, a współczesne algorytmy nie dysponują metodą pozwalającą na stuprocentowe odróżnienie pracy człowieka od syntezy komputerowej.
Jak działają detektory: perplexity i burstiness w architekturze tekstu
Większość użytkowników weryfikujących treści wybiera automatyczny wykrywacz AI w tekście, zakładając, że narzędzie odnajdzie w strukturze zdań cyfrowy znak wodny. W rzeczywistości modele generatywne operują na jednostkach leksykalnych zwanych tokenami, dobierając kolejne słowa na podstawie prawdopodobieństwa statystycznego. Współczesne klasyfikatory bazują więc na odwrotności tego mechanizmu, badając dwa parametry lingwistyczne: perplexity oraz burstiness.
Parametr perplexity określa stopień nieprzewidywalności doboru kolejnych słów. Ponieważ duże modele językowe dążą do optymalizacji prawdopodobieństwa, konstruowany przez nie wywód cechuje się niskim wskaźnikiem zaskoczenia – słowa następują po sobie w sposób wysoce typowy dla danych treningowych. Z kolei parametr burstiness mierzy zmienność długości i struktury zdań. Ludzcy autorzy piszą zrywami: przeplatają lapidarne równoważniki zdań ze złożonymi, wielopiętrowymi okresami retorycznymi. Tekst maszynowy wykazuje natomiast nienaturalną monotonię składniową i rytmiczną.
Wbrew obiegowym opiniom żaden wykrywacz AI tekstu nie analizuje merytorycznego sensu wywodu ani nie weryfikuje faktów. Oprogramowanie bada wyłącznie matematyczny profil rozkładu tokenów, co rodzi fundamentalne ograniczenia poznawcze.
Skuteczność narzędzi w badaniach: ranking i załamanie przy edycji
Rzeczywistą sprawność klasyfikatorów poddał weryfikacji międzynarodowy zespół badaczy pod kierunkiem Debory Weber-Wulff z berlińskiej uczelni HTW. Wyniki opublikowane w czasopiśmie International Journal for Educational Integrity (2023, arXiv:2306.15666) wykazały, że żadne z 14 przetestowanych narzędzi nie osiągnęło progu 80% ogólnej dokładności w identyfikacji treści.
| Narzędzie | Tekst autorski człowieka (01-Hum, pkt) | Surowy tekst modelu AI (03-AI, pkt) | Tekst AI po parafrazie (06-Para, pkt) | Dokładność ogólna (%) |
|---|---|---|---|---|
| Turnitin | 9,0 | 8,5 | 2,5 | 79% |
| Compilatio | 8,5 | 8,5 | 2,0 | 77% |
| Go Winston | 7,5 | 9,0 | 1,5 | 70% |
| GPT Zero | 6,0 | 7,5 | 5,5 | 66% |
| OpenAI Text Classifier | 9,0 | 3,5 | 1,5 | 62% |
Dane: Weber-Wulff et al., „Testing of Detection Tools for AI-Generated Text", International Journal for Educational Integrity (2023), arXiv:2306.15666
Zestawienie dowodzi wyraźnej słabości technologicznej: podczas gdy surowy tekst generowany maszynowo był poprawnie klasyfikowany przez czołowe programy na 8,5–9,0 punktów, zastosowanie automatycznej parafrazy (kategoria 06-Para) skutkowało drastycznym spadkiem skuteczności do zaledwie 1,5–2,5 punktu w większości aplikacji.
Ograniczenia technologii dostrzegli sami twórcy modeli. Firma OpenAI uruchomiła w styczniu 2023 roku własny klasyfikator AI Text Classifier, po czym 20 lipca 2023 roku bez rozgłosu wycofała go z oferty. Według oficjalnego komunikatu narzędzie osiągało poprawną wykrywalność maszynowego pochodzenia na poziomie zaledwie 26% (true positives), generując przy tym aż 9% fałszywych alarmów przy tekstach napisanych przez ludzi.
Ryzyko fałszywych oskarżeń: syndrom TOEFL i uprzedzenia językowe
Najbardziej niebezpiecznym zjawiskiem w automatycznej detekcji jest generowanie fałszywych trafień (false positives), które prowadzą do bezpodstawnych oskarżeń o nieuczciwość. Zjawisko to zbadali naukowcy ze Stanford University (Weixin Liang, Mert Yuksekgonul, James Zou, 2023). Zespół poddał analizie eseje egzaminacyjne TOEFL napisane przez ludzi niebędących rodzimymi użytkownikami języka angielskiego.
Wyniki testu okazały się alarmujące: detektory błędnie zaklasyfikowały aż 61,22% esejów TOEFL jako dzieło sztucznej inteligencji. Co więcej, 97% prac zostało uznanych za wygenerowane maszynowo przez przynajmniej jedno narzędzie, a niemal 19% esejów zostało fałszywie oznaczonych jednomyślnie przez wszystkie badane programy. Osoby piszące w wyuczonym języku stosują bardziej zachowawczy zasób słownictwa i prostszą składnię, co algorytmy mylnie interpretują jako niskie perplexity charakterystyczne dla maszyn. Wystarczyło jednak wzbogacić leksykę esejów za pomocą GPT-4, by wskaźnik fałszywych oskarżeń spadł do 11,77%.
Weryfikacja w praktyce akademickiej i redakcyjnej: JSA oraz analiza merytoryczna
W środowisku akademickim kwestia ta nabiera szczególnej wagi w kontekście prac dyplomowych i zaliczeniowych. Polskie uczelnie korzystają z Jednolitego Systemu Antyplagiatowego (JSA), do którego w lutym 2024 roku Ośrodek Przetwarzania Informacji (OPI PIB) wprowadził dedykowany moduł detekcji AI. Narzędzie to nie podaje jednak arbitralnego wyroku procentowego, lecz wskazuje promotorowi fragmenty o podejrzanie wysokiej regularności statystycznej. Weryfikacja musi uwzględniać formalne zasady stosowania generatywnych asystentów, co szczegółowo opisuje poradnik omawiający AI w pracy dyplomowej oraz obowiązujące regulacje akademickie.
Doświadczony redaktor lub promotor oceniający, czy tekst jest napisany przez AI, powinien zwrócić uwagę na specyficzne znaczniki jakościowe, których oprogramowanie detekcyjne nie weryfikuje:
- Halucynacje faktograficzne: wymyślone nazwiska badaczy, zmyślone numery DOI, nieistniejące akty prawne lub anegdoty historyczne podane z dużą pewnością siebie.
- Płaskość argumentacji i unikanie stanowczych tez: wielokrotne stosowanie struktur w rodzaju „z jednej strony (...), z drugiej strony należy zauważyć (...), podsumowując (...)”, bez wyciągania jednoznacznych wniosków poznawczych.
- Brak zakorzenienia w empirii: niezdolność do podania unikalnych obserwacji z terenu, szczegółów technicznych z procesu badawczego czy lokalnych realiów instytucjonalnych.
Czy wykrywacz AI tekstu może dać ostateczną odpowiedź?
Żadne zautomatyzowane narzędzie detekcyjne nie może stanowić samodzielnej podstawy do odrzucenia publikacji lub ukarania autora. Komercyjne programy mogą pełnić wyłącznie funkcję wstępnego sita ostrzegawczego, wskazującego fragmenty o nietypowej monotonii składniowej. Ostateczna weryfikacja autentyczności tekstu musi pozostać domeną człowieka opierającego się na wiedzy merytorycznej, weryfikacji źródeł pierwotnych oraz bezpośredniej rozmowie z autorem.
