OpenAI wprowadza MentalHealthBench: otwarty benchmark do oceny modeli w obszarze zdrowia psychicznego

Organizacja OpenAI oficjalnie zaprezentowała MentalHealthBench – nowy, publicznie dostępny benchmark badawczy opracowany w ścisłej współpracy z grupą ponad 80 licencjonowanych specjalistów w dziedzinie zdrowia psychicznego z 22 krajów. Narzędzie powstało w celu systematycznego mierzenia sposobu, w jaki zaawansowane systemy sztucznej inteligencji reagują w realistycznych rozmowach dotyczących problemów emocjonalnych, radzenia sobie ze stresem oraz stanów nagłych. W obliczu faktu, że z ChatGPT korzysta obecnie ponad miliard użytkowników każdego tygodnia, stworzenie transparentnego i klinicznie ugruntowanego standardu ewaluacji stało się jednym z kluczowych elementów badań nad bezpieczeństwem generatywnej AI.

Dotychczasowe testy modeli w obszarze zdrowia psychicznego koncentrowały się niemal wyłącznie na sytuacjach krytycznych – takich jak bezpośrednie zamiary samobójcze czy samookaleczenia. Efektywność systemów mierzono zazwyczaj binarnie, weryfikując jedynie odmowę wygenerowania szkodliwej treści lub odesłanie do numeru alarmowego. MentalHealthBench wypełnia tę lukę, testując zachowanie AI w całym spektrum ludzkich doświadczeń psychicznych.

Luka w dotychczasowej ewaluacji: kontinuum zamiast binarnego kryzysu

Odejście od zero-jedynkowego podejścia do bezpieczeństwa wynika z klinicznego rozumienia ludzkiej psychiki. Jak podkreślił dr Arthur Evans, dyrektor generalny American Psychological Association:

„Zdrowie psychiczne tworzy kontinuum — od dobrostanu, przez codzienny stres, po ostry kryzys. Systemy AI, które wchodzą w interakcję z ludźmi w całym tym zakresie, muszą opierać się zarówno na wiedzy klinicznej, jak i doświadczeniach osób, których to dotyczy — nie tylko po to, by rozpoznać, gdzie ktoś znajduje się na tym kontinuum, ale także by wiedzieć, jak odpowiednio reagować na każdym jego etapie.”

Większość osób rozmawiających z modelami językowymi nie znajduje się w ostrym stanie psychotycznym czy kryzysie suicydalnym; szukają oni uporządkowania myśli, perspektywy w konfliktach relacyjnych lub wsparcia w wypaleniu zawodowym. W takich przypadkach mechaniczna odmowa odpowiedzi lub zbyt pochopne odesłanie na infolinię kryzysową bywa nieskuteczne, a nieumiejętne wejście w rolę terapeuty – wysoce ryzykowne. MentalHealthBench powstał jako kontynuacja wcześniejszych prac medycznych OpenAI nad projektami HealthBench oraz HealthBench Professional, przenosząc rygor medyczny na grunt opieki psychologicznej.

Metodologia MentalHealthBench: 1215 rozmów i 5262 kryteria kliniczne

Do stworzenia benchmarku OpenAI zaangażowało ponad 80 licencjonowanych psychologów i psychiatrów, posługujących się 19 językami i reprezentujących niemal 20 podspecjalizacji. Zespół ten opracował zbiór 1215 wieloturowych, syntetycznych rozmów, wygenerowanych z użyciem technik chroniących prywatność, lecz odzwierciedlających rzeczywiste wzorce interakcji z AI.

Scenariusze w MentalHealthBench zostały podzielone według czterech profili użytkowników: osoby dorosłe, nastolatkowie w wieku 13–17 lat, opiekunowie oraz specjaliści kliniczni. Przypadki młodzieżowe zostały poddane odrębnej weryfikacji przez ekspertów od zdrowia psychicznego dzieci i młodzieży. Pod względem pilności zbiór obejmuje trzy poziomy:

• Niewymagające pilnej interwencji (53,5% zbioru) – codzienne dylematy, rozmowy o relacjach, emocjach i higienie psychicznej;
• Wysoka pilność (18,2% zbioru) – sytuacje znacznego cierpienia i nasilonych objawów, niewymagające jednak natychmiastowej interwencji ratunkowej;
• Stany nagłe (28,3% zbioru) – bezpośrednie zagrożenie bezpieczeństwa, w których konieczne jest natychmiastowe skierowanie do realnych służb pomocowych.

Eksperci przeanalizowali każdą syntetyczną rozmowę i przygotowali łącznie 5262 kryteria w rubrykach oceniania (rubrics), przypisane do ostatniej repliki asystenta. Aby wyeliminować subiektywizm, każda rozmowa była oceniana przez co najmniej trzech niezależnych klinicystów, a w benchmarku znalazły się wyłącznie kryteria zaakceptowane jednogłośnie przez wszystkich trzech. Kryteria posiadają wagi w przedziale od -10 do +10: punkty dodatnie nagradzają zachowania korzystne (np. dopytanie o potrzeby użytkownika, walidację emocji), punkty ujemne penalizują zachowania szkodliwe (np. narzucanie decyzji, spekulowanie o uczuciach rozmówcy), a wyższa wartość liczbowa oznacza większe znaczenie kliniczne. Do automatycznej ewaluacji odpowiedzi modeli według tych rubryk OpenAI wykorzystało model GPT-5.6 Sol.

Wyniki modeli: przewaga najnowszej generacji architektur

W ramach publikacji MentalHealthBench przetestowano czołowe modele językowe dostępne na rynku we wrześniu 2026 roku. Skuteczność modeli mierzono wskaźnikiem task-clipped, oceniającym realizację wskazań klinicznych przy jednoczesnym unikaniu zachowań zakazanych w dziesięciu wymiarach behawioralnych (m.in. zbieranie kontekstu, poszanowanie sprawczości użytkownika, bezpieczeństwo, precyzja wskazówek).

Dane: OpenAI / Unite.AI

Uzyskane wyniki obrazują wyraźny postęp generacyjny. Najnowsze modele pionierskie, takie jak GPT-6 Astra (57,3%) oraz Claude Opus 5.5 firmy Anthropic (52,4%), osiągają wyraźnie wyższą zgodność z wytycznymi klinicystów niż konstrukcje starsze, reprezentowane przez GPT-4o w wersji z marca 2025 r. (32,1%) czy Gemini 2.5 Pro (29,5%). Postęp jest widoczny szczególnie w zdolności modeli do ostrożnego dopytywania o kontekst sytuacji, zanim asystent sformułuje jakąkolwiek radę. Jednocześnie autorzy badania wskazują na tzw. kompromis kalibracji pilności – modele wciąż miewają trudności ze znalezieniem równowagi między rygorystycznym bezpieczeństwem w kryzysie a naturalnym wsparciem w sytuacjach lżejszych.

Zderzenie perspektyw: czego oczekują użytkownicy, a na co wskazują klinicyści

Równolegle z testami klinicznymi OpenAI przeprowadziło badanie z udziałem 44 dorosłych użytkowników z 16 krajów (posługujących się 14 językami), którzy aktywnie korzystają ze sztucznej inteligencji w celu uzyskania wsparcia emocjonalnego. Uczestnicy oceniali wyłącznie rozmowy niewymagające pilnej interwencji.

Analiza wykazała istotne różnice priorytetów między pacjentami a personelem medycznym. Użytkownicy najwyżej cenili bezpośredni, ciepły ton wypowiedzi oraz natychmiastowe, praktyczne wskazówki ułatwiające podjęcie działania. Z kolei specjaliści kliniczni w rubrykach MentalHealthBench kładli nacisk na powściągliwość: dokładne zbieranie kontekstu, unikanie pochopnych diagnoz oraz uważne traktowanie sytuacji niejednoznacznych.

Praktycy biorący udział w projekcie zwracają uwagę na wagę tej równowagi. Kevin La Moureaux, MD, MPH, praktykujący psychiatra, zaznaczył:

„Jako praktykujący psychiatra często słyszę, że pacjenci korzystają z narzędzi takich jak ChatGPT, aby lepiej rozumieć swoje zdrowie psychiczne i aktywniej uczestniczyć w leczeniu. Wnosząc do tej pracy swoje doświadczenie kliniczne, mogę działać także poza szpitalem, dbając o to, by ta technologia wzmacniała sprawczość ludzi, a zdrowie psychiczne traktowała z należytą troską i odpowiedzialnością.”

Z kolei psycholog kliniczny Steve Orma, PsyD, wskazał na rolę filtrowania dezinformacji:

„W internecie i mediach społecznościowych jest wiele błędnych i nierzetelnych informacji o zdrowiu psychicznym. Poprawa jakości informacji przekazywanych przez AI może więc znacznie skrócić czas, przez jaki ludzie cierpią z powodu problemów ze zdrowiem psychicznym.”

Narzędzie inspekcyjne, nie terapeuta: granice i wdrożenia produktowe

Zarówno twórcy MentalHealthBench, jak i współpracujący z nimi eksperci wyraźnie podkreślają fundamentalną granicę: żaden model sztucznej inteligencji nie jest terapeutą, a ChatGPT nie zastępuje profesjonalnej diagnozy psychiatrycznej ani psychoterapii. Benchmark nie mierzy skuteczności leczenia pacjentów w świecie rzeczywistym, lecz stanowi ustandaryzowane narzędzie audytowe, pozwalające społeczności badawczej wykrywać anomalie, halucynacje i niebezpieczne nawyki modeli w bezpiecznym, kontrolowanym środowisku.

Metodologia ma także swoje ograniczenia techniczne – ocenie podlega pojedyncza odpowiedź modelu na zadanym etapie dialogu (single-turn evaluation), a same rozmowy są syntetyczne, co nie odzwierciedla w pełni dynamiki wielomiesięcznej relacji z pacjentem. Niemniej jednak wnioski z prac nad benchmarkiem posłużyły OpenAI do wprowadzenia konkretnych mechanizmów ochronnych w produktach konsumenckich. W ChatGPT zaimplementowano m.in. funkcję Zaufany kontakt (Trusted Contact), ułatwiającą powiadomienie bliskiej osoby w kryzysie, wprowadzono pakiet zabezpieczeń ChatGPT for Teens oraz rozszerzono integrację z lokalnymi infoliniami pomocowymi. Benchmark został udostępniony publicznie, a OpenAI zadeklarowało wsparcie dla niezależnych inicjatyw badawczych realizowanych m.in. z Partnership on AI oraz organizacją Transluce.