Anthropic umożliwia niezależnym badaczom wgląd w interakcje z Claude
Firma Anthropic poinformowała o wynikach bezprecedensowego programu pilotażowego, który daje zewnętrznym ośrodkom naukowym możliwość weryfikacji tego, w jaki sposób użytkownicy faktycznie korzystają z asystenta Claude. Inicjatywa odpowiada na jeden z największych problemów współczesnej analityki sztucznej inteligencji: radykalną asymetrię informacji. Obecnie najbardziej szczegółowe dane na temat codziennych interakcji z zaawansowanymi modelami pozostają wyłącznie w rękach twórców tych systemów. Naukowcy spoza laboratoriów dotychczas musieli opierać się na analizach publikowanych przez same firmy lub na ogólnodostępnych zbiorach dla badaczy. Te drugie jednak często są mało reprezentatywne. Otwarcie środowiska analitycznego dla podmiotów zewnętrznych stanowi zatem istotny krok naprzód w dążeniu do zrozumienia wpływu generatywnej sztucznej inteligencji na społeczeństwo. Narzędzie pozwala na sprawdzanie wielu hipotez, a szerokie środowiska eksperckie zyskują realne podstawy, badając możliwości modelu Claude pod kątem codziennych zastosowań na gigantyczną skalę.
Architektura bezpieczeństwa: platforma Anthropic Insights
Podstawowym wyzwaniem przy udostępnianiu danych zewnętrznym grupom jest rygorystyczna ochrona prywatności użytkowników. Aby to osiągnąć, Anthropic udostępniło niezależnym badaczom wyspecjalizowane narzędzie o nazwie Anthropic Insights (znane wcześniej pod wewnętrzną nazwą Clio). To zachowująca prywatność platforma analityczna, z której na co dzień korzystają wewnętrzne zespoły firmy. Naukowcy nie otrzymali jakiegokolwiek dostępu do surowych transkryptów rozmów; mogli jedynie formułować zapytania analityczne, które platforma automatycznie procesowała, zwracając wyłącznie zagregowane, zanonimizowane statystyki dotyczące procentowego podziału rozmów na poszczególne kategorie.
Zbiór badawczy objął około 250,000 konwersacji przeprowadzonych na platformach Claude.ai oraz Claude Code w okresie kwiecień-maj 2026. Cały proces został dodatkowo zabezpieczony w celu budowy obiektywnego zaufania. Specjalistyczny, zewnętrzny audyt środowiska i polityki prywatności zrealizowała renomowana jednostka Imperial College London. Miało to zagwarantować, że przekazane agregaty w żadnym stopniu nie naruszają poufności użytkowników i nie odsłaniają detali technologicznych (takich jak wewnętrzne algorytmy kontrolne firmy czy chociażby wdrożony znak wodny w Claude). Firma zrzekła się również wpływu na treść ostatecznie publikowanych przez badaczy wyników.
Charakterystyka współpracy według Social and Language Technologies (SALT) Lab
Jako jeden z pierwszych ośrodków, do pilotażu dołączył zespół badawczy Social and Language Technologies (SALT) Lab, operujący przy Stanford University. Ich praca skupiła się na mechanizmach celowej kooperacji między człowiekiem a sztuczną inteligencją. Wyniki mocno zaskoczyły analityków: dotychczasowa wiedza sugerowała, że ludzie chętniej zrzucają na maszyny powtarzalne i trywialne obowiązki o niskim stopniu konsekwencji. Tymczasem dane wykazały bezspornie, że ponad połowa badanych konwersacji z asystentem dotyczyła delegowania przez ludzi zadań o wysokiej wadze i wpływie społecznym (sklasyfikowanych w literaturze jako "consequential tasks") – dotyczyło to w dużej mierze zagadnień, w których oczekiwano doradztwa prawnego lub finansowego.
Z opracowanego raportu wynika również, że użytkownicy rzadko zostawiają systemy generatywne same sobie. W blisko 3/4 wszystkich interakcji, to człowiek z premedytacją wyznaczał i egzekwował konkretny kierunek rozmowy, a Claude pełnił funkcję asystenta. Odpowiedzi modelu były przez użytkowników intensywnie nadzorowane i rewidowane, zamiast być używanymi bezpośrednio (verbatim). Badacze ze Stanford University odnotowali przy tym zjawisko, które zdefiniowali jako tzw. produktywne tarcie. Błędy czy nieporozumienia ze strony AI zmuszały człowieka do precyzyjniejszego określania swoich własnych intencji, co sumarycznie wpływało dodatnio na jakość finalnego wyjścia.
Psychologia interakcji na podstawie prac Human Information Processing Lab
Drugim partnerem badawczym wytypowanym do programu było Human Information Processing Lab działające przy University of Oxford. Instytucja podjęła się skomplikowanej analizy stanów emocjonalnych osób wchodzących w interakcję z systemem oraz ich bezpośredniej korelacji z dynamiką odpowiedzi asystenta. Wczesne obserwacje wskazują na wyraźne powiązanie wzorców emocjonalnych i pętli sprzężenia zwrotnego. Kiedy model zachowywał się w komunikacji ciepło, badani odpowiadali zwiększonym natężeniem pozytywnego nastawienia. Natomiast w przypadkach, gdy AI odmawiało wykonania zlecenia lub generowało z nim jawną niezgodność, ludzie naturalnie zaczynali eskalować spór i stawiać słowny opór.
Odkryto ponadto, że w momentach, gdy system bywał mocno ekscentryczny, zaangażowanie intelektualne człowieka zdecydowanie rosło. Podsumowując ten wątek: stany takie jak głęboka absorpcja zadaniem, radość z odkrywania, ale i silna frustracja – notowane podczas pracy w Anthropic Insights – niemal perfekcyjnie naśladowały znane psychologii wzorce zachowań widoczne u użytkowników podczas codziennego korzystania z całego internetu.
Zyski produktywności w badaniach METR
Ostatnim podmiotem uczestniczącym w programie pilotażowym została organizacja non-profit METR. Zespół ten skupił się głównie na zaawansowanym asystencie dla inżynierów oprogramowania, analizując środowisko Claude Code. Główną osią badawczą była estymacja zysków czasu oraz analiza produktywności w cyklu programistycznym w ujęciu wielopokoleniowym (przy przechodzeniu na kolejne, zmodernizowane wersje modelu). Wnioski potwierdzają dotychczasowe rynkowe oczekiwania: nowsze iteracje modeli językowych w zauważalny sposób przyspieszają realizację prac w porównaniu do swoich starszych odpowiedników. METR przyjrzało się również zdolnościom metakognitywnym systemu – z analiz jednoznacznie wyniknęło, że samoświadomość asystenta co do tego, ile realnie zaoszczędzi czasu inżynierom, mocno pokrywa się z faktycznym bilansem czasowym raportowanym na końcu przez prawdziwych deweloperów.
Wyzwania techniczne, ograniczenia metodologiczne i przyszłość pilotażu
Zbudowanie w pełni wydolnego i bezpiecznego ekosystemu analitycznego opartego wyłącznie na warstwie zapytań rodzi liczne wyzwania. Główny problem polega na tym, że agregacje w Anthropic Insights są bardzo wrażliwe na dobór słownictwa w poleceniu. Przez wzgląd na wymogi środowiskowe oraz bezwzględny brak wglądu w teksty samych rozmów, badacze byli zmuszeni do uczenia się konstruowania i kalibrowania zapytań na bazie publicznego, nienależącego do firmy zbioru konwersacji o nazwie WildChat. Dopiero potem ustandaryzowane reguły przenoszono na dane produkcyjne Claude. Rodziło to rozbieżności, ponieważ WildChat słynie z tego, że znacznie silniej skupia w sobie pobieżne oraz kreatywne interakcje niezobowiązujących testerów, co znacząco odbiega od natury prawdziwego, zorientowanego na zadania ruchu w korporacyjnym modelu językowym.
W tak gigantycznym przekroju danych, badacze nieuchronnie natrafili również na incydenty naruszeń. Filtry programu zadziałały u źródła: ostatecznie mniej niż 5% zagregowanych kategorii i konwersacji zostało ukrytych przed zewnętrzną analizą. Tego rodzaju interwencja była niezbędna wszędzie tam, gdzie zawartość kategoryzacji instruowała, w jaki konkretnie sposób skutecznie obejść wewnętrzne zasady bezpieczeństwa (co łamało narzucone przez firmę dokumenty Acceptable Use Policy oraz Terms of Service).
Projekt udowodnił jednak z powodzeniem, że transparentność badawcza w dobie dominacji wielkich technologicznych laboratoriów może być realizowana bez jednoczesnego poświęcania prywatności konsumentów.
