Google DeepMind wprowadza model SL2T do obsługi języka migowego
Zespół Google DeepMind ogłosił debiut sign-language-to-text (SL2T) — przełomowego i wielojęzycznego modelu dedykowanego społeczności osób głuchych i niedosłyszących. Ta innowacja to długo wyczekiwany krok w stronę włączenia osób posługujących się językiem migowym w codzienne ułatwienia, jakie na co dzień oferuje przetwarzanie języka naturalnego. Szacuje się, że na świecie jest około 70 milionów takich użytkowników, operujących ponad 200 językami migowymi. W pierwszej kolejności technologia oferuje płynne tłumaczenie z American Sign Language (ASL) na język angielski (English) i została udostępniona w aplikacjach Gboard oraz Live Transcribe jako funkcja natywna na najnowszych urządzeniach Pixel 11.
Skala danych i architektura MediaPipe Holistic
Wielkim wyzwaniem w tworzeniu systemów rozpoznających tego typu komunikację nie było tylko skalowanie infrastruktury, ale sprostanie specyficznej, w pełni przestrzennej naturze języka. Aby tego dokonać, nowy system był trenowany na potężnym zbiorze przekraczającym 100 000 godzin danych, pochodzących z ponad 50 języków migowych, z czego dane dla samego ASL zajmują w przybliżeniu 25% całego korpusu.
Google DeepMind rygorystycznie podeszło także do bezpieczeństwa i architektury samej technologii. Od strony użytkowej, strumień wideo nigdy nie jest przechowywany w chmurze. System bazuje na działającym lokalnie (on-device) modelu MediaPipe Holistic. Identyfikuje on i śledzi precyzyjne współrzędne poszczególnych partii ciała — tzw. pose landmark locations. Na serwery tłumaczeniowe trafiają wyłącznie czyste zanonimizowane punkty geometryczne. Rozwiązanie omija także przestarzałe metody generowania ułomnych adnotacji znanych jako „glosses”, bezpośrednio konwertując ruch na płynny tekst wyjściowy, co znacząco zmniejsza straty jakości tłumaczenia i pozwala ominąć narzucone sztywno ograniczenia leksykalne.
Skuteczność w benchmarku FLEURS-ASL (sd-test)
Możliwości nowej architektury potwierdzają nie tylko zapowiedzi firmy, ale i wyniki testów syntetycznych. W wymagającym benchmarku FLEURS-ASL (sd-test), służącym do badania poprawności tłumaczenia z ASL na English, model osiągnął bezprecedensowy zero-shot score na poziomie 70 BLEURT. Wartość ta dalece wyprzedza jakiekolwiek notowane dotąd w branży rezultaty dla tej kategorii.
Jednak model SL2T nie skupia się wyłącznie na podbijaniu statystyk. Zespół zoptymalizował model pod rzeczywiste, konsumenckie scenariusze użycia, ulepszając go w takich kategoriach jak zmniejszenie opóźnień strumieniowych (streaming latency). Wprowadzono też istotne modyfikacje mające na celu zapewnienie równego traktowania (fairness) 10% użytkowników leworęcznych, jak również precyzyjne działanie algorytmu w sytuacjach, gdy użytkownik miga jedną ręką ze względu na trzymany w drugiej dłoni smartfon.
Współpraca z AI Sign Language Advisory Committee (AISLAC)
To, co wyróżnia projekt, to silny mandat społecznościowy. Rozwiązanie to od wczesnego etapu powstawało z inicjatywy i przy bliskiej współpracy ze środowiskiem docelowym — duży udział w ideacji miał Sam Sepah (reprezentujący społeczność deaf Googler), a za ostateczne kierunki rozwoju merytorycznego odpowiada nowo powołany podmiot doradczy AI Sign Language Advisory Committee (AISLAC). Dzięki kooperacji ekspertów, pierwsze wdrożenie konsumenckie oznaczone jako SL2T 1.0 ukazało się wraz z oficjalnym raportem wspólnego wpływu (joint impact report), zapewniającym pełną transparentność limitów i funkcjonalności obecnego modelu. Producent zapowiada, że po wprowadzeniu ASL planowane jest włączenie kolejnych języków oraz zbadanie zupełnie nowego obszaru, jakim będzie sign language generation.
