Google wprowadza Guided Vision do Gemini Live: asystent wzrokowy w czasie rzeczywistym

Firma Google oficjalnie udostępniła funkcję Guided Vision w ramach usługi Gemini Live na kompatybilnych urządzeniach z systemem Android. Rozwiązanie zostało zaprojektowane z myślą o osobach niewidomych, słabowidzących oraz wszystkich użytkownikach poszukujących natychmiastowego wsparcia wzrokowego w codziennych czynnościach. Zamiast wymuszać wykonywanie statycznych zdjęć i oczekiwanie na wygenerowanie pojedynczego opisu, nowa funkcja przekształca smartfon w interaktywnego partnera wizualnego, który w czasie rzeczywistym interpretuje otoczenie za pośrednictwem kamery i prowadzi naturalny dialog z użytkownikiem.

Premiera stanowi praktyczną implementację koncepcji multimodalnego asystenta nowej generacji, której fundamenty korporacja demonstrowała wcześniej w ramach badawczego projektu Project Astra. Narzędzie ma eliminować bariery w dostępie do informacji wizualnej w przestrzeni publicznej i domowej.

Aktywne kadrowanie i konwersacyjna interpretacja otoczenia

Kluczową innowacją wyróżniającą Guided Vision na tle dotychczasowych aplikacji asystujących jest dynamiczne wsparcie w prawidłowym nakierowaniu obiektywu. Podczas sesji w Gemini Live użytkownik udostępnia podgląd z aparatu, a asystent nieustannie monitoruje kadr. Jeżeli telefon zostanie skierowany zbyt wysoko, zbyt blisko obiektu lub pod niewłaściwym kątem, system przekazuje precyzyjne, mówione komendy naprowadzające.

Użytkownik słyszy naturalne komunikaty głosowe sugerujące na przykład powolne przesunięcie w prawo („pan slowly to the right”), pochylenie obiektywu w dół („tilt downward”) czy cofnięcie się o krok („step back”). Dopiero po uzyskaniu odpowiedniego pola widzenia model przystępuje do szczegółowej odpowiedzi. Co istotne, proces ten nie kończy się na pojedynczej wypowiedzi – użytkownik może w dowolnym momencie zadać pytanie doprecyzowujące, poprosić o odczytanie kolejnej linijki tekstu lub zmianę poziomu szczegółowości opisu bez konieczności resetowania sesji.

Partnerstwo z Aira, sieć Trusted Tester i procedury bezpieczeństwa

Rozwój Guided Vision oparto na ścisłej współpracy ze społecznością osób z dysfunkcją wzroku oraz firmą Aira, specjalizującą się w usługach profesjonalnego wsparcia wizualnego. Jak poinformowała Isha Sheth, Senior Product Manager odpowiedzialna za Gemini Live, przygotowanie modelu do interpretacji rzeczywistego świata wymagało przeanalizowania dziesiątek tysięcy godzin danych wizualnych dostarczonych we współpracy z Aira.

Istotną rolę w procesie walidacji odegrała sieć Aira Trusted Tester, zrzeszająca ponad 1000 członków. Uczestnicy programu poddali algorytmy rygorystycznym testom obciążeniowym podczas wykonywania rutynowych, codziennych zadań. Równolegle eksperci Aira brali udział w konstruowaniu i ewaluacji barier ochronnych (safety guardrails), minimalizujących ryzyko błędnej interpretacji obrazu.

Aby zapewnić naturalność interakcji w zróżnicowanych kontekstach kulturowych i językowych, Google przeprowadziło szerokie konsultacje m.in. w Indiach, Brazylii, Singapurze, Indonezji oraz Japonii. Dzięki temu komendy naprowadzające i opisy otoczenia zostały dostosowane do specyfiki lokalnych języków oraz zróżnicowanych uwarunkowań architektonicznych.

Praktyczne scenariusze: od drobnego druku po organizację przestrzeni

Możliwości Guided Vision koncentrują się na sytuacjach, w których brak natychmiastowej weryfikacji wzrokowej utrudnia samodzielne funkcjonowanie. Wśród głównych zastosowań producent wskazuje:

• Odczyt drobnego i trudnego druku: bezproblemowe czytanie etykiet z wartościami odżywczymi na opakowaniach żywności, identyfikacja programów na panelach sterowania pralek czy piekarników, a także odczytywanie menu w słabo oświetlonych restauracjach.
• Lokalizacja przedmiotów w przestrzeni: szybkie odnajdywanie upuszczonych drobiazgów (np. bezprzewodowej słuchawki na podłodze) lub wskazywanie konkretnego produktu w ciasnej przestrzeni, takiego jak czarny pieprz w szafce z przyprawami.
• Weryfikacja barw i wzorów: dobieranie elementów garderoby poprzez sprawdzanie, czy pasiasta koszula komponuje się ze spodniami, oraz precyzyjne nazywanie odcieni materiałów.
• Orientacja w nieznanym otoczeniu: całościowy opis rozkładu nowo odwiedzonego pomieszczenia, rozmieszczenia mebli czy przedmiotów rozłożonych na stole.

Choć technologia powstała z myślą o osobach niewidomych i słabowidzących, stanowi również bezpośrednie ułatwienie dla seniorów, osób z trudnościami w czytaniu oraz każdego, kto potrzebuje szybkiego odczytania nieczytelnych oznaczeń.

Integracja z systemem Android, ograniczenia technologii i perspektywy rozwoju

Funkcja Guided Vision została wbudowana bezpośrednio w ekosystem Androida, minimalizując liczbę kroków potrzebnych do jej wywołania. Po włączeniu opcji „Use Guided Vision in Live” w profilu aplikacji Gemini, użytkownicy mogą skonfigurować systemowe skróty ułatwień dostępu (Android Settings > Accessibility > Vision assistance > Guided Vision). Narzędzie można uruchomić za pomocą pływającego przycisku na ekranie, gestu przesunięcia dwoma palcami od dołu ekranu lub jednoczesnego wciśnięcia obu klawiszy głośności. Dodatkowo pełną integrację zyskał czytnik Google TalkBack – menu wywoływane stuknięciem trzema palcami pozwala na bezpośrednie przejście do Guided Vision.

Wdrożenie objęło smartfony pracujące pod kontrolą systemu Android 9 i nowszych wersji, na rynkach wspierających usługę Gemini Live. Jednocześnie Google wyraźnie zaznacza granice odpowiedzialności: Guided Vision jest narzędziem asystującym opartym na generatywnej sztucznej inteligencji, co oznacza, że może popełniać błędy. Oprogramowanie nie posiada statusu wyrobu medycznego, nie stanowi pomocy ruchowej ani nie zastępuje białej laski. Nie wolno go wykorzystywać do samodzielnej nawigacji, wykrywania przeszkód czy bezpiecznego poruszania się w ruchu ulicznym.

Równolegle z udostępnianiem narzędzi ułatwień dostępu Google dynamicznie rozwija multimodalny ekosystem na innych polach, wdrażając zaawansowane rozwiązania komunikacyjne, takie jak Gemini 3.8 Live z interaktywnymi awatarami dla sektora biznesowego. Wprowadzenie Guided Vision potwierdza jednak, że przetwarzanie obrazu w czasie rzeczywistym staje się jednym z najbardziej użytecznych i społecznie istotnych kierunków rozwoju współczesnej sztucznej inteligencji.