Tencent prezentuje GAE: generator wideo z natywną geometrią sceny 3D

Koncern Tencent, we współpracy z naukowcami z The Hong Kong University of Science and Technology (HKUST), The University of Hong Kong (HKU) oraz The University of Texas at Austin, zaprezentował GAE (Geometry-Native Autoencoder) – zaawansowany generator wideo wprowadzający natywną geometrię sceny do przestrzeni ukrytej modelu. Opracowany w strukturach Tencent ARC Lab (Tencent IEG) system potrafi syntetyzować realistyczne sekwencje wideo na podstawie pojedynczej klatki referencyjnej oraz zadanej trajektorii kamery, jednocześnie estymując w czasie rzeczywistym geometrię 3D sceny: mapy głębi, chmurę punktów oraz precyzyjne położenie kamery. Bezpośrednia integracja geometrii w procesie generacyjnym pozwoliła zredukować błąd prowadzenia kamery o ponad połowę i wyraźnie podnieść stabilność obrazu. Zgodnie z deklaracją twórców, kompletny kod źródłowy oraz wagi modelu zostały opublikowane w serwisie GitHub.

Brak spójności 3D: główna bariera tradycyjnych generatorów wideo

Współczesne generatory wideo potrafią tworzyć fotorealistyczne pojedyncze klatki, jednak ich podstawową słabością pozostaje brak trwałej spójności przestrzennej. Przy dynamicznym ruchu wirtualnej kamery generowane obiekty ulegają deformacjom, płaszczyzny uginają się w nienaturalny sposób, a geometria sceny ulega stopniowemu dryfowi. Zjawisko to wynika bezpośrednio ze sposobu reprezentacji danych. Standardowe generatory dyfuzyjne operują na przestrzeniach ukrytych zorientowanych wyłącznie na piksele i wygląd (RGB), stosując autokodery pokroju SD-VAE czy WAN2.1 VAE.

Dotychczasowe próby wymuszenia dyscypliny przestrzennej polegały głównie na traktowaniu geometrii jako zewnętrznego warunku – dodawano moduły sterujące kamerą, posiłkowano się dodatkowymi stratami geometrycznymi na etapie post-treningu lub zmuszano model do prognozowania warstw głębi obok pikseli. Zespół Tencent wykazał, że podejścia te są niewystarczające, ponieważ model generacyjny nie posiada natywnego wglądu w relacje przestrzenne sceny. Zamiast dokładać geometrię jako poboczne zadanie, inżynierowie Tencent postanowili uczynić geometrię 3D samym fundamentem przestrzeni ukrytej, w której zachodzi generowanie klatek.

Architektura GAE: jak połączono percepcję z modelem przepływu

Sercem rozwiązania Tencent jest autokoder GAE, który reparametryzuje reprezentacje wyodrębniane przez zamrożony percepcyjny model fundamentu geometrii Depth Anything 3 (DA3). W standardowej formie wyjściowa hierarchia DA3 składa się z czterech poziomów cech o łącznej szerokości 3072 kanałów. Zespół badawczy wykazał jednak w analizie diagnostycznej, że surowe cechy DA3 są wysoce redundantne: ich efektywny wymiar (effective rank) wynosi zaledwie 10–11, a wskaźnik uwarunkowania waha się w granicach od 10^8 do 10^16, co uniemożliwia bezpośrednie i stabilne trenowanie modeli generatywnych.

GAE rozwiązuje ten problem dwuetapowo:

1. Kompaktowy kodek geometryczny: Wielopoziomowe cechy DA3 są łączone i kompresowane wzdłuż kanałów do zwartego tensora o wymiarze 64 kanałów (GAE-64) lub 128 kanałów (GAE-128), z zachowaniem oryginalnej siatki tokenów. Z tego samego stanu ukrytego nowa uczona głowica dekoduje wygląd RGB, podczas gdy oryginalna, zamrożona głowica DPT (Dense Prediction Transformer) odczytuje mapy głębi, chmury punktów oraz promienie kamery. Dzięki zamrożeniu głowicy DPT autokoder nie może maskować strat kompresji, lecz musi zachować pełną czytelność informacji geometrycznej.
2. Kształtowanie przestrzeni ukrytej: Aby przestrzeń ukryta nadawała się do płynnego modelowania generatywnego, zastosowano dwa uzupełniające się mechanizmy nadzoru. Wyrównanie pojedynczych tokenów do modelu C-RADIO zapewnia gładkość transportu i separację semantyczną, natomiast dopasowanie macierzy podobieństw do cech DINOv2 przywraca lokalną strukturę przestrzenną i relacje między sąsiednimi fragmentami obrazu.

Na tak przygotowanej przestrzeni ukrytej Tencent wytrenował transformer przepływu (DiT) o wielkości 0,93 mld parametrów, wykorzystujący technikę flow matching. Ruch kamery jest do niego wprowadzany za pośrednictwem promieni Plückera (metoda SCoPE) w mechanizmie self-attention, a kontekst tekstowy dostarcza zamrożony model Qwen3-0.6B.

Wyniki testów: dwucyfrowy spadek FVD i precyzja trajektorii

W rygorystycznych, kontrolowanych eksperymentach na dwóch wiodących zbiorach danych widoków przestrzennych – RealEstate10K oraz DL3DV – modele GAE porównano z podejściami bazującymi na tradycyjnych kodekach pikselowych (SD-VAE, WAN2.1 VAE), semantycznych (RAEv2) oraz surowych warstwach DA3. Wszystkie warianty trenowano przy identycznym budżecie obliczeniowym i tej samej architekturze generatora.

Wprowadzenie natywnej przestrzeni GAE przyniosło znaczącą poprawę zarówno wierności wizualnej, jak i dyscypliny trajektorii. Na zbiorze RealEstate10K bezwzględny błąd trajektorii kamery (ATE – Absolute Trajectory Error, mierzony niezależnym modelem VGGT) został zredukowany o 52,8%, co oznacza ponad dwukrotny wzrost precyzji prowadzenia wirtualnego obiektywu. Na zbiorze DL3DV spadek błędu ATE wyniósł 23,3%. Jednocześnie wskaźnik Fréchet Video Distance (FVD), mierzący dystrybucyjną jakość generowanego wideo, spadł o kilkanaście do ponad dwudziestu procent względem najsilniejszych rozwiązań alternatywnych.

Wyniki spójności wielowidokowej mierzone metryką MEt3R (rejestrującą rozbieżności cech między parami wygenerowanych ujęć z uwzględnieniem okluzji) wyniosły odpowiednio 0,1208 dla GAE-64 oraz 0,1347 dla GAE-128, plasując warianty Tencent na czele stawki.

Długie ujęcia i otwarcie wag modelu na GitHubie

Potencjał architektury GAE zaprezentowano także poza ujęciami testowymi. Skalowany model demonstracyjny, wytrenowany w wyższej rozdzielczości 672×378 pikseli, wygenerował długie ujęcie liczące 81 klatek na podstawie wyłącznie jednej klatki początkowej i zadanej ścieżki kamery. Co istotne, bezpośrednie rzutowanie wygenerowanych w ten sposób map głębi i promieni pozwoliło na natychmiastowe utworzenie spójnej chmury punktów 3D całego pomieszczenia – bez konieczności stosowania wieloetapowej rekonstrukcji przestrzennej, algorytmów Structure-from-Motion czy dopasowywania ujęć po wygenerowaniu filmu.

Projekt Tencent stanowi istotny krok w kierunku tzw. modeli świata (world models), w których generator wideo nie tyle konfabuluje ciąg dwuwymiarowych klatek, ile symuluje fizycznie trwałą, geometryczną przestrzeń trójwymiarową. Zespół badawczy opublikował oficjalne repozytorium projektu w serwisie GitHub pod nazwą TencentARC/GAE-GeometricAutoEncoder, a wytrenowane wagi modeli (w tym GAE-D64-1B) udostępniono na platformie Hugging Face do celów badawczych.