WorldCrafter: generowanie spójnych wirtualnych światów bez geometrii 3D
Zespół inżynierów z Tencent ARC Lab oraz Peking University zaprezentował model WorldCrafter – zaawansowany autoregresyjny model świata wideo (video world model), który umożliwia interaktywną eksplorację wirtualnego otoczenia przy pomocy swobodnego sterowania kamerą. System potrafi wygenerować ciągłe środowisko na podstawie pojedynczego obrazu początkowego lub promptu tekstowego, skutecznie eliminując powszechne dotąd zjawisko utraty spójności przestrzennej. Zamiast budować jawną geometrię trójwymiarową, mapy głębi czy chmury punktów, WorldCrafter wykorzystuje odpytywalną kamerą pamięć niejawną (implicit 3D-aware memory). To rozwiązanie zapobiega deformacjom obiektów przy ponownym spojrzeniu w to samo miejsce podczas wielominutowej eksploracji, a kompletne wagi wersji podstawowej i szybszej udostępniono otwarcie w rozdzielczości poniżej 400 pikseli wysokości.
Dotychczasowe wideo-modele świata zmagały się z tak zwaną amnezją przestrzenną. Kiedy wirtualna kamera poruszała się po trajektorii z zamkniętą pętlą, powrót do wcześniej obserwowanego punktu widzenia niemal zawsze kończył się zniekształceniem otoczenia: budynki zmieniały kształty, a przedmioty znikały. Wcześniejsze próby rozwiązania tego problemu dzieliły się na dwie główne ścieżki. Pierwsza polegała na pamięci kontekstowej (context memory), która zachowywała klatki w oknie atencji, co generowało kwadratowy wzrost kosztów obliczeniowych i ograniczało zasięg obserwacji. Druga ścieżka stawiała na jawną pamięć przestrzenną 3D, wymagającą ciągłego estymowania głębi i geometrycznego rzutowania pikseli (warping). Takie podejście nie tylko narzucało ogromne opóźnienia, lecz także zawodziło w dynamicznych scenach, gdzie obiekty poruszają się niezależnie od ruchu kamery.
Niejawna pamięć 3D zamiast geometrycznych siatek i map głębi
Twórcy WorldCrafter postanowili całkowicie ominąć konieczność materializowania geometrii sceny. Zamiast tego zaimplementowali architekturę, w której zgromadzona historia klatek ukrytych (latents) z modelu VAE jest przekształcana w zwartą reprezentację trójwymiarową przez dedykowany enkoder pamięci. Moduł ten zainicjalizowano z modelu LagerNVS, przejmując jego wyuczone mechanizmy reprezentacji wielowidokowej, a następnie połączono z wstrzykiwaniem parametrów pozycji kamery.
Kluczowym elementem systemu jest moduł odczytu sterowany pozą (pose-guided readout). Zamiast przekazywać do generatora całą historię lub generować obrazy pośrednie, moduł odpytuje pamięć z użyciem zaplanowanej, przyszłej trajektorii kamery. Dzięki temu do generatora wideo trafia stała, z góry zdefiniowana liczba tokenów pamięci (odpowiadająca tokenom zaledwie 4 pełnych klatek), zawierających wyłącznie informacje istotne dla nadchodzącego ujęcia. Dodatkowo selekcja wcześniejszych klatek odbywa się za pomocą algorytmu maksymalizacji pokrycia (max-coverage history retrieval). Zamiast dobierać klatki najbardziej zbliżone wizualnie, system zachowuje ostatnią klatkę oraz dobiera wcześniejsze ujęcia tak, aby zmaksymalizować łączne pole widzenia na planowanej trasie kamery.
Samo generowanie wideo opiera się na architekturze Diffusion Transformer (DiT), którą zainicjalizowano z modelu Helios-base i wyposażono w równoległą gałąź kontroli kamery opartą na Unified Camera Positional Encoding (UCPE). Trening przeprowadzono w czterech etapach, łącząc zbiory danych Open-Sora-Plan (760 000 sekwencji wideo), DL3DV (6 000 sekwencji) oraz syntetyczny zbiór MIND z adnotacjami metrycznymi z narzędzia Depth Anything 3 i opisami tekstowymi z Qwen2.5-VL.
Wydajność obliczeniowa i interaktywny wariant WorldCrafter-Fast
Rezygnacja z jawnej rekonstrukcji 3D przyniosła bezprecedensowy skok wydajnościowy. W tradycyjnych modelach opartych na jawnej pamięci przestrzennej (takich jak Lyra 2.0 czy Matrix-Game 3.5) proces estymacji głębi i dopasowania geometrii pochłaniał 0,409 s, a wsadowy warping kolejne 0,937 s, co dawało łącznie 1,346 s na pojedynczy segment wideo (chunk składający się z 9 klatek przy rozdzielczości 640×384). W przypadku WorldCrafter kodowanie pamięci bezpośrednio na skompresowanych reprezentacjach ukrytych zajmuje zaledwie 0,049 s, a odczyt sterowany pozą kamery – 0,013 s. Sumaryczny czas obsługi pamięci wynosi więc 0,062 s na chunk, co oznacza spadek narzutu obliczeniowego o czynnik 21,7×.
Aby umożliwić interaktywne sterowanie w czasie rzeczywistym, autorzy opracowali zoptymalizowany wariant WorldCrafter-Fast. Wykorzystuje on piramidalną destylację (pyramid distillation) działającą na trzech poziomach rozdzielczości z dwoma krokami odszumiania na poziom, opartą na technice distribution matching distillation. Zastosowano w nim hybrydowy podział wag: model dla wyższych poziomów szumu uczył się na danych syntetycznych MIND, by bezbłędnie śledzić ruchome obiekty, natomiast model dla niskiego poziomu szumu destylowano na zbiorach naturalnych OSP i DL3DV, co zapobiegło rozmywaniu tekstur. W rezultacie WorldCrafter-Fast osiąga tempo generowania wynoszące 16 fps na zestawie 4 procesorów GPU.
Weryfikacja empiryczna: twarde liczby w benchmarkach i testach powrotu
Skuteczność modelu poddano rygorystycznym testom na specjalnie przygotowanym benchmarku obejmującym 145 zróżnicowanych scen (83 dynamiczne z poruszającymi się postaciami i obiektami oraz 62 statyczne) i 725 trajektorii kamery. Ścieżki obejmowały od 528 do 1 648 klatek w ujednoliconej rozdzielczości 640×384 pikseli (wysokość 384 pikseli) i zawierały zamknięte pętle wymuszające ponowne odwiedzenie punktów początkowych.
W testach spójności powrotu do sceny (revisit consistency) WorldCrafter zanotował średnią poprawę o 47,6% względem najmocniejszych modeli konkurencyjnych (w tym DreamX-World 1.0, HY-WorldPlay, SANA-WM czy Echo-WM). W bezpośrednim zestawieniu z bazowym modelem Lyra 2.0 wskaźnik błędu percepcyjnego LPIPS spadł z poziomu 0,487 do 0,255, natomiast stosunek sygnału do szumu PSNR wzrósł z 14,050 dB do 18,016 dB. Model uzyskał również wskaźnik podobieństwa strukturalnego SSIM na poziomie 0,517 oraz spójność geometryczną MEt3R równą 0,166. Z kolei w kompleksowej ewaluacji jakości generowanego wideo VBench model WorldCrafter zajął pierwsze miejsce w klasyfikacji ogólnej z wynikiem 81,910 punktów, wygrywając w 5 z 8 badanych kategorii, podczas gdy wariant WorldCrafter-Fast uzyskał najlepszy rezultat w eliminacji migotania czasowego (Temporal Flickering).
Nowe perspektywy dla gier, symulacji i otwartej nauki
Sukces architektury WorldCrafter wyznacza nowy kierunek rozwoju silników symulacyjnych i generatywnych gier wideo. Możliwość swobodnego przemieszczania kamery w wygenerowanym świecie bez ryzyka, że otoczenie ulegnie deformacji po odwróceniu wzroku, przybliża technologię wideo-modeli świata do pełnoprawnej interaktywnej grafiki 3D. Co istotne, w przeciwieństwie do wcześniejszych badań zespołu nad architekturą generatora Tencent GAE, która polegała na bezpośrednim wbudowaniu natywnej geometrii sceny trójwymiarowej w model dyfuzyjny, WorldCrafter udowadnia, że ten sam cel stabilności wizualnej można osiągnąć znacznie oszczędniejszą drogą pamięci niejawnej.
Projekt został w całości udostępniony społeczności badawczej. Kod źródłowy trafił do repozytorium GitHub pod szyldem TencentARC, natomiast gotowe wagi obu wariantów – WorldCrafter-Base oraz zoptymalizowanego WorldCrafter-Fast – udostępniono w serwisie Hugging Face. Otwarty model operujący w natywnej rozdzielczości 640×384 pozwala deweloperom i badaczom na bezpośrednie eksperymenty z interaktywnymi światami bez konieczności inwestowania w kosztowne farmy renderujące tradycyjną grafikę.
