Model MiraScene umożliwia rekonstrukcję trójwymiarowych obiektów ze zdjęcia

Zespół badawczy VAST-AI-Research, powiązany z platformą Tripo, we współpracy z naukowcami z The University of Hong Kong zaprezentował MiraScene — otwarty model generatywny, który umożliwia rekonstrukcję trójwymiarowych obiektów ze zdjęcia 2D. W odróżnieniu od klasycznych narzędzi generujących przestrzeń jako pojedynczą, niepodzielną bryłę, MiraScene dekomponuje scenę na odrębne elementy geometryczne i precyzyjnie ustala ich położenie w układzie współrzędnych kamery. Opracowane rozwiązanie rozwiązuje jeden z najtrudniejszych problemów wizji komputerowej: precyzyjne łączenie pojedynczych obiektów trójwymiarowych w spójne, w pełni edytowalne środowisko. Co istotne, autorzy udostępnili publicznie kod źródłowy oraz wagi modelu, pozwalając na swobodne wykorzystanie technologii w projektach badawczych i komercyjnych.

Kompozycja zamiast monolitu: nowa perspektywa w generatywnym 3D

Dotychczasowe metody generowania trójwymiarowych scen z pojedynczego widoku dzieliły się na dwa główne nurty. Podejście holistyczne traktowało cały kadr jako jeden obiekt. Choć pozwalało to zachować ogólne relacje przestrzenne, stały budżet wokseli lub tokenów sprawiał, że mniejsze przedmioty traciły detal, a ich granice ulegały zatarciu. Taka jednolita siatka uniemożliwiała jakąkolwiek późniejszą ingerencję, taką jak przesunięcie krzesła czy usunięcie rekwizytu ze stołu. Z kolei rozwiązania generujące sekwencje wideo, reprezentowane choćby przez system WorldCrafter, stawiają na spójność wizualną wirtualnych światów bez tworzenia jawnej siatki geometrycznej.

MiraScene obiera odmienną ścieżkę: stawia na kompozycyjność geometryczną. W podejściach kompozycyjnych kluczową trudnością pozostawała jednak tzw. rzadka regresja pozycji (sparse pose regression). Modele próbowały bezpośrednio przewidzieć wektor przesunięcia, rotację oraz skalę każdego przedmiotu. W warunkach niepełnej widoczności, skrótów perspektywicznych i braku danych głębi sieć neuronowa gubiła precyzję, co skutkowało przenikaniem się brył lub ich lewitacją w przestrzeni.

Canonical Coordinate Map: gęste dopasowanie geometryczne w praktyce

Przełom w MiraScene polega na zastąpieniu odgadywania pozycji globalnej gęstym dopasowaniem geometrycznym. Zamiast szacować pojedynczy wektor położenia, model przewiduje dwuwymiarową mapę współrzędnych kanonicznych — Canonical Coordinate Map (CCM). Każdemu widocznemu pikselowi w wycinku obiektu przypisywana jest dokładna współrzędna $(x, y, z)$ na powierzchni bryły w jej znormalizowanej, ograniczonej przestrzeni kanonicznej $[-0.5, 0.5]$.

Równolegle, z wejściowego kadru tworzona jest mapa chmury punktów sceny — Point Cloud Map (PCM) — przy użyciu algorytmów jednoocznej estymacji geometrii, takich jak Pixel-Perfect Depth czy MoGe. Po nałożeniu mapy CCM z powrotem na kadr powstaje gęsta sieć korespondencji między przestrzenią kanoniczną przedmiotu a przestrzenią kamery. Ostateczne osadzenie obiektu w scenie nie zależy od domysłów sieci neuronowej, lecz od odpornego algorytmu dopasowania geometrycznego. Wykorzystując mechanizm RANSAC oraz zamkniętą formułę Umeyama (closed-form Umeyama algorithm), system eliminuje punkty odstające na krawędziach i oblicza ścisłą transformację podobieństwa.

Dwugałęziowa architektura MoT i etapy trenowania

Za równoległe tworzenie kształtu i jego układu odpowiada architektura Mixture-of-Transformers (MoT), zbudowana w oparciu o szkielet TRELLIS (24 warstwy, szerokość cech 1024, 16 głów uwagi). Model składa się z dwóch wyspecjalizowanych gałęzi:

1. Geometry Expert — generuje geometrię obiektu w kanonicznej przestrzeni ukrytej wokseli $8 \times 8 \times 8$, kompresowanej przez strukturalny VAE.
2. Layout Expert — generuje mapę CCM bezpośrednio w przestrzeni pikselowej (wycinek $296 \times 296$, przetwarzany splotem o kroku 8 do postaci 1369 tokenów).

Oba strumienie wymieniają informacje poprzez wspólną samouwagę (shared self-attention) oraz zunifikowane kodowanie pozycyjne (shared geometry-layout positional embedding), które rzutuje tokeny 2D i 3D do wspólnej przestrzeni bazowej. Zapobiega to powstawaniu sprzeczności między wygenerowanym kształtem a jego przestrzennym rzutem.

Trening modelu podzielono na dwa etapy. W fazie wstępnej wykorzystano 60 000 odizolowanych zasobów 3D z bazy Objaverse, generując milion widoków syntetycznych oraz 20 000 ujęć z fotorealistycznymi tłami stworzonymi przez FLUX2.0. Następnie model dostrojono na 20 000 ujęć scen ze zbioru 3D-FRONT. W tym etapie sieć uczyła się rekonstrukcji amodalnej — odtwarzania kompletnej geometrii obiektów częściowo przysłoniętych przez inne elementy otoczenia. Do automatycznego wyodrębniania masek instancji przy braku gotowych adnotacji przygotowano potok agentowy oparty na modelu językowo-wizyjnym GPT-5.6 oraz segregatorze SAM3 z modułem recyklingu odrzuconych kandydatów.

Weryfikacja empiryczna: MiraScene w zestawieniu z modelem SAM3D

Skuteczność zaproponowanej reprezentacji potwierdzają testy porównawcze na wymagającym benchmarku BlendSwap, obejmującym zróżnicowane sceny wnętrz, plenerów oraz stylizacji artystycznych. Jako główny punkt odniesienia posłużył model SAM3D, rozwijany przy użyciu potężnego, zamkniętego silnika danych.

Dane: VAST-AI-Research / arXiv:2609.23796v2 (BlendSwap benchmark)

MiraScene osiągnął względną poprawę wskaźnika 3D-IoU aż o 39,8% względem SAM3D oraz o 16,5% w przypadku 2D-IoU, notując przy tym wyższą jakość wizualną (PSNR na poziomie 18,8). Równie wyraźną przewagę odnotowano na zbiorze 3D-Future Scene, gdzie zysk w metryce 3D-IoU wyniósł 16,4%.

Badania ablacyjne wykazały, że kluczem do sukcesu jest sama reprezentacja CCM. Wariant alternatywny Coord Cube, przewidujący punkty w przestrzeni sceny, osiągnął 3D-IoU na poziomie zaledwie 0,379. Z kolei usunięcie wspólnej uwagi w architekturze obniżyło spójność rzutowania 2D-IoU z 0,757 do 0,535, a błąd Chamfer Distance wzrósł z 0,017 do 0,070. Sam moduł RANSAC z algorytmem Umeyama przyniósł 13,4% zysku w dokładności przestrzennej w stosunku do dopasowania bez filtracji punktów odstających.

Eksport, edycja i robotyka: praktyczne perspektywy wdrożeniowe

Kompozycyjny charakter rekonstrukcji otwiera nowe możliwości przed twórcami grafiki komputerowej oraz inżynierami robotyki. Ponieważ każdy element otoczenia jest niezależną siatką ze zdefiniowaną pozycją, użytkownik może wygenerowane przedmioty dowolnie przesuwać, obracać, teksturować, modyfikować czy eksportować do zewnętrznych pakietów graficznych pokroju Blendera lub Unreal Engine.

Istotnym beneficjentem technologii staje się także dziedzina embodied AI. Trójwymiarowe zasoby wygenerowane ze zwykłych zdjęć można bezpośrednio importować do silników fizycznych. Dzięki zachowaniu poprawnych proporcji i relacji przestrzennych obiekty te nadają się do budowy wirtualnych torów przeszkód, na których autonomiczne roboty mobilne oraz manipulatory mogą trenować algorytmy chwytania, planowania ruchu oraz unikania kolizji w symulowanym środowisku.