Gaussian Splatting, NeRF i fotogrametria: czym się różnią

Zdjęcia realnej przestrzeni można zamienić w trójwymiarowy model na trzy zasadnicze sposoby: fotogrametrią, polami radiancji (NeRF) i Gaussian Splatting. Wszystkie zaczynają od tego samego, czyli od wielu zdjęć z różnych miejsc, ale kończą zupełnie inaczej. Różnice decydują o tym, co potem da się z takim modelem zrobić: zmierzyć go, wyświetlić w przeglądarce czy pokazać klientowi tak, żeby poczuł przestrzeń.

Ten tekst porządkuje te trzy metody. Jeśli dopiero zaczynasz, najpierw przeczytaj Gaussian Splatting: co to jest i jak działa.

Trzy metody w pigułce

• Fotogrametria odtwarza powierzchnie jako siatkę trójkątów pokrytą teksturą ze zdjęć. Jest najstarsza i najlepiej znana.
• NeRF (Neural Radiance Fields) zapisuje całą scenę w sieci neuronowej, która dla danego punktu i kierunku patrzenia podaje kolor i gęstość.
• Gaussian Splatting zapisuje scenę jako zbiór milionów półprzezroczystych elips, które karta graficzna potrafi bardzo szybko narysować.

Fotogrametria: siatka i tekstura

Fotogrametria opiera się na prostej idei: jeśli ten sam punkt widać na kilku zdjęciach zrobionych z różnych miejsc, można obliczyć jego położenie w przestrzeni. Oprogramowanie najpierw ustala, skąd zrobiono każde zdjęcie, potem liczy gęstą chmurę punktów, buduje z niej siatkę trójkątów i nakleja na nią teksturę wyciętą ze zdjęć.

Mocne strony:

• dokładna geometria, którą można mierzyć i eksportować do programów CAD i BIM,
• mały, dobrze znany format (siatka z teksturą), który otworzy prawie każde oprogramowanie 3D,
• dojrzałe, sprawdzone narzędzia.

Słabe strony:

• szkło, lustra i błyszczące powierzchnie wychodzą źle, bo odbicie zmienia się wraz z pozycją aparatu, a algorytm zakłada, że punkt wygląda tak samo z każdej strony,
• gładkie, jednolite ściany (na przykład białe ściany w mieszkaniu) nie mają cech, po których da się dopasować zdjęcia, więc w siatce pojawiają się dziury lub zniekształcenia,
• cienkie elementy, takie jak przewody, krzesła z cienkimi nogami czy roślinność, rozmywają się lub znikają,
• wygląd bywa „plastikowy”, bo światło jest na stałe wklejone w teksturę i nie zmienia się z kątem patrzenia.

NeRF: scena w sieci neuronowej

NeRF, opisany w 2020 roku w pracy, której pierwszym autorem był Ben Mildenhall, przyjął zupełnie inne podejście. Zamiast budować powierzchnie, uczy sieć neuronową odpowiedzi na pytanie: „jaki kolor i jaką gęstość ma przestrzeń w tym punkcie, gdy patrzę z tego kierunku?”. Obraz powstaje przez wysłanie promienia dla każdego piksela i zapytanie sieci o wiele punktów wzdłuż niego.

Mocne strony:

• znakomita jakość, w tym odbicia i efekty zależne od kąta patrzenia,
• dobre radzenie sobie z trudnymi powierzchniami, z którymi fotogrametria ma kłopot.

Słabe strony:

• pierwotna wersja była bardzo wolna, zarówno w uczeniu, jak i w renderowaniu, bo każdy piksel wymaga wielu zapytań do sieci,
• scena siedzi „w sieci”, a nie w plikach, które można łatwo edytować, więc trudno usunąć z niej pojedynczy przedmiot,
• do wyświetlania w przeglądarce potrzebne są dodatkowe, kosztowne zabiegi.

Późniejsze warianty, jak Instant NGP od NVIDIA, skróciły uczenie do minut, ale sam sposób zapisu sceny sprawia, że NeRF gorzej nadaje się do interaktywnych prezentacji dla szerokiej publiczności.

Gaussian Splatting: miękkie elipsy, które karta umie rysować

Gaussian Splatting, opisany w 2023 roku przez zespół Inria (Kerbl, Kopanas, Leimkühler, Drettakis), zachował jakość zbliżoną do NeRF, ale zmienił sposób zapisu. Scena to jawny zbiór elips, każda z położeniem, rozmiarem, obrotem, przezroczystością i kolorem zależnym od kierunku patrzenia. Karta graficzna rysuje je, sortując według odległości i mieszając, co jest operacją, do której współczesne GPU są znakomicie przystosowane.

Mocne strony:

• fotorealizm, w tym odbicia, przezroczystość szkła i faktury materiałów,
• renderowanie w czasie rzeczywistym, także w przeglądarce na telefonie,
• scena to zwykły plik z listą elips, więc można ją edytować, przycinać i kompresować.

Słabe strony:

• zapisuje wygląd, a nie dokładną geometrię, więc nie nadaje się wprost do pomiarów,
• w miejscach, z których nie zrobiono zdjęć, mogą pojawiać się rozmyte „pływające” plamki,
• surowe pliki potrafią być bardzo duże, co wymaga kompresji i wczytywania stopniowego (o formatach piszemy w tekście Formaty plików Gaussian Splatting).

Tabela porównawcza

Cecha	Fotogrametria	NeRF	Gaussian Splatting
Sposób zapisu	siatka trójkątów z teksturą	sieć neuronowa	zbiór elips
Renderowanie	szybkie	wolne (w pierwotnej wersji)	w czasie rzeczywistym
Wygląd i odbicia	przeciętny, światło „wklejone”	bardzo dobry	bardzo dobry
Geometria do pomiarów	dobra	słaba	słaba
Szkło, połysk	problematyczne	dobre	dobre
Edytowalność	dobra (siatka)	trudna	średnia (plik z elipsami)
Wyświetlanie w przeglądarce	łatwe	trudne	możliwe po optymalizacji
Typowe zastosowanie	inwentaryzacja, dokumentacja	badania, eksperymenty	prezentacje, spacery 3D

Którą metodę wybrać

Do prezentacji nieruchomości i spacerów 3D najlepiej wybrać Gaussian Splatting: klient czuje przestrzeń, widzi światło i materiały, a całość otwiera się w przeglądarce. Tak pracujemy. Więcej o naszym procesie piszemy na stronie Jak powstaje spacer 3D.

Do inwentaryzacji, pomiarów i dokumentacji technicznej lepsza jest metoda oparta na geometrii, czyli LiDAR albo fotogrametria. Dlatego w opisie skanowania budów zaznaczamy, że skan 3D budowy jest dokumentacją wizualną i nie zastępuje pomiaru geodezyjnego.

Do badań i eksperymentów NeRF nadal jest ważnym narzędziem, bo wiele nowych pomysłów wyrosło właśnie z niego.

Metody hybrydowe

Granice między metodami się zacierają. Istnieją prace nad wydobywaniem siatki ze scen Gaussian Splatting (na przykład SuGaR czy 2D Gaussian Splatting), ale to wciąż dziedzina badań. W praktyce łączy się więc mocne strony obu podejść. W naszych spacerach obraz pochodzi z Gaussian Splatting, a do poruszania się po scenie używany jest dodatkowo uproszczony, niewidoczny model kolizji. Dzięki niemu nie da się przejść przez ścianę ani zapaść pod podłogę, a widoczny obraz zachowuje pełny fotorealizm.

Z kolei kamery z LiDAR, takie jak ta, której używamy, zbierają oprócz obrazu także pomiar odległości. Taka dodatkowa informacja o geometrii pomaga przy rekonstrukcji, zwłaszcza w jednolitych wnętrzach, w których sam obraz bywa niejednoznaczny.

Podsumowanie

Nie ma jednej najlepszej metody, jest dobór do celu. Jeśli chcesz pokazać przestrzeń klientowi, wybierz Gaussian Splatting. Jeśli potrzebujesz wymiarów, wybierz geometrię. Jeśli pracujesz naukowo, NeRF dalej ma sporo do zaoferowania.

Planujesz skan nieruchomości lub budowy? Napisz do nas, a doradzimy, jaka metoda pasuje do Twojego celu.