Słownik Gaussian Splatting i skanowania 3D

Gaussian Splatting przyniósł ze sobą sporo nowych słów, a skanowanie przestrzeni miało ich już dużo wcześniej. Poniższy słownik wyjaśnia te, które najczęściej pojawiają się w rozmowach o spacerach 3D. Hasła są pogrupowane tematycznie, a całość opisuje technologię, którą szerzej omawiamy w tekście Gaussian Splatting: co to jest i jak działa.

Podstawy

3DGS

Skrót od angielskiego 3D Gaussian Splatting, czyli po prostu Gaussian Splatting. Metoda odtwarzania przestrzeni 3D z milionów miękkich, półprzezroczystych elips, opisana w 2023 roku przez zespół z francuskiego instytutu Inria.

Gaussian

Pojedyncza elipsa w trzech wymiarach, z miękkimi brzegami. Ma położenie, rozmiar, orientację, przezroczystość i kolor zależny od kierunku patrzenia. Scena to miliony takich elips.

Splat

Plamka, którą „gaussian” zostawia na ekranie po narysowaniu, czyli miękki, rozmyty ślad. Od tego słowa pochodzi nazwa metody: splatting to rozmazywanie punktów w plamy.

Chmura punktów

Zbiór punktów w przestrzeni, z których każdy ma współrzędne i często kolor. Tak zwykle wygląda surowy wynik skanowania laserem. Gaussian Splatting można traktować jako „chmurę punktów z wagą”, w której każdy punkt stał się miękką elipsą.

Pole radiancji

Matematyczny opis tego, jak światło rozchodzi się w scenie: jaki kolor widać z danego punktu w danym kierunku. NeRF i Gaussian Splatting to dwa sposoby zapisania takiego pola.

NeRF

Neural Radiance Fields, czyli pole radiancji zapisane w sieci neuronowej. Opisany w 2020 roku, poprzednik Gaussian Splatting. Świetna jakość, ale pierwotnie wolne renderowanie. Różnice omawiamy w tekście Gaussian Splatting, NeRF i fotogrametria.

Fotorealizm

Stopień, w jakim obraz jest nie do odróżnienia od fotografii. W spacerach 3D oznacza wierne odwzorowanie światła, materiałów i faktur.

Render w czasie rzeczywistym

Rysowanie obrazu na bieżąco, w miarę jak użytkownik się porusza, z płynnością rzędu kilkudziesięciu klatek na sekundę. Gaussian Splatting pozwala na to nawet w przeglądarce.

Zbieranie danych

Fotogrametria

Metoda budowania modelu 3D ze zdjęć. Z wielu ujęć oblicza się położenie punktów, a z nich powstaje siatka trójkątów pokryta teksturą. Dokładna, ale słabo radzi sobie ze szkłem i gładkimi ścianami.

LiDAR

Skaner, który mierzy odległości laserem, wysyłając impulsy światła i mierząc czas ich powrotu. Daje precyzyjną informację o geometrii. Nasz sprzęt łączy LiDAR z kamerami.

SLAM

Simultaneous Localization and Mapping, czyli jednoczesna lokalizacja i mapowanie. Technika, dzięki której urządzenie w ruchu buduje mapę otoczenia i jednocześnie wie, gdzie się w niej znajduje. Stosowana w skanerach ręcznych i w robotyce.

Structure from Motion (SfM)

Wyznaczanie położeń kamer i rzadkiej chmury punktów na podstawie zestawu zdjęć. Zwykle to pierwszy krok przed właściwym uczeniem sceny.

COLMAP

Popularne, otwarte oprogramowanie do SfM. Wielu potoków Gaussian Splatting używa go do ustalenia, skąd zrobiono każde zdjęcie.

Pozycja kamery

Położenie i kierunek patrzenia aparatu w momencie wykonania zdjęcia. Bez dokładnych pozycji kamer nie da się poprawnie odtworzyć sceny.

Siatka

Model 3D zbudowany z trójkątów (mesh). Standard w grach i programach CAD, ale słabo odwzorowuje światło, szkło i cienkie elementy.

Przetwarzanie

Trening

Potoczna nazwa procesu optymalizacji: program wielokrotnie rysuje scenę z pozycji prawdziwych kamer i porównuje z oryginalnymi zdjęciami, poprawiając elipsy, aż obraz będzie zgodny.

Densyfikacja

Dodawanie nowych elips w miejscach, gdzie scena jest jeszcze zbyt uboga w szczegóły, oraz dzielenie zbyt dużych. Dzięki niej obraz stopniowo nabiera ostrości.

Floaters

Z angielskiego „pływaki”. Rozmyte plamki zawieszone w powietrzu, które czasem pojawiają się w miejscach, z których nie zrobiono zdjęć. Typowy artefakt Gaussian Splatting, który często można usunąć podczas obróbki.

Sferyczne harmoniczne

Sposób zapisu koloru zależnego od kierunku patrzenia. Dzięki nim odbicia i błyski zmieniają się, gdy przesuwasz kamerę, zamiast być na stałe wklejone w obraz.

Rasteryzacja

Zamiana obiektów 3D na piksele na ekranie. Gaussian Splatting wykorzystuje ją zamiast kosztownego śledzenia promieni, co odpowiada za jego szybkość.

Przezroczystość (alfa)

Parametr określający, jak bardzo dana elipsa zasłania to, co za nią. Mieszanie półprzezroczystych elips daje miękkie przejścia i realistyczne szkło.

Formaty i wyświetlanie

PLY

Prosty, powszechny format zapisu. Standardowy wynik uczenia sceny, zachowujący pełną informację, ale duży. Więcej w tekście Formaty plików Gaussian Splatting.

SPLAT

Uproszczony format zapisu elips, popularny w pierwszych przeglądarkach internetowych Gaussian Splatting.

SPZ

Format skompresowany, opracowany przez Niantic i udostępniony jako otwarty. Znacznie mniejszy od PLY.

SOG

Spatially Ordered Gaussians. Skompresowany format rozwijany przez PlayCanvas, dobrze dopasowany do wyświetlania w przeglądarce.

LOD

Level of Detail, czyli poziomy szczegółowości. Scena jest przygotowana w kilku wersjach o różnej dokładności. Najpierw wczytuje się uproszczoną, a detale dochodzą później, dzięki czemu obraz nabiera ostrości w trakcie ładowania.

Streaming

Stopniowe pobieranie sceny w kawałkach, zamiast wczytywania całego pliku na starcie. Pozwala otworzyć duży skan na telefonie bez długiego czekania.

Kompresja

Zmniejszanie rozmiaru pliku kosztem niewielkiej straty precyzji. W Gaussian Splatting jest niezbędna, bo surowe sceny są bardzo duże.

SuperSplat

Edytor scen Gaussian Splatting od PlayCanvas, działający w przeglądarce. Pozwala przycinać, czyścić i konwertować skany.

WebGL i WebGPU

Technologie umożliwiające rysowanie grafiki 3D w przeglądarce, z użyciem karty graficznej. WebGPU jest nowsze i zwykle wydajniejsze.

Proxy kolizji

Uproszczony, niewidoczny model sceny używany tylko do wykrywania zderzeń. Dzięki niemu podczas spaceru nie da się przejść przez ścianę ani zapaść pod podłogę, mimo że widoczny obraz to same elipsy.

Pojęcia z branży nieruchomości

Spacer 360

Zestaw zdjęć panoramicznych wykonanych w wybranych punktach, między którymi użytkownik się przenosi. Przeciwieństwo płynnego spaceru w Gaussian Splatting.

Teleportacja

Skok z jednego punktu do drugiego w spacerze 360, bez obrazu pomiędzy. Największa wada tego typu spacerów.

Cyfrowy bliźniak

Wierna cyfrowa kopia realnego obiektu lub przestrzeni. Skan w Gaussian Splatting jest jednym ze sposobów jej tworzenia, choć dokładne odwzorowanie wymiarów wymaga dodatkowych danych.

Chcesz zobaczyć to w praktyce

Wszystkie te pojęcia składają się na nasze spacery 3D. Jak to wygląda w praktyce, pokazujemy na stronie Jak powstaje spacer 3D, a zakres realizacji opisujemy w części Oferta. Masz pytanie, którego tu brakuje? Napisz do nas.