Nejdřív to vypadá jen jako pořízení fotky mobilem. Stačí namířit kameru přístroje na okolí, a telefon už se sám zorientuje. Ukáže názvy okolních kopců, jejich výšku, turistické cesty i vrstevnice. Pozná, kde fotograf stál, i to, co fotil. Nebo jak by fotka ze stejného místa vypadala, kdyby zrovna sněžilo. Software z dílny Fakulty informačních technologií Vysokého učení technického v Brně ve spolupráci s Adobe Research aktuálně čeká na udělení patentu.
„Naším cílem, ke kterému se stále přibližujeme, je lokalizace jakékoliv fotografie jen na základě obrazové informace. To je extrémně náročná úloha, kterou řešíme v několika krocích a také několika různými způsoby,“ vysvětluje Martin Čadík z Fakulty informačních technologií. Vedoucí výzkumné skupiny s názvem CPhoto@FIT VUT na projektu geo-lokalizace fotografií výzkumně pracuje už od roku 2010, aktuálně jeho tým tvoří pět lidí. Celkově se však výpočetní fotografii a geo-lokalizaci fotek věnuje už přes 20 let. Jako jeden z mála v Evropě.
Fotky z internetu už nestačily
Aby systém dokázal určit, na co se kamera dívá – a díky tomu polohu – porovnával dosud fotografii s databází jiných snímků. Výzkumníci ho trénovali na tisícovkách obrázků krajin stažených z internetu, ale i z vlastních archivů. „Mělo to ale řadu nevýhod – odkud jsme neměli snímky, tam jsme nemohli provést lokalizaci. Nyní porovnáváme fotografie přímo s 3D terénními modely. Ty pokrývají celou planetu, tedy i místa, kam lidé nechodí, navíc obsahují data s texturami z různých ročních období. To pomáhá při lokalizaci, pokud se krajina mění,“ vysvětluje Čadík.
Nově software týmu dokáže zpřesnit již odhadnutou pozici fotoaparátu a vypočte i přesnou orientaci kamery. Telefon si díky určení polohy GPS zobrazí syntetický pohled na krajinu. Podobně to dělá například Google Earth. Z fotografie nebo obrazovky potom detekuje významné body, třeba obrysy kopců, řek nebo lesů, porovná je s terénními modely a díky tomu dokáže určit polohu i orientaci kamery. Na metry přesně.
Možnosti nové technologie vysvětluje následující video:
width="560" height="315" frameborder="0" allowfullscreen="allowfullscreen">
Data, z nichž software dopočítává realitu ve fotografii a okolo ní, dává tým dohromady z placených i volně dostupných zdrojů. Pro tuzemsko používá mimo jiné Český ústav zeměměřický a katastrální, pro Spojené státy pak vládní agenturu USGS, která má na starosti kromě mapování krajiny například i přírodní katastrofy nebo klimatické změny. Pak jsou tu například topografické informace z projektu openstreetmap a mnohé jiné.
Čadík dodává, že ve světě výpočetní fotografie znamená představuje jeho projekt velký posun vpřed. Umožnil ho až pokrok ve vývoji neuronových sítí a dostupnost přesných terénních modelů s texturami.
Čadík začal před 11 lety na výzkumu pracovat s kolegy v německém Saarbrückenu. Před třemi lety přidal ve spolupráci s Martinem Šimonovským takzvanou metodu LandscapeAR. „V té době jsme ovšem ještě neměli dostatečné množství dat potřebných pro natrénování neuronových sítí. V projektu jsme pokračovali s kolegou Janem Brejchou, který potřebná data získal s pomocí fotogrametrických metod typu Structure from Motion,“ hovoří o technice, která rekonstruuje tvary, měří rozměry a určuje polohu předmětů na fotografiích. Od roku 2018 probíhá projekt ve spolupráci s Adobe Research, výzkumnou částí společnosti Adobe.
Rozhlédnout se po okolí
O užití celé techniky mají na VUT jasno už roky. Díky naprosto přesnému určení místa – tedy známé poloze i směrové orientaci telefonu – je možné najít pohřešovaného třeba při pátrací akci. Snímky mohou pomoct i forenzní analýze a ověřit, jestli je na fotce skutečně to, co tvrdí její autor. Nebo pomáhat v získávání dat o okolní přírodě. „Geo-lokalizaci fotek by tak mohla v budoucnu využít například švýcarská horská služba, která nyní monitoruje sněžnou pokrývku pomocí rozsáhlého kamerového systému. Rozšíření o data z digitálních 3D modelů by nabídlo záchranářům další cenné informace o okolním terénu,“ uvedli už dříve výzkumníci.
Takový software by ale mohl mít daleko víc uživatelů. Třeba turisty, kteří chtějí zpětně změnit fotky z dovolené doma u počítače. Ten totiž už dokonale zná místo, odkud byl snímek pořízen, i to, kam fotograf kameru namířil. Takže je možné snímky rychle upravit tak, jako by člověk fotil znovu, nebo třeba úplně jindy: zaostřit na jiný vrchol, přidat stíny, změnit osvětlení fotky. Nebo zasadit pořízenou fotografii přímo do terénu a přidat virtuální realitu. A v ní „vrátit“ člověka přímo na místo, kde se snímek fotil. S VR brýlemi by se pak mohl uživatel třeba i virtuálně rozhlížet po okolí, mimo záběr fotografie.
„Zájem o komercionalizaci našich znalostí jsme zaznamenali,“ potvrzuje Čadík, ale hned dodává, že výsledky týmu jsou hlavně ve výzkumné oblasti. „Pokud by nám někdo chtěl pomoci s reálnou aplikací, která by byla uživatelsky přívětivá, byli bychom rádi,“ doplňuje.
