Fotoaparát se stal největším prodejním argumentem chytrých telefonů , zejména ve střední a vyšší třídě. Každá generace představuje nové senzory, více megapixelů jako v Xiaomi Mi Note 10 , pokročilejší možnosti zoomu a technologie, které byly dříve k vidění pouze v profesionálním prostředí. Mezi všemi těmito inovacemi se v technických specifikacích začíná často objevovat jeden termín: Time-of-Flight (ToF ).
Možná jste se setkali s výrazy „ToF kamera“ nebo „ToF hloubkový senzor“ u telefonů od značek Samsung, Huawei P40 , HONOR, LG, Oppo nebo jiných značek a možná jste o tom ani nevěděli. Není to pomíjivý módní výstřelek ani čistě marketingový trik: skrývá se za tím vyspělá technologie měření hloubky vyvinutá v průmyslu a výzkumu, používaná v zařízeních, jako je Kinect, a nyní si nachází své místo i v mobilních telefonech pro vylepšení fotografií, videí, zabezpečení, gest a rozšířené reality.
Co je ToF ve fotoaparátu mobilního telefonu?
ToF je zkratka pro „Time of Flight “ (doba letu). V chytrých telefonech, když mluvíme o ToF kameře nebo senzoru, máme na mysli typ hloubkové kamery, která vypočítává vzdálenost ke každému bodu ve scéně pomocí infračerveného světla. Tyto systémy se také nazývají kamery s měřením doby letu, 3D hloubkové kamery nebo jednoduše ToF kamery.
Koncept je velmi podobný sonaru nebo radaru, ale místo zvuku používá světlo . Telefon vysílá paprsek infračerveného světla směrem k tomu, co je před ním. Toto světlo dopadá na předměty a lidi, odráží se od nich a vrací se zpět do telefonu. Změřením času potřebného k uskutečnění této cesty a znalostí rychlosti, kterou se světlo šíří, může systém vypočítat vzdálenost ke každému bodu, který senzor detekuje.
Toto měření se neprovádí pro jeden bod, ale pro tisíce nebo stovky tisíc bodů rozmístěných po celé scéně. Telefon tak získá 3D mapu hloubky, ve které každý pixel zaznamenává nejen barvu a intenzitu, ale také svou vzdálenost od zdroje. S touto mapou software chápe scénu ve třech rozměrech: ví, co je vpředu, co je za ním, kde jsou mezery, hrany, rohy atd.
Je důležité si uvědomit, že ToF kamera nenahrazuje „normální“ fotoaparát telefonu . Není určena pro přímé pořizování fotografií a videí, ale spíše pro práci na pozadí jako podpůrný senzor. Poskytuje vysoce přesná data o hloubce, která procesor kombinuje s RGB obrazem z ostatních fotoaparátů, aby vylepšil portrétní režim, ostření, 3D rozpoznávání obličeje, rozšířenou realitu a ovládání gesty.
Některé špičkové telefony integrují více než jeden ToF senzor : jeden na zadní straně, primárně určený pro fotografování, video, rozšířenou realitu a měření; a druhý na přední straně, zaměřený na pokročilé rozpoznávání obličeje a gesta ve vzduchu. Jasné příklady lze nalézt v zařízeních, jako je Samsung Galaxy S10 5G, nebo v některých produktech od společností LG, HONOR, Huawei a Oppo.
Součásti ToF kamery v chytrém telefonu
Kamera s měřením doby letu (ToF) není jen další černá „tečka“ vedle objektivů telefonu; je to malý, kompletní systém s několika komponentami, které spolupracují . I když se na první pohled může zdát jako malá dírka, skrývá v sobě mnohem víc, než se na první pohled zdá.
Srdcem systému je ToF senzor, specializované pole pixelů . Na první pohled připomíná klasický obrazový senzor (jako CMOS nebo CCD), ale jeho pixely jsou navrženy tak, aby zaznamenávaly, jak infračervené světlo vyzařované samotným telefonem dopadá: měří jeho intenzitu, ale také fázové posuny a časové zpoždění vzhledem k tomu, co bylo vyzařováno. Každá drobná buňka funguje jako ultrarychlé stopky pro přicházející světlo.
Před snímačem se nachází jednoduchý optický modul, v podstatě specializovaná čočka , která zaostřuje světlo odražené od scény na snímač. Obvykle není tak složitý jako optika hlavního fotoaparátu, ale slouží podobnému účelu: definuje úhel pohledu a zajišťuje, aby světlo jasně dopadalo na každý pixel pole ToF.
Aby to všechno fungovalo, je potřeba specializovaný zdroj infračerveného světla , obvykle ve formě LED diody nebo laseru, který vyzařuje blízké infračervené (NIR) světlo s typickými vlnovými délkami mezi 850 a 940 nm. Toto světlo je obvykle modulováno na frekvencích řádově desítek MHz (u mnoha provedení kolem 20 MHz), takže senzor dokáže snadno rozlišit pulz „domu“ od okolního světla a aplikovat techniky fázového posunu, které výrazně zpřesňují výpočet vzdálenosti.
Posledním klíčovým dílkem skládačky je procesor hloubky obrazu . Může se jednat o specializovaný čip integrovaný do modulu fotoaparátu nebo o blok v ISP (Image Signal Processor) SoC telefonu. Jeho funkcí je transformovat nezpracovaná data ze senzoru (hodnoty pixelů, fáze, časy) do čisté mapy hloubky obrazu, filtrovat šum, spravovat potenciální 2D IR obraz a připravovat informace pro použití operačním systémem, aplikacemi a dalšími fotoaparáty v reálném čase.
Jak ToF funguje krok za krokem
Přestože je to složité pro inženýrství, fyzikální princip měření doby letu (ToF) lze vysvětlit poměrně intuitivně . V podstatě systém měří, jak dlouho trvá, než světelný puls opustí senzor, odrazí se od objektu a vrátí se. To je slavná „doba letu“. Odtud už se vše redukuje na násobení a dělení.
Celý proces se opakuje mnohokrát za sekundu a lze jej rozdělit do série fází, které probíhají nepřetržitě, dokud je ToF kamera aktivní:
- VydáníInfračervený zářič vysílá pulzy modulovaného infračerveného světla směrem k scéně před mobilním zařízením.
- Interakce se scénouTyto impulsy se šíří vzduchem, zasahují lidi, nábytek, zdi, rostliny atd. a část tohoto světla se odráží zpět do telefonu.
- DetekceToF senzor zachycuje odražené infračervené světlo; každý pixel přijímá odražený signál z určitého bodu v prostředí.
- Časové nebo fázové měřeníSystém vypočítává rozdíl mezi vyzařovaným a přijímaným signálem, a to buď měřením čistého času, nebo fázové změny modulované vlny.
- Výpočet vzdálenostiPomocí vzorce vzdálenost = (rychlost světla × doba letu) / 2 procesor vypočítá vzdálenost jednotlivých bodů; tuto hodnotu vydělí dvěma, protože se bere v úvahu zpáteční let.
- Generování mapy hloubkyVšechny tyto vzdálenosti jsou shromážděny do matice, čímž se vytvoří mapa hloubky, ve které má každý pixel přiřazenou hodnotu vzdálenosti.
Nejdůležitější vlastností je, že celé zorné pole se měří v jednom „záběru “. Není třeba posouvat nebo zaostřovat na jednu rovinu za druhou, jako u jiných systémů. Každý snímek z ToF kamery již obsahuje všechny informace o hloubce celé scény, kterou vidí, což umožňuje práci v reálném čase se značnou snadností.
Pokud jste někdy používali Kinect pro Xbox 360 nebo Xbox One, máte dobrou představu o tom, čeho tento přístup dosahuje: rozpoznávání osob, objektů a gest se značnou přesností ve 3D. V podstatě mobilní telefony s podporou ToF přinášejí stejný koncept do mnohem menšího a přenosnějšího formátu a přizpůsobují jej prostorovým a energetickým omezením, které jsou vlastní chytrým telefonům.
V některých provedeních je infračervené světlo také modulováno na specifické frekvence, aby se zabránilo záměně s podsvícením a zvýšila se robustnost měření. Znalost modulační frekvence umožňuje systému vypočítat vzdálenosti pomocí technik fázového posunu i za náročných okolních světelných podmínek.
Výhody technologie ToF
Měření hloubky není výhradně určeno technologií Time-of-Flight (ToF); lze jej provádět pomocí stereoskopického vidění, strukturovaného světla, tradičních laserů nebo dokonce čistých algoritmů na 2D kameře . Přístup Time-of-Flight však nabízí obzvláště zajímavou kombinaci výhod pro mobilní zařízení.
Jednou z jeho největších výhod je nízká spotřeba energie . Systém potřebuje pouze zdroj infračerveného světla a specializovaný senzor k přímému získání informací o vzdálenosti a amplitudě pro každý pixel, aniž by se spoléhal na náročné zpracování, které by zatěžovalo procesor po delší dobu. Ve srovnání s technikami, jako je strukturované světlo (které promítá složité vzory) nebo čistě stereoskopické vidění (které vyžaduje značný výpočetní výkon), je metoda měření doby letu (ToF) obecně úspornější z hlediska spotřeby baterie.
Další jasnou výhodou je vysoká přesnost měření hloubky . Dobře navržený a kalibrovaný ToF modul dokáže měřit s velmi malými chybami, v řádu milimetrů nebo centimetrů v závislosti na vzdálenosti k objektu a kvalitě systému. To hraje zásadní roli, pokud chcete dosáhnout „jemného“ portrétního režimu, dobrého selektivního ostření nebo 3D rekonstrukce objektů s určitou úrovní detailů.
Vyniká také svou schopností pracovat v reálném čase s velmi nízkou latencí . Senzor ToF dokáže zachytit kompletní mapy hloubky vysokou rychlostí (snímek po snímku), což je zásadní pro aplikace vyžadující okamžitou reakci: sledování osob nebo objektů, gesta ve vzduchu, rozšířená realita, robotika v blízkosti uživatele atd.
Tyto kamery navíc nabízejí široký dynamický rozsah do hloubky a tolerují širokou škálu světelných podmínek . Protože mají vlastní infračervené osvětlení, jsou méně závislé na viditelném světle ve scéně. Mohou fungovat za slabého osvětlení a dokonce i ve tmě, což je činí ideálními pro rozpoznávání obličeje v noci, ovládání gesty ve špatně osvětleném prostředí nebo interiérovou fotografii s asistencí hloubky.
Konečně stojí za zmínku, že ve srovnání s jinými 3D systémy, jako jsou některé LiDARy s dlouhým dosahem nebo komplexní strukturovaná světelná zařízení, jsou ToF kamery relativně levné a kompaktní . Díky tomu se mnohem snadněji integrují do masově prodávaných spotřebních produktů, jako jsou telefony, tablety, domácí kamery, úklidové roboty nebo zařízení s rozšířenou realitou.
Nevýhody a omezení ToF senzorů
Stejně jako každá technologie má i ToF své nevýhody a představuje řadu technických a designových omezení , která je třeba dobře zvládnout, aby se z ní vytěžilo maximum.
První omezení je obvykle zřejmé: rozlišení ToF senzoru je ve srovnání s tradičními fotoaparáty mobilních telefonů obvykle nízké. Hloubkové mapy mají dostatek detailů k oddělení objektu od pozadí, ovládání gesty nebo měření středně velkých objektů, ale nedostačují, pokud chceme extrémně jemné 3D modelování nebo práci s velmi malými detaily.
Dalším častým problémem jsou artefakty způsobené rozptýleným světlem . Velmi jasné povrchy, povrchy, které jsou velmi blízko sebe, nebo povrchy s neobvyklou geometrií mohou odrážet více světla, než je nutné, zpět k senzoru, což vede k skvrnám, halo efektům nebo chybám měření, které se pak jeví jako „zuby“ nebo podivné řezy v mapě hloubky. Software pak musí zasáhnout, aby opravil, co může.
S výše uvedeným souvisí i vícenásobné odrazy v oblastech s rohy a konkávními povrchy . V těchto scénářích se světlo může několikrát odrazit, než se vrátí k senzoru, což způsobuje dodatečné zpoždění, které systém interpretuje jako větší vzdálenost, než je skutečná vzdálenost. Tento typ chyby zvyšuje nejistotu a vyžaduje pečlivé filtrování dat, aby byl zajištěn spolehlivý konečný výsledek.
Intenzivní okolní světlo , zejména přímé sluneční světlo, je dalším klasickým nepřítelem ToF senzorů. Za jasného denního světla může množství infračerveného světla přicházejícího z okolí rychle nasytit pixely, což velmi ztěžuje odlišení vlastního pulzu telefonu od veškerého šumu v pozadí. Za těchto podmínek se může užitečný dosah senzoru snížit a jeho přesnost se může výrazně snížit.
Kromě čistě technických aspektů existuje poněkud prozaické fyzické omezení: vnitřní prostor telefonu . Modul ToF potřebuje svůj senzor, optiku a infračervený zářič, které zabírají prakticky stejný prostor jako běžný fotoaparát. V šasi, kde se počítá každý milimetr pro uložení baterie, reproduktorů, modemu, antén, vibračních motorů atd., není pro výrobce rezervace místa pro další „oko“ triviální záležitostí.
ToF versus LiDAR: v čem jsou si podobné a v čem se liší
Měření doby letu (ToF) a LiDAR jsou často spojovány, protože v zásadě oba spoléhají na měření vzdáleností pomocí světla a koncept doby letu . V praxi se však obvykle implementují odlišně a s mírně odlišnými cíli, ačkoli se koncepty mezi nimi stále více prolínají.
V tradičních systémech LiDAR, zejména těch, které se používají v autonomních vozidlech a pokročilém mapování , je běžné používat výkonnější lasery a specializovanou optiku ke skenování prostředí na velké vzdálenosti, desítky nebo dokonce stovky metrů. Jejich přesnost a dosah jsou velmi vysoké, ale stejně tak i velikost a cena zařízení.
Spotřebitelské kamery s měřením doby letu (ToF) se naopak snaží být kompaktní, snadno integrovatelné a cenově dostupné . Jsou navrženy pro provoz na krátké a střední vzdálenosti, což je typická vzdálenost mezi uživatelem a jeho mobilním telefonem, televizí, herní konzolí nebo domácím robotem. Nemusí vidět na 100 metrů, ale spíše přesně pochopit, co se děje v okruhu několika centimetrů nebo metrů od zařízení.
Ve spotřební elektronice je proto obvykle preferovanou možností měření doby letu (ToF), pokud je požadována integrovaná 3D hloubka bez výrazného zvýšení nákladů . LiDAR, ačkoli sdílí základní koncept, je obvykle vyhrazen pro aplikace, kde extrémní přesnost a dlouhý dosah ospravedlňují mnohem větší investici do hardwaru.
To nemění nic na skutečnosti, že v marketingu některé značky používají tyto termíny téměř zaměnitelně nebo odkazují na „LiDAR“, když ve skutečnosti používají pokročilou formu měření doby letu (ToF). Důležité je pochopit, že v mobilních telefonech je standardem kompaktní ToF senzor se skromnými LED nebo laserovými zářiči , určený pro úkoly s krátkou vzdáleností, jako je fotografování, rozšířená realita blízkého pole a biometrie.
Využití ToF ve fotoaparátech mobilních telefonů
Kromě teorie je zajímavé, co ToF senzor přináší do reálného používání chytrých telefonů . Jeho aplikace lze rozdělit do čtyř hlavních oblastí: fotografie, video, bezpečnost/biometrie a ovládání gesty a rozšířená realita, ačkoli se hodí i pro měření a 3D skenování.
Portrétní režim a efekty rozmazání
Nejpatrnější zlepšení pro běžného uživatele je nepochybně ve fotografování, zejména v portrétním režimu a v jakékoli scéně, kde chceme jasně oddělit objekt od pozadí a aplikovat efekt bokeh. Zde hraje klíčovou roli 3D mapa hloubky generovaná senzorem Time-of-Flight.
Díky senzoru Time-of-Flight (ToF) telefon přesně určuje, které části obrazu jsou blíže a které dále . Tato znalost umožňuje lepší detekci okrajů hlavní osoby nebo objektu, čímž se vyhnete běžným chybám při ořezávání vlasů, brýlí, prstů nebo jiných jemných detailů. Rozmazání pozadí lze aplikovat postupně a konzistentně se vzdáleností, čímž se vytvoří přirozenější efekt.
V telefonech jako Huawei P30 Pro, HONOR View 20 a některých modelech Samsung Galaxy výrobce otevřeně zdůrazňuje roli ToF kamery při vylepšování portrétního režimu, podporuje hlavní senzory s vysokým rozlišením a širokoúhlé objektivy. Výsledkem jsou fotografie s mnohem „profesionálnějším“ vzhledem pro sociální média a portréty.
Výhoda se neomezuje pouze na lidi: funguje to i pro domácí mazlíčky, předměty, jídlo a jakoukoli situaci, kde je požadováno jemně rozmazané pozadí . Technologie Time-of-Flight (ToF) poskytuje kameře informace o hloubce, které softwarové algoritmy potřebují k rozhodnutí, na co se zaměřit, co rozmazat a s jakou intenzitou.
Zaostřování a sledování ve videu
Pokud se přesuneme k videu, ToF se stává spojencem kontinuálního ostření: mapa hloubky v reálném čase umožňuje přesně sledovat pohybující se objekt , i když vstupuje do záběru a opouští jej, nebo se při dobré rychlosti přibližuje a vzdaluje od mobilního zařízení.
Mnoho chytrých telefonů s automatickým ostřením pouze na bázi kontrastu nebo fázové detekce má potíže se složitými scénami nebo scénami se slabým osvětlením. Díky senzoru Time-of-Flight (ToF) procesor v každém okamžiku ví, jaký objekt se nachází v jaké vzdálenosti , a dokáže přesněji upravit objektiv, čímž se snižuje typické „vibrování“ ostření, které kazí snímek.
To je obzvláště ceněno u akčních videí, videí dětí, domácích mazlíčků nebo událostí s velkým množstvím pohybu , kde je klíčové udržet objekt ostrý a dobře oddělený od pozadí. Technologie Time-of-Flight (ToF) poskytuje další vrstvu informací, kterou mohou algoritmy ostření využít k upřednostnění objektů a předvídání změn v záběru.
V některých případech se informace o hloubce kombinují také s detekcí obličeje nebo těla pomocí umělé inteligence . Systém tak nejen ví, kde se něco nachází, ale také co to je, což pomáhá rozhodnout, co by mělo zůstat zaostřené a co může být vynecháno.
3D rozpoznávání obličeje a zabezpečení
Dalším významným využitím ToF na přední straně telefonu je pokročilé biometrické ověřování pomocí 3D rozpoznávání obličeje . Místo spoléhání se pouze na plochý obraz obličeje je telefon schopen rekonstruovat jeho objem analýzou hloubky různých bodů na obličeji.
Snímač tohoto typu dokáže najednou přečíst stovky tisíc bodů na povrchu obličeje , jak uvádějí některé značky. To umožňuje generovat vysoce detailní vzor geometrie obličeje, který je obtížné napodobit fotografiemi, videi nebo základními maskami a který lze porovnat se šablonou registrovanou v zařízení.
Další výhodou je, že díky použití infračerveného záření toto rozpoznávání funguje dobře ve tmě nebo za slabého osvětlení . Není třeba oslňovat uživatele obrazovkou ani se spoléhat na okolní osvětlení. Senzor ToF vidí v infračerveném záření a za předpokladu, že nedochází k významnému rušení, dokáže identifikovat majitele během milisekund.
Někteří výrobci posunuli biometrii ještě dále: například LG G8 ThinQ používá přední senzor Time-of-Flight (ToF) k analýze žilního vzoru v ruce . Uživatel drží dlaň několik centimetrů od senzoru a systém rozpozná jak tvar ruky, tak rozložení cév, což nabízí poměrně zajímavou alternativní metodu odemykání.
Ovládání gesty bez dotyku telefonu
Možnost ovládat chytrý telefon máváním ruky ve vzduchu se stává realitou díky senzorům Time-of-Flight (ToF). Díky přesnému měření hloubky v oblasti poblíž obrazovky dokáže telefon detekovat polohu ruky, její vzdálenost a určité základní pohyby.
Například v LG G8 ThinQ umožňuje systém Air Motion přijímat hovory, přehrávat nebo pozastavovat hudbu, měnit skladby nebo upravovat hlasitost pouhými gesty nad telefonem. Přední ToF senzor interpretuje tyto změny polohy a hloubky ruky.
Aby to fungovalo, musí uživatel obvykle umístit otevřenou dlaň několik centimetrů od senzorů, mírně ji oddálit a poté s ní pohnout jedním či druhým směrem. Dostupných gest je stále relativně málo a jsou poněkud „specializovaná“, ale velmi jasně naznačují potenciál technologie.
Tato forma interakce se stává obzvláště užitečnou v situacích, kdy se nechceme nebo nemůžeme dotknout obrazovky : mokré ruce, špinavé ruce, rukavice, kuchyně, dílna... Nebo jednoduše když je mobil položený na stole a my ho raději ovládáme z dálky, aniž bychom ho museli zvedat každé dvě sekundy.
Rozšířená realita, měření a 3D skenování
Rozšířená realita (AR) je další oblastí, kde je technologie Time-of-Flight (ToF) velmi patrná. Díky spolehlivé mapě hloubky prostředí mobilní zařízení lépe „rozumí“ geometrii místnosti a ví, kde se nacházejí podlahy, stěny, nábytek a předměty.
Díky tomu mohou aplikace AR umisťovat virtuální objekty s mnohem větší stabilitou , což zabraňuje jejich bezcílnému vznášení nebo prolétání pevnými povrchy. Telefony jako Oppo RX17 Pro a HONOR View 20 představily hry a zážitky, kde uživatel interaguje s 3D prvky, které přesně odrážejí hloubku scény.
Technologie Time -of-Flight (ToF) také umožňuje měření vzdáleností, ploch a objemů přímo pomocí kamery . Jednoduše namířte kameru na objekt, kus nábytku nebo osobu a nechte aplikaci vypočítat jeho velikost na základě údajů o hloubce poskytnutých senzorem. Ideální pro rychlé měření bez použití krejčovského metru.
Pokud jde o 3D skenování, mobilní zařízení dokáže vizuálně prozkoumat objekt z různých úhlů a spojit hloubkové mapy dohromady , aby zrekonstruovalo poměrně přesný trojrozměrný model. Tento model lze pak použít ve 3D tisku, designu, architektuře, videohrách nebo virtuální realitě.
Další oblasti použití ToF kamer
Ačkoli se v poslední době nejčastěji mluví o mobilních telefonech, kamery s měřením doby letu (ToF) se již nějakou dobu používají v mnoha dalších oblastech . Jejich přechod na chytré telefony je jednoduše přirozeným vývojem něčeho, co již bylo úspěšně testováno v průmyslu a výzkumu.
Například v průmyslové robotice pomáhají 3D hloubkové mapy v reálném čase robotům vidět a porozumět svému prostředí . Umožňují jim lokalizovat součástky, vypočítat bezpečné rozsahy pohybu, vyhnout se srážkám s lidmi nebo jinými stroji a uchopit objekty se značnou přesností ve třech rozměrech.
Ve světě 3D modelování a virtuální reality se kamery snímající dobu letu (ToF) používají ke skenování prostorů, místností a objektů a jejich transformaci do interaktivních digitálních prostředí. Architekti, výrobci nebo designéři mohou rychle zachytit místo a pracovat na virtuálním dvojníkovi se spolehlivými měřeními.
Existují také aplikace ve spotřebitelských zařízeních mimo mobilní telefony , jako jsou chytré domácí kamery, robotické vysavače, které mapují dům, řešení domácí automatizace, která detekují přítomnost a pohyb s hloubkou, nebo pokročilé ověřovací systémy v noteboocích a chytrých dveřích.
Celý tento ekosystém znamená, že ačkoli na chytrém telefonu vidíme jen jednu stranu mince, technologie ToF má před sebou ještě dlouhou cestu a pravděpodobně bude i nadále ztrácet fyzickou váhu, získávat rozlišení a kombinovat se s dalšími technikami, jako je LiDAR nebo počítačové vidění, aby se dosáhlo stále bohatšího porozumění prostředí.
Celkově vzato, zavedení senzorů Time-of-Flight (ToF) v mobilních telefonech představuje významný skok vpřed: fotografie s přirozenějším rozmazáním pozadí, ostřejší videa, bezpečnější 3D odemykání obličejem, air gesta a mnohem přesvědčivější zážitky z rozšířené reality – to vše díky přesnému měření doby, kterou světlo potřebuje k cestě do a ze senzoru. Navzdory jejich omezenému rozlišení, problémům s jasným okolním světlem a prostoru, který zabírají uvnitř telefonu, vše naznačuje, že jejich přítomnost v mobilních technologiích bude v nadcházejících letech i nadále růst a zdokonalovat se.