Prije nekoliko godina jedva smo čuli za ToF A sada se ova vrsta senzora počinje pojavljivati u tehničkim specifikacijama mnogih pametnih telefona srednje i visoke klase. Ako ste pogledali novije telefone kompanija Samsung, Huawei, HONOR, LG ili Oppo, vjerovatno ste naišli na izraz "ToF kamera" ili "ToF senzor dubine", a da vam nije sasvim jasno šta tačno tamo radi. modul kamere.
Zanimljivo je da tehnologija mjerenja vremena leta uopće nije nova.Tehnologija mjerenja vremena leta (ToF) se već neko vrijeme koristi u industrijskim okruženjima, istraživanjima, pa čak i u dnevnim sobama zahvaljujući uređajima poput Microsoftovog Kinecta, ali njeno masovno usvajanje u mobilnim telefonima se dešava tek sada. Pogledajmo detaljnije šta je tehnologija mjerenja vremena leta (ToF) u kameri mobilnog telefona, kako zapravo funkcioniše, koje su njene prednosti i nedostaci, te zašto je proizvođači prihvataju kao ključnu komponentu za fotografiju, sigurnost, geste i proširenu stvarnost.
Šta je tačno ToF kamera ili senzor u mobilnom telefonu?
ToF je skraćenica za Vrijeme leta.U kontekstu pametnog telefona, govorimo o kameri ili senzoru dubine koji je sposoban mjeriti udaljenost do svake tačke u sceni koristeći infracrveno svjetloOve vrste kamera su također poznate kao dubinske kamere, 3D ToF kamere ili kamere koje mjere vrijeme leta.
Ideja je vrlo slična načinu na koji funkcionira sonar ili radarMeđutim, umjesto zvuka, koristi svjetlost. Telefon emituje infracrveni snop prema svemu što se nalazi ispred njega. Ovaj snop pogađa objekte, odbija se i vraća se do senzora. Mjerenjem vremena koje je prošlo između slanja impulsa i detekcije povratka, te poznavanjem brzine svjetlosti, sistem izračunava udaljenost.
Ovaj proračun se vrši za hiljade ili čak stotine hiljada tačaka u sceni.Dakle, senzor ne samo da zna šta je ispred njega, već i koliko je svaki dio udaljen. Sve te informacije se koriste za generisanje 3D mapa dubineTo jest, prikaz scene gdje svaki piksel ima pridruženu vrijednost udaljenosti.
Važno je da ToF kamera nije dizajnirana za snimanje "normalnih" fotografija.ali da radi zajedno s ostalim kamerama na telefonu. Njegova glavna funkcija je pružanje preciznih podataka o dubini i položaju, koje procesor zatim kombinira s RGB slikom kako bi poboljšao portretni mod, fokus, proširena stvarnost ili napredno prepoznavanje lica.
Ključne komponente ToF kamere u pametnim telefonima
ToF kamera mobilnog telefona nije samo "dodatna tačka" na zadnjem moduluveć mali, kompletan sistem sastavljen od nekoliko elemenata koji rade zajedno kako bi dobili tu 3D mapu dubine.
Prvo, tu je sam ToF senzor.To je niz piksela sličan tradicionalnom CCD ili CMOS senzoru, ali dizajniran da snima ne samo dolazno infracrveno svjetlo, već i informacije o njegovoj fazi, amplitudi i intenzitetu. Svaka sićušna ćelija mjeri kako se svjetlosni signal koji emituje telefon promijenio nakon što se odbio od objekata.
Pored senzora nalazi se optički modul.To jest, sočivo koje fokusira reflektirani snop na senzor. Iako je obično jednostavnije od optike glavne kamere, obavlja istu osnovnu funkciju: usmjerava svjetlost sa scene prema senzoru pod odgovarajućim uglom i oštrinom.
Treći bitan element je izvor infracrvene svjetlosti, obično u obliku LED diode ili lasera koji emituje NIR (blisko infracrveno) svjetlo s tipičnom valnom dužinom između 850 i 940 nm. U mnogim dizajnima, signal se modulira na frekvencijama oko 20 MHz kako bi se jasno razlikovao od ambijentalne svjetlosti i kako bi se primijenile tehnike faznog pomaka koje omogućavaju mnogo precizniji izračun udaljenosti.
Konačno, na scenu stupa procesor dubine.Ovo može biti namjenski čip ili blok unutar procesora slikovnih signala (ISP) SoC-a telefona. Njegova funkcija je pretvaranje sirovih signala senzora (podataka o pikselima i fazi) u upotrebljivu mapu dubine, filtriranje šuma, generiranje 2D IR slike ako je potrebno i priprema podataka za korištenje od strane operativnog sistema i aplikacija.
Kako ToF funkcioniše korak po korak
Iako se unutra dešava mnogo matematičke magije, fizički princip je jednostavan.ToF senzor mjeri koliko je vremena potrebno da impuls infracrvene svjetlosti napusti emiter, odbije se od objekta i vrati se do detektora. Ovo "kružno putovanje" poznato je kao vrijeme leta.
Osnovni proces se može podijeliti u nekoliko koraka koji se stalno ponavljaju dok je ToF kamera aktivna:
- IzdavanjeIntegrisani IR emiter (LED ili laser) lansira impuls ili niz impulsa moduliranog infracrvenog svjetla prema sceni.
- Interakcija s objektimaSvjetlost se širi, utiče na ljude, zidove, namještaj ili druge prisutne elemente, a dio te svjetlosti se reflektuje u smjeru telefona.
- OtkrivanjeToF senzor snima reflektovanu infracrvenu svjetlost. Svaki piksel snima signal koji prima sa određene tačke u sceni.
- Mjerenje vremenaSistem mjeri vremensku (ili faznu) razliku između emitiranog i primljenog signala za svaki piksel.
- Izračunavanje udaljenostiPomoću formule udaljenost = (brzina svjetlosti × vrijeme leta) / 2, dobijate koliko je svaka tačka udaljena od telefona.
- Generisanje mape dubineSve te vrijednosti su organizirane u matricu koja u 3D predstavlja scenu koju mobilni uređaj vidi.
Ključno je da se proces izvodi za cijelu scenu odjednom.To jest, u jednom kadru. Nema potrebe za sekvencijalnim fokusiranjem na više ravni ili pomicanjem kamere: ToF istovremeno snima informacije o dubini sa svega unutar svog vidnog polja, što rezultira brzinom i vrlo čvrstom osnovom za 3D rekonstrukcije.
U praksi, ovo njegovo ponašanje čini bližim ponašanju uređaja poput Kinecta....koji je također kombinirao izvor infracrvene svjetlosti i namjenski senzor za prepoznavanje ljudi, gestikulacija i objekata s velikom preciznošću. Istu filozofiju proizvođači mobilnih telefona sada primjenjuju na prednju i stražnju stranu svojih pametnih telefona.
Prednosti ToF tehnologije u poređenju s drugim metodama dubine
Očitavanje dubine nije isključivo za ToFPostoje i druge tehnike, kao što su stereoskopski vid (dvije kamere izračunavaju razliku paralakse), strukturirano svjetlo (projicirani obrasci) ili tradicionalni laserski daljinomjeri. Ali mjerenje vremena leta ima kombinaciju prednosti koje ga čine posebno atraktivnim za mobilne uređaje.
Jedna od najvažnijih je niska potrošnja energijeS jednim izvorom infracrvene svjetlosti, informacije o dubini i amplitudi se dobijaju direktno za svaki piksel, smanjujući potrebu za složenim algoritmima koji opterećuju procesor tokom dužih perioda. Kod pametnog telefona, gdje je svaki miliamper važan, ovo je ključno.
Visoka preciznost je još jedna od njegovih prednostiPravilno kalibrirane, ToF kamere mogu ponuditi vrlo male greške mjerenja, s tačnošću u milimetarskom ili centimetarskom rasponu, ovisno o dizajnu i udaljenosti. Ovo je idealno za primjene gdje bi loš proračun dubine pokvario iskustvo, kao što je zahtjevan portretni način rada ili detaljno skeniranje objekata.
Rad u realnom vremenu također čini razlikuOvi senzori su sposobni da snime kompletne mape dubine velikom brzinom, kadar po kadar, omogućavajući praćenje ljudi, prepoznavanje gesti, navigaciju i iskustva proširene stvarnosti koja reaguju gotovo trenutno.
Nadalje, ToF nudi širok dinamički raspon i dobru toleranciju na različite uvjete osvjetljenja.Korištenjem vlastitog infracrvenog svjetla, kamera može održavati stabilna mjerenja i u slabo osvijetljenim zatvorenim prostorima i u okruženjima s jakim kontrastima, koliko god to dozvoljava interferencija od intenzivnog ambijentalnog svjetla.
Još jedan zanimljiv faktor je mogućnost mjerenja na velikim udaljenostima.Oslanjajući se na specifične lasere ili IR LED diode, ToF senzori mogu pokriti udaljenosti od vrlo kratkih do relativno širokih raspona, omogućavajući detekciju obližnjih objekata za otključavanje licem do udaljenijih prepreka za proširenu stvarnost ili robotiku.
Konačno, u poređenju s drugim 3D tehnologijama, ToF je obično relativno jeftin. i kompaktan. U poređenju sa strukturiranim sistemima rasvjete ili LiDAR rješenjima većeg dometa, njegova cijena i veličina bolje odgovaraju potrošačkim uređajima kao što su pametni telefoni, tableti ili akcione kamere.
Ograničenja i nedostaci ToF senzora
To nisu sve prednosti, a ToF tehnologija ima i svoje nedostatke. koje proizvođači moraju uzeti u obzir prilikom dizajniranja mobilnog telefona ili bilo kojeg drugog uređaja.
Prvo veliko ograničenje leži u rezolucijiKamere koje mjere vrijeme leta (ToF) integrirane u pametne telefone obično imaju relativno mali broj piksela u usporedbi s konvencionalnim senzorima kamera. To znači da je mapa dubine manje detaljna i, iako dovoljna za zamućenje pokreta ili geste, možda neće biti dovoljna za vrlo fine 3D rekonstrukcije.
Mogu se pojaviti i artefakti raspršene svjetlosti.Vrlo sjajne površine ili površine koje se nalaze vrlo blizu senzora mogu reflektirati previše svjetlosti prema prijemniku, uzrokujući mrlje, oreole ili povremene greške u mjerenju dubine, koje se zatim moraju ispraviti pomoću softvera.
Višestruki odrazi predstavljaju još jednu glavoboljuU uglovima, konkavnim površinama ili vrlo složenim okruženjima, svjetlost se može odbiti nekoliko puta prije nego što se vrati do senzora, što unosi nesigurnost i pogrešne podatke ako se pravilno ne filtriraju.
Intenzivno ambijentalno svjetlo, posebno direktna sunčeva svjetlost, također ne pomaže.U sunčanim vanjskim uslovima, pikseli ToF senzora mogu lako postati zasićeni velikom količinom prisutnog infracrvenog svjetla, što otežava precizno detektovanje emitiranog impulsa i smanjuje domet ili pouzdanost sistema.
Na nivou dizajna proizvoda, problem fizičkog prostora se takođe mora uzeti u obzir.Modul za mjerenje vremena leta (ToF) zauzima gotovo isti prostor kao i konvencionalna kamera: potrebna mu je vlastita optika, IR emiter i senzor. U unutrašnjosti pretrpanoj poput one modernog pametnog telefona, rezerviranje dodatnog prostora uvijek utječe na raspored ostalih komponenti.
Razlike između ToF-a i LiDAR-a
ToF i LiDAR dijele istu osnovnu ideju mjerenja udaljenosti pomoću svjetlosti.Međutim, obično se implementiraju drugačije i ciljaju djelomično različite niše, iako se sve više sivih zona pojavljuje između te dvije tehnologije.
Klasični LiDAR sistemi gotovo uvijek koriste lasere Ovi visoko fokusirani senzori koriste specijalizirane mehanizme ili nizove za skeniranje okoline, postižući velike udaljenosti i izvanrednu tačnost. Zbog toga su toliko česti u autonomnim vozilima, mapiranju i industrijskim primjenama gdje je domet od nekoliko metara ili desetina metara ključan.
Nasuprot tome, potrošački ToF senzori su obično kompaktniji.S optikom i emiterima integriranim u jedan, mnogo manji modul, ovi uređaji su pogodni za mobilne telefone, konzole, laptope ili uređaje za kućnu automatizaciju. Njihov domet je ograničeniji, ali više nego dovoljan za tipičnu upotrebu pametnih telefona.
Razlika u cijeni je takođe relevantnaIako se oba zasnivaju na podacima o vremenu leta, vrhunski LiDAR je obično mnogo skuplji od ToF modula integriranog u telefon, tako da se u potrošačkoj elektronici obično prevaga naginje prema ToF-u zbog odnosa performansi i cijene.
Upotreba ToF-a u kamerama mobilnih telefona
U svakodnevnoj upotrebi, ono što nas najviše zanima je šta ToF senzor poboljšava na mobilnom telefonu. naspram toga da ga nema. I ovdje su primjene brojne, iako su najvidljivije koncentrirane u četiri glavna područja: fotografija, video, biometrija i kontrola gestikulacije / proširena stvarnost.
Fotografija: Dubina polja i portretni način rada
Jedno od područja gdje ToF najjače blista je portretna fotografija.Zahvaljujući visokopreciznoj mapi dubine, sistem prilično precizno zna šta je u prvom planu, a šta pripada pozadini, što omogućava mnogo čistiji i prirodniji bokeh (zamućenje pozadine) efekat.
Dok drugi mobilni telefoni sa samo softverom ili dvostrukim kamerama mogu biti zbunjujući Kod pramenova kose, složenih rubova ili tankih predmeta, dobro iskorišten ToF senzor može pouzdanije izolovati subjekt. Nadalje, snimanjem svih informacija o dubini u jednom kadru, proces je vrlo brz i pogodan za scene s određenim kretanjem.
Proizvođači poput Huaweija i HONORA otvoreno su se hvalili time. u modelima kao što su Huawei P30 Pro ili HONOR View 20, gdje ToF prati set kamera visoke rezolucije kako bi se dobila ta "dodatna" preciznost koja je primjetna kod najzahtjevnijih portreta.
Poboljšanje nije ograničeno samo na ljudeTakođer je korisno prilikom snimanja fotografija predmeta, kućnih ljubimaca ili krupnih planova gdje želimo blago zamućenu pozadinu bez gubitka oštrine u važnim detaljima prednjeg plana.
Video i kontinuirani fokus
U videu, ToF postaje saveznik autofokusa.Mapa dubine u realnom vremenu omogućava telefonu da jasno razlikuje koji subjekt treba ostati u fokusu i da se bez oklijevanja prilagodi kada se pomjeri ili drugi objekat uđe u scenu.
Ovo je posebno korisno u scenarijima s brzim promjenama.kao što su djeca koja trče, kućni ljubimci, sportski događaji ili koncerti. Sistem može pratiti udaljenost subjekta kadar po kadar i održavati ga konzistentno odvojenim od pozadine.
Neki proizvođači također kombiniraju ove informacije sa sistemima za praćenje lica ili objekatapostizanje mnogo robusnijeg pristupa praćenju nego kada se oslanja isključivo na kontrast ili tradicionalnu faznu detekciju.
Napredno prepoznavanje lica i sigurnost
Još jedno ključno područje za ToF u mobilnim uređajima je biometrijska autentifikacija.Prednji senzor za mjerenje vremena leta sposoban je skenirati lice u tri dimenzije, očitavajući stotine hiljada tačaka dubine u jednom snimku, omogućavajući poređenje sa pohranjenim uzorkom sa mnogo većom sigurnošću nego sa jednostavnom 2D fotografijom.
Ovo čini prepoznavanje lica bržim i težim za prevaru. s fotografijama, videozapisima ili drugim osnovnim metodama lažiranja. Brendovi poput Viva govorili su o ToF senzorima sposobnim za očitavanje do 300.000 tačaka na licu, nudeći zaista detaljno mapiranje.
Nadalje, korištenjem infracrvenog zračenja, sistem dobro funkcionira u tamnim okruženjima.Ovo nudi jasnu prednost u odnosu na metode koje se oslanjaju na vidljivu svjetlost. Mnogi moderni telefoni sa prednjim senzorima za mjerenje vremena leta (ToF) mogu se otključati noću ili u slabo osvijetljenim prostorijama bez potrebe da se korisniku osvjetljava vrlo svijetlim ekranom.
Neki proizvođači su čak otišli i korak daljeLG G8 ThinQ, na primjer, koristi ToF senzor za očitavanje uzorka vena na dlanu i koristi ga kao alternativnu metodu otključavanja, dodajući drugačiji sloj biometrije, također zasnovan na dubini i infracrvenom odzivu.
Upravljanje gestama bez dodirivanja ekrana
Jedna od najupečatljivijih karakteristika mobilnih telefona sa ToF-om je kontrola gestikulacije u zraku.Zahvaljujući očitavanju blizine dubine, pametni telefon može detektovati položaj korisnikove ruke, njihove osnovne pokrete i prevesti ih u komande.
LG je, na primjer, debitovao sa funkcijom Air Motion kod G8 ThinQ-a.Ova funkcija vam omogućava da odgovarate na pozive, mijenjate pjesme, podešavate jačinu zvuka ili pokrećete aplikacije jednostavnim gestom na ekranu, bez stvarnog dodirivanja stakla. Prednji senzor za mjerenje vremena leta (ToF) interpretira udaljenost i smjer pokreta prstiju i dlana.
Da bi to radilo, morate postaviti ruku na određenu udaljenost od senzora., obično oko 15-20 centimetara, i izvode specifične pokrete (rotiranje, pomicanje, zumiranje). Za sada su moguće radnje donekle ograničene, ali one postavljaju temelje za ambiciozniju kontrolu gestikulacija u budućnosti.
Ideja upravljanja mobilnim telefonom bez dodirivanja ima mnogo potencijalnih primjena.Od korištenja bankovnog računa ili muzičkog plejera mokrim ili prljavim rukama, do upravljanja telefonom kada je u držaču bez potrebe da mu se previše približite. Sve ovo zahvaljujući preciznom očitavanju položaja ruke koje pruža ToF senzor.
Proširena stvarnost, 3D skeniranje i mjerenje
Vreme leta (ToF) također značajno poboljšava iskustvo proširene stvarnosti (AR).Pouzdanom mapom dubine, mobilni uređaj može bolje "razumjeti" geometriju okruženja i postaviti virtuelne objekte sa većom stabilnošću, sprečavajući ih da čudno lebde ili prolaze kroz zidove i stolove.
Brendovi poput Oppoa i HONOR-a naglasili su ulogu ToF-a u AR-u. u modelima poput Oppo RX17 Pro ili HONOR View 20, prikazujući igre i aplikacije u kojima korisnik interaguje s virtualnim elementima koji poštuju stvarnu dubinu prostorije.
Druga praktična primjena je mjerenje udaljenosti, površina i volumena.Pomoću ToF kamere moguće je kreirati aplikacije koje izračunavaju, na primjer, visinu osobe, veličinu kutije ili površinu zida sa znatnom tačnošću, jednostavnim usmjeravanjem mobilnog telefona i puštanjem da radi svoj posao.
U oblasti 3D skeniranja, ToF služi kao osnova za modeliranje objekata. i kompletne scene: telefon vizuelno skenira objekat iz različitih uglova i kombinuje mape dubine kako bi dobio trodimenzionalni model koji se zatim može koristiti u dizajnu, 3D štampanju, video igrama ili arhitekturi.
Izvan mobilnih telefona: druge upotrebe ToF kamera
Iako se ovaj članak fokusira na pametne telefone, ToF tehnologija ide daleko dalje od toga. i već se široko koristi u drugim sektorima, imajući koristi od istih prednosti tačnosti, rada u realnom vremenu i razumne cijene.
U industrijskoj robotici, na primjer, 3D mape dubine u stvarnom vremenu Omogućavaju robotima da razumiju svoju okolinu, lociraju dijelove, izbjegavaju sudare i sarađuju s ljudima. Robot s kamerom koja mjeri vrijeme leta (ToF) može bolje prepoznati objekte i njihov položaj, precizno ih uhvatiti i postaviti tamo gdje pripadaju.
U 3D modeliranju i virtualnoj stvarnosti, ToF kamere se koriste za snimanje prostora i generiraju realistične rekonstrukcije koje se zatim istražuju VR naočalama ili integriraju u profesionalne aplikacije, od proizvodnje do konstrukcije.
Postoje i aplikacije za kućnu automatizaciju i sigurnostkao što su kamere sposobne za detekciju prisustva i kretanja u 3D, pametna vrata koja prepoznaju ljude po licu s dubinom ili interaktivni sistemi koji reaguju na geste u zraku na televizorima i javnim ekranima.
U konačnici, mobilni telefon služi kao odličan primjer ToF tehnologije.Ali ono što vidimo u svojim džepovima samo je jedan dio mnogo većeg ekosistema u kojem mjerenje dubine u realnom vremenu iz godine u godinu dobija na značaju.
Pojava ToF kamera u pametnim telefonima otvorila je ogroman spektar mogućnosti. Ovo se kreće od fotografija sa uvjerljivijim zamućenjem pozadine i oštrijim video zapisima do sigurnijeg 3D otključavanja licem, kontrole gestikulacije i mnogo robusnijih iskustava proširene stvarnosti. Uprkos ograničenjima rezolucije i izazovima koje predstavljaju ambijentalno svjetlo ili zatvoreni prostori, sve ukazuje na to da će se ovi senzori nastaviti širiti i integrirati s boljim algoritmima, novim upotrebama i kombinacijama s drugim tehnologijama poput LiDAR-a, označavajući prekretnicu u načinu na koji mobilni telefoni "razumiju" svijet oko sebe u tri dimenzije.
