一文看懂：讓小米和華為打起來的TOF是個啥

人工智慧

小米和華為作為國產品牌兩大翹楚，從產品到市場互不相讓的局面已經由來已久。

但是真的在微博上 互相吵起來，卻並不多見。

前兩天畫風是這樣的：

小米：土鱉……TOF 我早就研究了個底兒朝天，請不要隨便說“首創”好嘛

華為：請問你整明白了嗎，就瞎說，TOF好的很（然後順手給自己某個手機打了個廣告）

微博截圖：

小米微博

華為微博

熱鬧看完了，吃瓜群眾表示非常滿意，瓜很好

那麼，TOF 到底是個啥

TOF 是什麼

TOF 是 Time Of Flight 的縮寫，就是 “光，飛行的時間”的意思。

比如說，我們有一個手電筒，然後在月球上放置一個鏡子（事實上月球真的有美國登月時放置的一面鏡子），我們開啟手電筒開關的同時按下秒錶開始計時，等光線到達月球上的鏡子，然後返回到我們眼睛裡的同時再按下秒錶結束計時。這樣就知道了：“光從地球飛行到月球花了多長時間”，由於我們事先知道 光的速度，所以就可以計算出地球到月球之間的距離。這種測量距離的方式就是 TOF

月球測距模型

測量月球距離

以上，就是TOF的簡述，相信各位已經明白，那麼繼續擴充套件。如果只用一個手電筒，那麼我們只能知道 很遠的距離 一個點 有多遠。

能不能再給力一些？

好，這次我們把 1萬個手電筒搬到一起，根據由點構成面，我們就可以知道前方一個物體的大概輪廓了，而且解析度是 1萬。

能不能再給力一些？

好，這次我們把手電筒和感測器數量增加到30萬個，發現獲得了比剛才清楚地多的輪廓。但是30萬個手電筒綁在一起實在是太大了。

能不能再給力一些？

好，我們這次利用先進的半導體工藝，把每個手電筒做的極其小，小到幾十萬上百萬個手電筒和接收光線的感測器聚集到一起也沒有指甲蓋那麼大，終於看起來像一個能塞進手機的物件了。而且考慮到實用性，我們這次發射不可見光 —— 紅外線。

這就是現在手機上的 TOF

tof探測到的影象

tof檢測到的立體輪廓

目前已經有少數幾款手機搭載了 TOF 技術，與之 類似的還有大名鼎鼎的iPhone 的FaceID，微軟 xbox 配套的 kinect，intel的 3d real sense技術。

TOF / 深度識別 能幹什麼

前面討論了TOF的原理，所以可以看出和 iPhone 的true depth 深感識別相機作用一樣，TOF也是用來“探測”真實的具有深度資訊的輪廓，可以知道攝像頭前面是立方體和長方形的區別

那麼深度識別能做什麼呢

我們先來看看目前主流的應用：

人臉識別

在手機最早具有人臉識別功能的時候，利用的是影象識別，就是用一些演算法來比較系統裡存的照片 和 前置攝像頭拍攝的 照片是不是同一個人。這個辦法最大的問題是很容易用一張照片“騙過去”。

所以到了 iPhone X的時候，蘋果提出了 Face ID的概念

faceID

深度資訊識別演示

就是用 一種和 TOF 相似的技術 —— 結構光，來檢測 攝像頭前這張臉的 深度輪廓資訊：哪裡凹陷哪裡凸起。在當時，這是個很驚人的技術，因為 它不只是實現了更安全的人臉識別，更重要的意義在於破天荒給攝像頭增加了一個維度。

而 蘋果的 FaceID 和 TOF 到底哪個更好，現在還沒有定論，但是在當時，Face ID 所用的結構光技術是更成熟的，因為蘋果的 技術是收購來的，而被收購的那個公司早在2013年就展出了 TOF 樣品，所以有理由推測，蘋果最終選擇了更成熟的結構光技術。

背景虛化

背景虛化功能，在安卓手機上實現的更早一些，但是人物邊緣聲影的“摳圖”處理，總是讓人有齣戲的感覺。畢竟，假如不知道眼前的人的立體資訊的話，摳圖只能是像photoshop那樣對一張圖片進行摳圖，如果遇到背景雜亂的複雜場景，就很力不從心了。

iPhone Xr 前置攝像機背景虛化

iPhone Xr 人像模式，自然的背景虛化

而 蘋果 有了 結構光立體識別之後，使用前置攝像頭時就可以拿到“輪廓資訊”，進而可以建立更精準，自然的摳圖蒙版，來實現更接近真實 大光圈鏡頭的背景虛化效果。當然對於 iPhone來說，這是前置攝像頭的實現方式，而後置攝像頭是利用了另外的技術來拿到深度資訊，只不過精度要差很多。

面部追蹤 、 動作識別

面部追蹤，這是iPhone 首先推出的一個功能： 用實時輪廓識別 + 影象識別 來檢測人臉幾十塊肌肉的動作，並對映到 動畫小人模型上，來實現實時的表情追蹤：

animoji

Animoji

動作識別，微軟很早就為自家遊戲機 xbox 配套了體感套件 —— kinect。而且目前已經進行了迭代，透過，對玩家身體動作的識別和追蹤，可以實現非常有意思的遊戲模式和互動方式，比如，打棒球，切水果等。

有意思的是，第一代 Kinect 原理和 iPhone 的結構光原理非常相似，而據傳下一代 Kinect 將會使用 TOF技術。

AR 增強現實

AR 是 增強現實， 和 VR 虛擬現實的區別在於：AR 是在識別到 現實場景的基礎上，為現實場景【增加】虛擬元素來實現互動效果。VR則是 不讓你看到現實世界，完全透過顯示手段（螢幕）來展示純虛擬的內容。

AR的代表產品是 微軟的 HoloLens：

HoloLens

HoloLens

VR的代表產品是 Oculus Rift：

Oculus rift

Oculus rift

既然 AR 需要識別現實世界先，這種場景下，TOF等技術就會顯得不可或缺了。

腦洞 & 未來

簡單介紹完 TOF 和目前的應用，希望能幫助到大家能對目前這些技術有個大概印象。那麼 TOF 的未來又在哪裡呢？我簡單引申一下：

更高精度的 TOF —— 阿麗塔戰鬥天使

目前能見到的 結構光技術也好，TOF也好，在識別 輪廓時精度還不是很高，在不遠的未來相信，這個是可以數量級的提高的（30萬畫素到300萬畫素）。那樣的話，Animoji 可就不再只是做個表情那麼小兒科了，甚至可以實時的 和 3D建模進行高精度聯動。

參考：阿麗塔戰鬥天使的建模 + 追蹤技術

更大覆蓋範圍的TOF —— 手機變身空間探測器

現在手機上的 TOF 功率限制，覆蓋範圍還比較有限，一般不超過1米。如果這個可以提高一個數量級達到10米，那麼應用場景就會變得很有趣了。即便現在的水平，我預測未來1-3年，各家手機會在背面攝像頭模組加上一顆 TOF鏡頭，包括 iPhone

結合深度學習

TOF也好，傳統攝像頭也好，都屬於 感測器 的範疇，除此之外，感測器還有很多，比如氣壓感測器，有害氣體感測器，陀螺儀，磁場感測器，光線感測器……

如果再抽象一層，對於手機的 cpu 和 npu來說，這些感測器都是 資料來源。拿到資料之後，怎麼做是下一步的事。

而，TOF 為手機增加了一層看世界的維度之後，極大的拓展和完善了資料來源的資訊，有了深度/輪廓/空間分佈資訊之後，再結合現在手機已經普遍最佳化的深度學習功能，就可以產生很多之前難以實現的功能，比如：根據臉部肌肉識別一個人的情緒，根據前置攝像頭 + 深度資訊識別來判斷一個人的健康狀態（膚色，面板紋理），透過走路姿態識別，提前預測一些腦部疾病……

TOF 開了一個好頭