康奈爾大學的研究人員發明了一種耳機，可以通過觀察臉頰的輪廓來連續跟蹤完整的面部表情，然后可以將表情轉換成表情符號或無聲的語音命令。
“這種設備比任何現有的可佩戴在耳朵上的跟蹤面部表情的技術更簡單、更不顯眼，也更有能力，”康奈爾大學科幻實驗室(Cornell's SciFi Lab)主任張成表示，他也是這項研究成果的作者之一。
借助這款名為C-Face的耳掛設備，用戶無需面對屏幕，就可以在線向他人發送消息。
張成表示，“在以前旨在識別面部表情的可穿戴技術中，大多數解決方案都需要在臉上安裝傳感器......即使安裝許多儀器，其識別能力也很有限”。
該設備由兩個微型RGB相機(用于捕捉紅色、綠色和波段光)組成，位于耳朵下方，帶有耳機或耳塞。攝像機記錄面部肌肉運動引起的面部輪廓變化。
兩款原型設備，可以清楚地看到兩個攝像頭
（圖源：Cheng Zhang, Cornell University）
研究人員表示，面部輪廓對面部表情的信息量很大，當我們做出面部表情時，面部肌肉會伸展和收縮，它們推拉皮膚，影響附近面部肌肉的張力。這種效果會導致臉頰輪廓(輪廓)從耳朵的角度發生變化。
一旦圖像被捕獲，可以使用計算機視覺和深度學習模型對其進行重建。該模型將臉頰圖像轉換成42個面部特征點或標志，代表嘴、眼睛和眉毛的形狀和位置，這些特征受表情變化的影響最大。
這些由42個特征點所表達的重構面部表情也可以被翻譯成8個表情符號，包括“自然”、“憤怒”和“親吻”。還可以作為控制音樂設備的命令，通過表情變化就能實現“播放”、“下一首”和“音量加”等功能。
由于疫情限制，研究人員只能在九名參與者身上測試該設備，其中還包括兩名研究作者。他們將這款耳機的性能與最先進的計算機視覺庫進行了比較，該庫從正面攝像頭捕獲的全臉圖像中提取面部標志，最后發現平均誤差小于0.8毫米。
實驗結果顯示，表情識別的準確率超過88%，無聲語音的準確率接近85%。
這一技術對于某些場景，比如在圖書館或其他共享工作空間中很是受用，不過研究人員也表示，這樣的話使用者就不能看到對方的面部表情。
不過，這一技術目前還存在一些難題，兩個攝像機的功耗過高，對這一設備的續航帶來了較大影響，研究人員表示下一步將考法功耗更低的傳感技術。
關閉返回