VIPL實驗室提出遙測式人臉心率估計新方法 具有創新性

近日，中國科學院計算技術研究所視覺信息處理與學習研究組（VIPL實驗室）關于遙測式人臉心率估計的工作"RhythmNet: End-to-end Heart Rate Estimation from Face via Spatial-temporal Representation" 入選國際核心學術刊物IEEE TIP。遙測式人臉心率估計，遠距離無感式測量，不需要直接與人體接觸，通過人臉識別即可得出心率數，可用于醫療、公共安全、健康管理等領域。

IEEE TIP，全稱是IEEE Transactions on Image Processing，是Q1區期刊，屬于中國計算機學會認可的計算機圖形學與多媒體領域A類期刊，2019年SCI影響因子為6.79。IEEE TIP側重圖像處理的前沿理論與方法，入選論文都必須具有非常強的創新性。

前期，VIPL實驗室基于人臉的遙測式心率估計工作"Robust Remote Heart Rate Estimation from Face Utilizing Spatial-temporal Attention"（ 作者：Xuesong Niu+, Xingyuan Zhao+, Hu Han, Abhijit Das, Antitza Dantcheva, Shiguang Shan, and Xilin Chen）在5月便已初露頭角，榮獲人臉與手勢識別方向最有影響力的IEEE FG 2019最佳海報論文獎。

以下是入選論文詳解：

心率是人體最基礎的一種生理信號之一，能反映人的身體健康狀況甚至情緒狀態。傳統的心率測量通常依賴于接觸式的傳感器，比如較為精準的心電圖以及便攜式的指夾式心率儀等，這些方法心率估計的精度通常較好，但同時因為需要接觸人體皮膚，限制了其使用的便利性。

本文研究了基于rPPG原理的遙測式人臉視頻心率估計方法RhythmNet。人臉視頻中心率的視覺信號極其微弱，現有的端到端深度學習模型如CNN很難直接從原始人臉視頻中學到真正與心率相關的特征表示，為此，我們提出了利用人臉視頻時空上下文信息，先構建底層時空圖（spatial-temporal map）將心率的視覺特征信號與大量背景信號有效地分離開來，進而通過CNN-RNN時空聯合建模的方法，從時空圖中進一步學習心率相關的高層特征表示，最終實現魯棒的遙測式人臉視頻心率估計。我們提出的RhythmNet方法，在業界多個公開數據庫上都取得了最好的結果，并系統性地測試了方法在不同顏色空間、不同視頻壓縮率、不同光照環境以及不同模態（RGB vs. NIR）等條件下的穩定性。

RhythmNet人臉心率估計算法框架

此外，考慮到遙測式人臉視頻心率估計領域公開的數據庫較少，規模不大，采集場景單一等局限性，我們構建了包含頭部運動、光照變化和不同傳感器等多種變化的較大規模多模態人臉視頻心率估計數據庫VIPL-HR，并向業界公開供學術研究使用。

關于VIPL研究組

VIPL研究組隸屬于中國科學院計算所及中科院智能信息處理重點實驗室，同時也是先進人機通信技術聯合實驗室（JDL）的一部分。目前，VIPL研究組主要成員包括研究人員20余名、博士/碩士研究生50余名。研究組在相關領域發表研究論文500余篇，其中100余篇發表在計算機學會認定的領域A類國際期刊或會議上。研究成果獲2015年度國家自然科學二等獎，2005年度國家科技進步二等獎等。

關于中科視拓

中科視拓（北京）科技有限公司是一家來自中國科學院計算技術研究所的人工智能基礎設施服務商，核心團隊來自國家萬人計劃領軍人才山世光研究員和國家自然科學基金委杰出青年基金獲得者陳熙霖研究員共同領導的中科院計算所智能信息處理重點實驗室和中國科學院計算技術研究所視覺信息處理與學習（VIPL）研究組。中科視拓憑借在人臉識別與通用計算機視覺技術方面20多年的深厚積累，以"開源賦能共發展"的思路，打造AI視覺全棧能力—SeetaFace人臉識別與感知計算解決方案、AI算法調用平臺—SeeTaaS自主可控人工智能生產平臺和AI服務與計算中心—中科視拓云智中心三大產品線，致力于為政府、教育、制造、金融和零售等國民經濟主戰場行業提供一站式人工智能基礎設施服務。

關于遙測

遙測（英文名稱：telemetering）是將對象參量的近距離測量值傳輸至遠距離的測量站來實現遠距離測量的技術。遙測技術是一個集成性能好的，具有良好的跟蹤性能、遙控性能的一種新型的技術，其應用很廣泛。