通信電纜 網(wǎng)絡(luò)設(shè)備 無線通信 云計(jì)算|大數(shù)據(jù) 顯示設(shè)備 存儲(chǔ)設(shè)備 網(wǎng)絡(luò)輔助設(shè)備 信號(hào)傳輸處理 多媒體設(shè)備 廣播系統(tǒng) 智慧城市管理系統(tǒng) 其它智慧基建產(chǎn)品
智慧云天（深圳）技術(shù)有限公司
會(huì)員1.png)
智慧云天（深圳）技術(shù)有限公司
閱讀：33發(fā)布時(shí)間：2023-7-2
通過拍攝你的一段人臉視頻，就可以測(cè)量出你的心率，甚至還可以獲得你的呼吸率等生理指標(biāo)，這種“黑科技"就是近年（本文發(fā)布時(shí)間：2021-12-03）來出現(xiàn)的 rPPG （remote photoplethysmography）技術(shù)。rPPG 技術(shù)主要是通過捕捉人臉表面由于心臟跳動(dòng)所帶來的皮膚顏色變化來實(shí)現(xiàn)對(duì)心率等生理量的測(cè)量，在健康監(jiān)控等領(lǐng)域有著重要的應(yīng)用價(jià)值。
為什么可以通過人臉表面皮膚的顏色變化就能實(shí)現(xiàn)對(duì)心率的測(cè)量呢？這主要是因?yàn)樵谌四樒つw的真皮層和皮下組織層里有著豐富的毛細(xì)血管。如圖1所示，當(dāng)心臟跳動(dòng)時(shí)，毛細(xì)血管內(nèi)的血流量會(huì)產(chǎn)生一個(gè)周期性的變化，從而導(dǎo)致對(duì)外界光照的吸收量有一個(gè)周期性的變化。這樣的一個(gè)周期性變化雖然我們?nèi)庋蹮o法觀察到，但是卻可以被攝像頭所捕捉。通過利用攝像頭捕捉這樣的皮膚顏色變化，就可以做進(jìn)一步的生理指標(biāo)測(cè)量了。
通過利用rPPG技術(shù)實(shí)現(xiàn)對(duì)皮膚表面顏色變化的捕捉，不僅可以測(cè)量心率，還可以測(cè)量一系列其他的生理量。這一測(cè)量過程的核心的步驟為恢復(fù)出BVP（blood volume pulse）信號(hào)，即心率信號(hào)。
如圖2所示，在通過人臉視頻獲得原始的顏色變化信號(hào)之后，首先可以直接利用不同顏色通道信號(hào)直流量和交流量的比值來估計(jì)血氧含量（SpO2）。而利用不同顏色通道信號(hào)的交流量，經(jīng)過一定的方法，可以恢復(fù)出BVP信號(hào)。通過對(duì)恢復(fù)得到的BVP信號(hào)的頻域特征進(jìn)行分析，就可以得到心率和呼吸率。而通過對(duì)BVP信號(hào)進(jìn)行時(shí)序上的峰值檢測(cè)，可以獲得IBI（Inter-beat-intervals），進(jìn)而可以計(jì)算得到每個(gè)時(shí)刻的瞬時(shí)心率值。在IBI序列中，除了包含著瞬時(shí)心率的信息，還可以通過其頻譜特征來計(jì)算呼吸率和對(duì)于睡眠監(jiān)控、壓力檢測(cè)十分重要的心跳變異性等生理量。
雖然可以通過人臉皮膚的顏色變化來實(shí)現(xiàn)心率等生理量的測(cè)量，但是這樣的顏色變化十分微弱，很容易受到頭部姿態(tài)，外界光照條件等因素的影響。如圖3所示，為了解決這些問題，研究者們提出了一系列的方法，這些方法可以分為傳統(tǒng)手工設(shè)計(jì)方法和數(shù)據(jù)驅(qū)動(dòng)方法。其中傳統(tǒng)手工設(shè)計(jì)方法主要通過建模人臉皮膚對(duì)于光照的吸收和反射情況，或者建模心率信號(hào)的物理特性，從而實(shí)現(xiàn)對(duì)周期性的生理信號(hào)的提取。而數(shù)據(jù)驅(qū)動(dòng)的方式則通過設(shè)計(jì)相應(yīng)的顏色變化信號(hào)的特征，利用機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)的方式來學(xué)習(xí)一個(gè)良好的特征到生理量的映射。
傳統(tǒng)手工設(shè)計(jì)方式的優(yōu)勢(shì)在于更加可控，在一些限定的場(chǎng)景下能夠做到非常準(zhǔn)確，但是其問題也在于對(duì)于非常復(fù)雜的場(chǎng)景，例如環(huán)境光照在一直變化，被試者一直搖頭晃腦的情況，算法的有效性較為有限。而對(duì)于數(shù)據(jù)驅(qū)動(dòng)的方法而言，其算法上限更高，對(duì)復(fù)雜場(chǎng)景的適應(yīng)性更強(qiáng)，但同時(shí)，算法也更加不可控。如何采集足夠的覆蓋各種場(chǎng)景的數(shù)據(jù)，如何設(shè)計(jì)和訓(xùn)練一個(gè)能有效遷徙到各個(gè)應(yīng)用場(chǎng)景的模型，在現(xiàn)階段仍然是一個(gè)未解決的開放性問題。對(duì)相關(guān)方法更詳細(xì)的介紹和討論可以參考文獻(xiàn) [2]。
算法設(shè)計(jì)為了實(shí)現(xiàn)算法的可控性，我們選擇基于傳統(tǒng)的手工設(shè)計(jì)算法來恢復(fù)心率信號(hào)并進(jìn)行心率的估計(jì)。在獲得原始的 R/G/B 顏色空間信號(hào)之后，通過尋找的顏色空間投影來組合不同顏色空間的信號(hào)。這一方法能有效消除頭部運(yùn)動(dòng)等因素所帶來的不穩(wěn)定，于此同時(shí)，我們還基于恢復(fù)的心率信號(hào)的質(zhì)量，設(shè)計(jì)了信號(hào)的組合和算法的重啟策略，從而讓算法能夠適應(yīng)更多的應(yīng)用場(chǎng)景.
[1] Hao-Yu Wu, Michael Rubinstein, Eugene Shih, John Guttag, Fredo Durand, William T. Freeman. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 2012
[2] 牛雪松,韓琥,山世光. “基于rPPG的生理指標(biāo)測(cè)量方法綜述" 《中國圖像圖形學(xué)報(bào)》 2020
智慧城市網(wǎng) 設(shè)計(jì)制作，未經(jīng)允許翻錄必究 .? ? ?
請(qǐng)輸入賬號(hào)
請(qǐng)輸入密碼
請(qǐng)輸驗(yàn)證碼