機器學(xué)習(xí)與應(yīng)用會議ICMLA2020（International Conference on Machine Learning）將于2020年12月在美國佛羅里達舉行，會議由IEEE主辦。近日，神目科技創(chuàng)新科研成果《Application of Face Recognition in Tracing Fever Patients and Close Contacts》被大會收錄為oral論文。

ICMLA2020機器學(xué)習(xí)與應(yīng)用會議旨在匯集的學(xué)術(shù)科學(xué)家、研究人員和研究學(xué)者，交流和分享在機器學(xué)習(xí)和應(yīng)用的經(jīng)驗和研究成果，展示和討論機器學(xué)習(xí)和應(yīng)用領(lǐng)域的創(chuàng)新、趨勢以及遇到的實際挑戰(zhàn)和采用的解決方案。

本次神目科技被收錄的oral論文主要闡述了yiqing爆發(fā)的背景下，神目基于人臉識別云平臺，集成熱成像、人臉識別、人臉檢索引擎技術(shù)，來檢測具有發(fā)熱癥狀的病人，對其密切接觸者追蹤，并將預(yù)警信息實時推送給管理人員以及時采取應(yīng)對措施的創(chuàng)新技術(shù)和解決方案。論文中所闡述的產(chǎn)品與方案已被應(yīng)用于園區(qū)、醫(yī)院、校園、菜市場等場景，助力防疫抗疫工作，阻斷疫情傳播。

神目科技一直專注于人工智能及物聯(lián)網(wǎng)前沿技術(shù)的探索，并致力于將前沿技術(shù)應(yīng)用于智慧城市的建設(shè)中，用科技力量服務(wù)社會民生。

Application of Face Recognition in Tracing  Fever Patients and Close Contacts

在有效疫苗問世之前，及時發(fā)現(xiàn)并隔離發(fā)熱病人及其密切接觸者，切斷傳播鏈至關(guān)重要。在挽救更多生命的使命感驅(qū)使下，我們開發(fā)了基于邊緣智能設(shè)備和云平臺的人臉識別系統(tǒng)，用于檢測有發(fā)熱癥狀的患者，并對密切接觸者進行追蹤。危險人員信息可通過web/APP推送給管理人員發(fā)出實時警報，以及時采取干預(yù)行動，控制病毒的傳播。

1.體溫篩查

發(fā)熱病人的體溫篩查主要通過紅外熱成像技術(shù)來實現(xiàn)。發(fā)熱篩查的邊緣設(shè)備配置有雙攝像頭：一個RGB攝像頭和一個熱成像攝像頭。RGB攝像頭用于檢測人臉并定位額頭部位，熱敏攝像頭用來測量額頭皮膚的溫度，為了提供溫度測量的準(zhǔn)確性，可以選擇使用黑體。在我們的方案中，我們將黑體內(nèi)置于設(shè)備中，以實現(xiàn)部署及使用的便捷性、準(zhǔn)確性。根據(jù)應(yīng)用需求，體溫篩查設(shè)備可以是一個平板，可以是一個攝像頭，或者是一個帶有HDMI接口的盒子。

體溫篩查設(shè)備還配置有本地人臉識別模塊。當(dāng)異常體溫被發(fā)現(xiàn)之后，可通過人臉識別技術(shù)確認他的身份，以及人臉聚類技術(shù)進行其活動軌跡的追溯。除此之外，體溫篩查設(shè)備還具備門禁控制、人臉考勤

體溫篩查流程

2.人臉識別平臺

系統(tǒng)中有兩類人臉識別平臺。一類在邊緣設(shè)備中，只能識別已在設(shè)備中注冊的人員，其他人員識別為訪客，該平臺更適合用于小型企業(yè)的智能化管理（防疫體溫篩查、門禁、考勤、在崗狀態(tài)）。還有一類是云端的人臉識別模塊。這是一個模塊化設(shè)計、并具備開放接口的平臺，也是實現(xiàn)發(fā)熱病人軌跡及密切接觸者跨鏡追蹤的必要選擇。該平臺可以添加一系列智能邊緣設(shè)備，滿足多場景應(yīng)用需求，例如，除了人臉識別，還可以實現(xiàn)車牌識別、商品識別、摔倒識別等算法加載及智能設(shè)備的接入。

平臺構(gòu)成

系統(tǒng)架構(gòu)

我們在平臺設(shè)計上采用流行的微服務(wù)架構(gòu)——Spring Cloud大數(shù)據(jù)架構(gòu)，為開發(fā)者提供了快速構(gòu)建分布式系統(tǒng)的常見模式工具，例如配置管理，服務(wù)發(fā)現(xiàn)，斷路器，智能路由，微代理，控制總線。

系統(tǒng)主要的功能模塊包括人臉圖像提取、人臉圖像對象存儲、人臉特征提取、人臉特征比對、服務(wù)器及數(shù)據(jù)分析和報表?？筛鶕?jù)應(yīng)用需要添加更多的功能模塊，如人臉屬性（年齡、性別）模塊。

功能模塊的中心是一個隊列管理器，我們使用的是rabbitmq，它管理了以下信息：1）圖片信息，2）特征向量信息， 3）特征聚類信息 ， 4）特征監(jiān)測信息。

人臉圖像提取模塊負責(zé)從邊緣設(shè)備獲取圖像。這些邊緣設(shè)備具備嵌入式的通訊能力，可以進行人臉檢測、本地人臉識別和一些控制邏輯。當(dāng)檢測到人臉時，人臉圖像和幀圖像都會被發(fā)送到云服務(wù)器。

第二個模塊是圖像上傳模塊，它負責(zé)從rabbitmq上傳人臉或幀圖到云端存儲。

第三模塊是特征提取模塊。這是人臉識別的一個關(guān)鍵功能。它通過socket通信從rabbitmq接收人臉圖像。特征提取可以使用任何人臉識別模型，如基于ArcFace、Circleloss或其他。

特征提取模塊采用的是GPU服務(wù)器集群，具有自動路由、負載均衡和故障恢復(fù)功能。GPU集群支持單機和批處理模式。在批處理模式中，在緩沖區(qū)中積累了許多請求。當(dāng)人臉數(shù)量達到一個閾值時，它們會被一次性發(fā)送到GPU服務(wù)器。而提取的特征向量被返回到rabbitmq，并保存至VIP/visitor redis數(shù)據(jù)庫中。

特征向量比對模塊接收來自rabbitmq的特征向量，并調(diào)用向量搜索引擎（VSE）獲取人臉的聚類信息。聚類信息被保存至Elasticsearch

……

向量搜索引擎VSE

向量搜索引擎VSE是關(guān)鍵的模塊之一。它可以在幾千萬到幾十億規(guī)模的大數(shù)據(jù)人臉圖像中提供準(zhǔn)確、快速（根據(jù)實際應(yīng)用需求，來決定是否需要實時）的搜索和數(shù)據(jù)檢索。

根據(jù)不同的應(yīng)用規(guī)模，我們可提供全局搜索引擎，也支持小型VIP搜索引擎。在全局搜索引擎中，所有進入系統(tǒng)的數(shù)據(jù)會形成一個大的數(shù)據(jù)庫，搜索引擎可以在數(shù)據(jù)庫中為某一特定主體找到同行人，或者形成同一人的人臉聚類，以滿足應(yīng)用的需求。

VIP搜索引擎在給定的數(shù)據(jù)集中進行搜索，比如搜索某個客戶在一個門店，或者多個門店，或者所有門店的人臉。VIP的設(shè)定可以是銀行或門店的重要客戶，或者某個藥店的慣偷。

VSE中的關(guān)鍵算法是KNN（k nearest neighbour）搜索算法。在實際應(yīng)用中，為了將效率提升幾級，同時只損失邊際性能，通常采用近似近鄰ANN為6. 我們的ANN算法是業(yè)界*的技術(shù)之一，它支持在數(shù)億條數(shù)據(jù)中進行毫秒級的對象檢索。

VSE命令接口從管道服務(wù)層接收人臉特征向量，并接收查詢?nèi)四樚卣飨蛄?。?dāng)在人臉特征向量庫中沒有找到有效記錄時，會在數(shù)據(jù)庫中插入新的記錄。當(dāng)數(shù)據(jù)庫中找到有效記錄時，將余弦相似度與給定閾值進行比較。當(dāng)相似度高于閾值的記錄，將返回其人臉I(yè)D.

發(fā)熱病人及密切接觸者追蹤算法

3. 發(fā)熱病人及密切接觸者追蹤

面對給人民帶來的生命威脅，促使我們在已有的人臉平臺上進一步擴展開發(fā)，根據(jù)疫情防疫需求接入體溫篩查設(shè)備，并生成數(shù)據(jù)報表。

我們的人臉識別平臺提供了支持體溫篩查報告以及患者軌跡追溯以及密切接觸者追蹤的能力，我們同時在邊緣設(shè)備中增加了蒙面人臉檢測能力。發(fā)送到云端的人臉數(shù)據(jù)同時包括蒙面的人臉信息。

當(dāng)一個病人的發(fā)熱癥狀被確認后，他在所有測溫設(shè)備及人臉識別設(shè)備中被采集到的人臉圖像都能夠被追溯。通過全局搜索引擎檢索到該病人的人臉聚類結(jié)果，還能夠進一步確定其密切接觸者，由此可以根據(jù)需求采取后續(xù)行動，阻斷病毒的傳播。

近距離接觸者追蹤

除了人臉圖像外，我們的系統(tǒng)向云端發(fā)送及保存的還包括一個幀圖像，這使得實現(xiàn)發(fā)熱病人和密切接觸者追蹤成為可能。

當(dāng)系統(tǒng)檢測到一個人的體溫高于一個閾值，例如37.3℃時，此時，跟蹤算法啟動。通過上傳發(fā)熱人員的人臉圖像，可以從人臉聚類結(jié)果中按照攝像頭ID及時間檢索出這個人在不同位置的被抓拍的所有人臉。然后，所有人臉的幀圖像被上傳檢索，以檢測幀圖像中出現(xiàn)的其他人臉，從而確認為密切接觸者。此外，還可以通過估測幀圖像上人與人之間的距離，檢測其是否小于某個物理距離，如2米。基于利用真實人物臉部的標(biāo)稱寬度，兩個人的物理距離與圖像中的像素距離成正比，由此確認密切接觸者。

另一種檢索方法是采用攝像頭ID和時間戳來定義密切接觸者。由于體溫篩查設(shè)備是典型的小視野，它只允許一次測量一個人或測量多個人。因此可以通過判定在某個時間間隔內(nèi)，如小于1秒的時間內(nèi)，在同一設(shè)備測量體溫的人判定為密切接觸者。同時，可根據(jù)需要通過上述方法進行重復(fù)檢索，直至追溯出N代密切接觸者。

體溫篩查及密切接觸者追蹤示例

4. 結(jié)論

yiqing人類帶來的巨大威脅，我們希望找到一個控制疫情傳播的有效方法，拯救更多生命。因此，我們開發(fā)了這套人臉識別系統(tǒng)，應(yīng)用于發(fā)熱癥狀人員快速篩查，并對發(fā)熱癥狀的患者軌跡以及密切接觸者進行追溯，以幫助阻斷病毒的傳播鏈條。