機(jī)器學(xué)習(xí)與應(yīng)用頂/級(jí)會(huì)議ICMLA2020（International Conference on Machine Learning）將于2020年12月在美國(guó)佛羅里達(dá)舉行，會(huì)議由IEEE主辦。近日，神目科技創(chuàng)新科研成果《Application of Face Recognition in Tracing COVID/-19 Fever Patients and Close Contacts》被大會(huì)收錄為oral論文。

ICMLA2020機(jī)器學(xué)習(xí)與應(yīng)用會(huì)議旨在匯集頂/尖的學(xué)術(shù)科學(xué)家、研究人員和研究學(xué)者，交流和分享在機(jī)器學(xué)習(xí)和應(yīng)用的經(jīng)驗(yàn)和研究成果，展示和討論機(jī)器學(xué)習(xí)和應(yīng)用領(lǐng)域的/新創(chuàng)新、趨勢(shì)以及遇到的實(shí)際挑戰(zhàn)和采用的解決方案。

本次神目科技被收錄的oral論文主要闡述了在 COVID-/19爆發(fā)的背景下，神目基于人臉識(shí)別云平臺(tái)，集成熱成像、人臉識(shí)別、人臉檢索引擎技術(shù)，來(lái)檢測(cè)具有發(fā)熱癥狀的病人，對(duì)其密切接觸者追蹤，并將預(yù)警信息實(shí)時(shí)推送給管理人員以及時(shí)采取應(yīng)對(duì)措施的創(chuàng)新技術(shù)和解決方案。論文中所闡述的產(chǎn)品與方案已被應(yīng)用于園區(qū)、醫(yī)院、校園、菜市場(chǎng)等場(chǎng)景，助力防疫抗疫工作，阻斷疫情傳播。

神目科技一直專(zhuān)注于人工智能及物聯(lián)網(wǎng)前沿技術(shù)的探索，并致力于將前沿技術(shù)應(yīng)用于智慧城市的建設(shè)中，用科技力量服務(wù)社會(huì)民生。

Application of Face Recognition in Tracing COVID/-19 Fever Patients and Close Contacts

       COVID/-19的爆發(fā)給人民帶來(lái)了生命威脅，在有效疫苗問(wèn)世之前，及時(shí)發(fā)現(xiàn)并隔離發(fā)熱病人及其密切接觸者，切斷傳播鏈至關(guān)重要。在挽救更多生命的使命感驅(qū)使下，我們開(kāi)發(fā)了基于邊緣智能設(shè)備和云平臺(tái)的人臉識(shí)別系統(tǒng)，用于檢測(cè)有發(fā)熱癥狀的患者，并對(duì)密切接觸者進(jìn)行追蹤。危險(xiǎn)人員信息可通過(guò)web/APP推送給管理人員發(fā)出實(shí)時(shí)警報(bào)，以及時(shí)采取干預(yù)行動(dòng)，控制病毒的傳播。

1.體溫篩查

      發(fā)熱病人的體溫篩查主要通過(guò)紅外熱成像技術(shù)來(lái)實(shí)現(xiàn)。發(fā)熱篩查的邊緣設(shè)備配置有雙攝像頭：一個(gè)RGB攝像頭和一個(gè)熱成像攝像頭。RGB攝像頭用于檢測(cè)人臉并定位額頭部位，熱敏攝像頭用來(lái)測(cè)量額頭皮膚的溫度，為了提供溫度測(cè)量的準(zhǔn)確性，可以選擇使用黑體。在我們的方案中，我們將黑體內(nèi)置于設(shè)備中，以實(shí)現(xiàn)部署及使用的便捷性、準(zhǔn)確性。根據(jù)應(yīng)用需求，體溫篩查設(shè)備可以是一個(gè)平板，可以是一個(gè)攝像頭，或者是一個(gè)帶有HDMI接口的盒子。

       體溫篩查設(shè)備還配置有本地人臉識(shí)別模塊。當(dāng)異常體溫被發(fā)現(xiàn)之后，可通過(guò)人臉識(shí)別技術(shù)確認(rèn)他的身份，以及人臉聚類(lèi)技術(shù)進(jìn)行其活動(dòng)軌跡的追溯。除此之外，體溫篩查設(shè)備還具備門(mén)禁控制、人臉考勤等功用。

體溫篩查流程

2.人臉識(shí)別平臺(tái)

       系統(tǒng)中有兩類(lèi)人臉識(shí)別平臺(tái)。一類(lèi)在邊緣設(shè)備中，只能識(shí)別已在設(shè)備中注冊(cè)的人員，其他人員識(shí)別為訪客，該平臺(tái)更適合用于小型企業(yè)的智能化管理（防疫體溫篩查、門(mén)禁、考勤、在崗狀態(tài)）。還有一類(lèi)是云端的人臉識(shí)別模塊。這是一個(gè)模塊化設(shè)計(jì)、并具備開(kāi)放接口的平臺(tái)，也是實(shí)現(xiàn)發(fā)熱病人軌跡及密切接觸者跨鏡追蹤的必要選擇。該平臺(tái)可以添加一系列智能邊緣設(shè)備，滿足多場(chǎng)景應(yīng)用需求，例如，除了人臉識(shí)別，還可以實(shí)現(xiàn)車(chē)牌識(shí)別、槍/支識(shí)別、商品識(shí)別、摔倒識(shí)別等算法加載及智能設(shè)備的接入。

平臺(tái)構(gòu)成

 系統(tǒng)架構(gòu)

 我們?cè)谄脚_(tái)設(shè)計(jì)上采用流行的微服務(wù)架構(gòu)——Spring Cloud大數(shù)據(jù)架構(gòu)，為開(kāi)發(fā)者提供了快速構(gòu)建分布式系統(tǒng)的常見(jiàn)模式工具，例如配置管理，服務(wù)發(fā)現(xiàn)，斷路器，智能路由，微代理，控制總線。

    系統(tǒng)主要的功能模塊包括人臉圖像提取、人臉圖像對(duì)象存儲(chǔ)、人臉特征提取、人臉特征比對(duì)、服務(wù)監(jiān)/聽(tīng)器及數(shù)據(jù)分析和報(bào)表?？筛鶕?jù)應(yīng)用需要添加更多的功能模塊，如人臉屬性（年齡、性別）模塊。

    功能模塊的中心是一個(gè)隊(duì)列管理器，我們使用的是rabbitmq，它管理了以下信息：1）圖片信息，2）特征向量信息， 3）特征聚類(lèi)信息 ， 4）特征監(jiān)測(cè)信息。

   人臉圖像提取模塊負(fù)責(zé)從邊緣設(shè)備獲取圖像。這些邊緣設(shè)備具備嵌入式的通訊能力，可以進(jìn)行人臉檢測(cè)、本地人臉識(shí)別和一些控制邏輯。當(dāng)檢測(cè)到人臉時(shí)，人臉圖像和幀圖像都會(huì)被發(fā)送到云服務(wù)器。

    第二個(gè)模塊是圖像上傳模塊，它負(fù)責(zé)從rabbitmq上傳人臉或幀圖到云端存儲(chǔ)。

    第三模塊是特征提取模塊。這是人臉識(shí)別的一個(gè)關(guān)鍵功能。它通過(guò)socket通信從rabbitmq接收人臉圖像。特征提取可以使用任何人臉識(shí)別模型，如基于ArcFace、Circleloss或其他。

    特征提取模塊采用的是GPU服務(wù)器集群，具有自動(dòng)路由、負(fù)載均衡和故障恢復(fù)功能。GPU集群支持單機(jī)和批處理模式。在批處理模式中，在緩沖區(qū)中積累了許多請(qǐng)求。當(dāng)人臉數(shù)量達(dá)到一個(gè)閾值時(shí)，它們會(huì)被一次性發(fā)送到GPU服務(wù)器。而提取的特征向量被返回到rabbitmq，并保存至VIP/visitor redis數(shù)據(jù)庫(kù)中。

    特征向量比對(duì)模塊接收來(lái)自rabbitmq的特征向量，并調(diào)用向量搜索引擎（VSE）獲取人臉的聚類(lèi)信息。聚類(lèi)信息被保存至Elasticsearch

   ……

向量搜索引擎VSE

  向量搜索引擎VSE是關(guān)鍵的模塊之一。它可以在幾千萬(wàn)到幾十億規(guī)模的大數(shù)據(jù)人臉圖像中提供準(zhǔn)確、快速（根據(jù)實(shí)際應(yīng)用需求，來(lái)決定是否需要實(shí)時(shí)）的搜索和數(shù)據(jù)檢索。

      根據(jù)不同的應(yīng)用規(guī)模，我們可提供全局搜索引擎，也支持小型VIP搜索引擎。在全局搜索引擎中，所有進(jìn)入系統(tǒng)的數(shù)據(jù)會(huì)形成一個(gè)大的數(shù)據(jù)庫(kù)，搜索引擎可以在數(shù)據(jù)庫(kù)中為某一特定主體找到同行人，或者形成同一人的人臉聚類(lèi)，以滿足應(yīng)用的需求。

     VIP搜索引擎在給定的數(shù)據(jù)集中進(jìn)行搜索，比如搜索某個(gè)客戶在一個(gè)門(mén)店，或者多個(gè)門(mén)店，或者所有門(mén)店的人臉。VIP的設(shè)定可以是銀行或門(mén)店的重要客戶，或者某個(gè)藥店的慣偷。

    VSE中的關(guān)鍵算法是KNN（k nearest neighbour）搜索算法。在實(shí)際應(yīng)用中，為了將效率提升幾級(jí)，同時(shí)只損失邊際性能，通常采用近似近鄰ANN為6. 我們的ANN算法是業(yè)界/為*的技術(shù)之一，它支持在數(shù)億條數(shù)據(jù)中進(jìn)行毫秒級(jí)的對(duì)象檢索。

      VSE命令接口從管道服務(wù)層接收人臉特征向量，并接收查詢?nèi)四樚卣飨蛄?。?dāng)在人臉特征向量庫(kù)中沒(méi)有找到有效記錄時(shí)，會(huì)在數(shù)據(jù)庫(kù)中插入新的記錄。當(dāng)數(shù)據(jù)庫(kù)中找到有效記錄時(shí)，將余弦相似度與給定閾值進(jìn)行比較。當(dāng)相似度高于閾值的記錄，將返回其人臉I(yè)D.

 發(fā)熱病人及密切接觸者追蹤算法

3.  發(fā)熱病人及密切接觸者追蹤

      面對(duì)COVID/-19給人民帶來(lái)的生命威脅，促使我們?cè)谝延械娜四樒脚_(tái)上進(jìn)一步擴(kuò)展開(kāi)發(fā)，根據(jù)疫情防疫需求接入體溫篩查設(shè)備，并生成數(shù)據(jù)報(bào)表。

      我們的人臉識(shí)別平臺(tái)提供了支持體溫篩查報(bào)告以及患者軌跡追溯以及密切接觸者追蹤的能力，我們同時(shí)在邊緣設(shè)備中增加了蒙面人臉檢測(cè)能力。發(fā)送到云端的人臉數(shù)據(jù)同時(shí)包括蒙面的人臉信息。

        當(dāng)一個(gè)病人的發(fā)熱癥狀被確認(rèn)后，他在所有測(cè)溫設(shè)備及人臉識(shí)別設(shè)備中被采集到的人臉圖像都能夠被追溯。通過(guò)全局搜索引擎檢索到該病人的人臉聚類(lèi)結(jié)果，還能夠進(jìn)一步確定其密切接觸者，由此可以根據(jù)需求采取后續(xù)行動(dòng)，阻斷病毒的傳播。

近距離接觸者追蹤

       除了人臉圖像外，我們的系統(tǒng)向云端發(fā)送及保存的還包括一個(gè)幀圖像，這使得實(shí)現(xiàn)發(fā)熱病人和密切接觸者追蹤成為可能。

       當(dāng)系統(tǒng)檢測(cè)到一個(gè)人的體溫高于一個(gè)閾值，例如37.3℃時(shí)，此時(shí)，跟蹤算法啟動(dòng)。通過(guò)上傳發(fā)熱人員的人臉圖像，可以從人臉聚類(lèi)結(jié)果中按照攝像頭ID及時(shí)間檢索出這個(gè)人在不同位置的被抓拍的所有人臉。然后，所有人臉的幀圖像被上傳檢索，以檢測(cè)幀圖像中出現(xiàn)的其他人臉，從而確認(rèn)為密切接觸者。此外，還可以通過(guò)估測(cè)幀圖像上人與人之間的距離，檢測(cè)其是否小于某個(gè)物理距離，如2米。基于利用真實(shí)人物臉部的標(biāo)稱(chēng)寬度，兩個(gè)人的物理距離與圖像中的像素距離成正比，由此確認(rèn)密切接觸者。

      另一種檢索方法是采用攝像頭ID和時(shí)間戳來(lái)定義密切接觸者。由于體溫篩查設(shè)備是典型的小視野，它只允許一次測(cè)量一個(gè)人或測(cè)量多個(gè)人。因此可以通過(guò)判定在某個(gè)時(shí)間間隔內(nèi)，如小于1秒的時(shí)間內(nèi)，在同一設(shè)備測(cè)量體溫的人判定為密切接觸者。同時(shí)，可根據(jù)需要通過(guò)上述方法進(jìn)行重復(fù)檢索，直至追溯出N代密切接觸者。

體溫篩查及密切接觸者追蹤示例

4. 結(jié)論

     面對(duì)COVID/-19給人類(lèi)帶來(lái)的巨大威脅，我們希望找到一個(gè)控制疫情傳播的有效方法，拯救更多生命。因此，我們開(kāi)發(fā)了這套人臉識(shí)別系統(tǒng)，應(yīng)用于發(fā)熱癥狀人員快速篩查，并對(duì)發(fā)熱癥狀的患者軌跡以及密切接觸者進(jìn)行追溯，以幫助阻斷病毒的傳播鏈條。