【中國安防展覽網(wǎng) 品牌專欄】日前,PQ Labs (品奇數(shù)碼) 發(fā)布了基于CPU和 ASIC芯片的AI加速計(jì)算技術(shù)。與目前市面上主流的GPU加速技術(shù)不同,PQ Labs (品奇數(shù)碼) 發(fā)布的這項(xiàng)人工智能加速技術(shù)無需成本高昂的GPU,在通用 CPU上即可獲得數(shù)倍于GPU的加速性能。
圖表 1運(yùn)行速度比較
MagicAI (Magic Tiny Yolo) 在 Intel i7 CPU 下運(yùn)行幀率達(dá)到 718 FPS,是 Titan X / 1080Ti 的 3.5倍,是 Intel MKL 方案的 199倍。
為什么數(shù)倍甚至數(shù)十倍的AI運(yùn)算效率?
人工智能技術(shù)無疑是當(dāng)前的熱點(diǎn)名詞,迅速改變著 交通運(yùn)輸、健康醫(yī)療、制造、機(jī)器人、AR/VR 等行業(yè)。但是毫無疑問,機(jī)器依舊無法像人類那樣快速、敏捷且毫不費(fèi)力的執(zhí)行簡單的任務(wù)。
舉例來說,人類的大腦可以毫不費(fèi)力的指導(dǎo)我們的行走,識別方向以及識別物體,這種 “智能” 對我們?nèi)祟悂碚f,已經(jīng)成為 “本能”, 無需任何 “刻意思考”。這種 “本能” 對我們 77 億人類同胞而言,已經(jīng)習(xí)以為常。
然而,世界上有超過 20 億臺電腦運(yùn)行在世界各地,有上百億臺移動終端和 IoT 設(shè)備運(yùn)行在世界各地,其中絕大部分是沒有這種 “智能” 的,非常少的一部分設(shè)備,可以運(yùn)行簡單的 人工智能 應(yīng)用,比如 “物體識別” 之類,然而這些設(shè)備需要在昂貴的顯卡的支持下,才能實(shí)現(xiàn)這種 "智能"。
有沒有除 GPU加速之外其他的方案?
由于歷史原因,整個(gè)業(yè)界和學(xué)術(shù)界在人工智能方面的研究都是建立基于圖形顯卡的編程模型上(特指 NVIDIA GPU 顯卡,AMD GPU 缺少相關(guān)的軟件及算法)。除此之外,市場上還有其他的 AI 芯片,但大都基于類似的 AI 模型和優(yōu)化策略。
”人工智能的科技樹或許正沿著一條低效率的方向展開,世界上存在著其他的技術(shù)路徑值得我們?nèi)ヌ剿鳎欠駮斜痊F(xiàn)狀更好的技術(shù)實(shí)現(xiàn),這就是 PQ Labs MagicAI 技術(shù)的發(fā)揮空間。” PQ Labs CEO 陸飛博士表示,他同時(shí)也是 MagicAI 技術(shù)的核心研發(fā)人員。
MagicAI 代表著另一種技術(shù)路徑
MagicNet 技術(shù)擁有非??斓倪\(yùn)行速度:可以在 Intel i7 處理器上,以 718 FPS 的幀率運(yùn)行 物體識別 程序而無需降低識別精度,而在同樣 CPU 上直接運(yùn)行 Tiny Yolo 則僅僅有 3.6 FPS 的幀率。MagiNet(Magic Tiny Yolo)的計(jì)算速度達(dá)到了 Intel MKL 的199倍,甚至達(dá)到了經(jīng)過 GPU (Titan X / 1080Ti) 加速的 Tiny Yolo 3.5倍的運(yùn)行速度。
MagicAI 技術(shù)的設(shè)計(jì)和開發(fā)是從深度學(xué)習(xí)底層的數(shù)學(xué)基礎(chǔ)開始的,所有數(shù)學(xué)運(yùn)算都被重新優(yōu)化設(shè)計(jì),重新封裝在一個(gè)叫做 “MagicCompute” 的運(yùn)算庫內(nèi),以替代 NVIDIA CUDA,cuDNN 及 Intel MKL,并實(shí)現(xiàn)運(yùn)行速度的提升。例如, “卷積運(yùn)算” (所有深度學(xué)習(xí)模型的基礎(chǔ)運(yùn)算)由 “MagicConvolution” 來執(zhí)行,就可以獲得性能的飛速提升。
MagicAI 的運(yùn)行速度提升同樣來自于其獨(dú)特的骨干網(wǎng)絡(luò)模型,運(yùn)行速度要比 MobileNet V2、ShuffleNet V2 等輕量化模型更快,并且準(zhǔn)確度更高。將 Yolo、SSD 等模型的 骨干網(wǎng)絡(luò) 替換為 MagicNet,就成了全新的網(wǎng)絡(luò):Magic-Yolo 和 Magic-SSD,比原來的網(wǎng)絡(luò)提速 199倍。
MagicAI 從設(shè)計(jì)之初就與眾不同,目前人工智能的產(chǎn)業(yè)界和學(xué)術(shù)界依然沿用深度學(xué)習(xí)技術(shù)在其非常早年間定義下來的訓(xùn)練方式,嚴(yán)重依賴基于ImageNet Classification 的訓(xùn)練和調(diào)優(yōu),然后再使用 ImageNet 的模型作為預(yù)訓(xùn)練模型,通過 “知識遷移” 來訓(xùn)練并獲取其他任務(wù)的能力(比如物體識別)。
這種傳統(tǒng)模式在過去并沒有什么問題,但是 MagicCompute 的做法有所不同,我們認(rèn)為 對 ImageNet Classification 的調(diào)優(yōu)并不是優(yōu)解,有時(shí)的 Classification 結(jié)果反而會對其他任務(wù)的精度帶來負(fù)面影響。 MagicNet 選擇重新設(shè)計(jì)新的訓(xùn)練方式來解決這個(gè)問題,這進(jìn)一步提升了 MagicCompute 的準(zhǔn)確率和計(jì)算效率。
MagicAI 完全支持現(xiàn)有的模型和框架
MagicAI 技術(shù)新穎且速度飛快,但是這并不意味選擇 MagicAI 就意味著放棄在現(xiàn)有的技術(shù)模型(TensorFlow, Caffe, Pytorch等)上花費(fèi)的時(shí)間和精力。MagicAI 可以向后兼容,支持已有的模型,無需重新訓(xùn)練或編程,就可以讓現(xiàn)有模型運(yùn)行的更快。