日前，pq labs (品奇數(shù)碼) 發(fā)布了基于cpu和 asic芯片的ai加速計算技術(shù)。與目前市面上主流的gpu加速技術(shù)不同，pq labs (品奇數(shù)碼) 發(fā)布的這項人工智能加速技術(shù)無需成本高昂的gpu，在通用 cpu上即可獲得數(shù)倍于gpu的加速性能。
圖表 1運行速度比較
magicai (magic tiny yolo) 在 intel i7 cpu 下運行幀率達(dá)到 718 fps，是 titan x / 1080ti 的 3.5倍，是 intel mkl 方案的 199倍。
為什么數(shù)倍甚至數(shù)十倍的ai運算效率？
人工智能技術(shù)無疑是當(dāng)前的熱點名詞，迅速改變著 交通運輸、健康醫(yī)療、制造、機器人、ar/vr 等行業(yè)。但是毫無疑問，機器依舊無法像人類那樣快速、敏捷且毫不費力的執(zhí)行簡單的任務(wù)。
舉例來說，人類的大腦可以毫不費力的指導(dǎo)我們的行走，識別方向以及識別物體，這種 “智能” 對我們?nèi)祟悂碚f，已經(jīng)成為 “本能”， 無需任何 “刻意思考”。這種 “本能” 對我們 77 億人類同胞而言，已經(jīng)習(xí)以為常。
然而，世界上有超過 20 億臺電腦運行在世界各地，有上百億臺移動終端和 iot 設(shè)備運行在世界各地，其中絕大部分是沒有這種 “智能” 的，非常少的一部分設(shè)備，可以運行簡單的 人工智能 應(yīng)用，比如 “物體識別” 之類，然而這些設(shè)備需要在昂貴的顯卡的支持下，才能實現(xiàn)這種 智能。
有沒有除 gpu加速之外其他的方案？
由于歷史原因，整個業(yè)界和學(xué)術(shù)界在人工智能方面的研究都是建立基于圖形顯卡的編程模型上(特指 nvidia gpu 顯卡，amd gpu 缺少相關(guān)的軟件及算法)。除此之外，市場上還有其他的 ai 芯片，但大都基于類似的 ai 模型和優(yōu)化策略。
”人工智能的科技樹或許正沿著一條低效率的方向展開，世界上存在著其他的技術(shù)路徑值得我們?nèi)ヌ剿?，是否會有比現(xiàn)狀更好的技術(shù)實現(xiàn)，這就是 pq labs magicai 技術(shù)的發(fā)揮空間。” pq labs ceo 陸飛博士表示，他同時也是 magicai 技術(shù)的核心研發(fā)人員。
magicai 代表著另一種技術(shù)路徑
magicnet 技術(shù)擁有非?？斓倪\行速度：可以在 intel i7 處理器上，以 718 fps 的幀率運行 物體識別 程序而無需降低識別精度，而在同樣 cpu 上直接運行 tiny yolo 則僅僅有 3.6 fps 的幀率。maginet(magic tiny yolo)的計算速度達(dá)到了 intel mkl 的199倍，甚至達(dá)到了經(jīng)過 gpu (titan x / 1080ti) 加速的 tiny yolo 3.5倍的運行速度。
magicai 技術(shù)的設(shè)計和開發(fā)是從深度學(xué)習(xí)底層的數(shù)學(xué)基礎(chǔ)開始的，所有數(shù)學(xué)運算都被重新優(yōu)化設(shè)計，重新封裝在一個叫做 “magiccompute” 的運算庫內(nèi)，以替代 nvidia cuda，cudnn 及 intel mkl，并實現(xiàn)運行速度的提升。例如， “卷積運算” (所有深度學(xué)習(xí)模型的基礎(chǔ)運算)由 “magicconvolution” 來執(zhí)行，就可以獲得性能的飛速提升。
magicai 的運行速度提升同樣來自于其獨特的骨干網(wǎng)絡(luò)模型，運行速度要比 mobilenet v2、shufflenet v2 等輕量化模型更快，并且準(zhǔn)確度更高。將 yolo、ssd 等模型的 骨干網(wǎng)絡(luò) 替換為 magicnet，就成了全新的網(wǎng)絡(luò)：magic-yolo 和 magic-ssd，比原來的網(wǎng)絡(luò)提速 199倍。
magicai 從設(shè)計之初就與眾不同，目前人工智能的產(chǎn)業(yè)界和學(xué)術(shù)界依然沿用深度學(xué)習(xí)技術(shù)在其非常早年間定義下來的訓(xùn)練方式，嚴(yán)重依賴基于imagenet classification 的訓(xùn)練和調(diào)優(yōu)，然后再使用 imagenet 的模型作為預(yù)訓(xùn)練模型，通過 “知識遷移” 來訓(xùn)練并獲取其他任務(wù)的能力(比如物體識別)。
這種傳統(tǒng)模式在過去并沒有什么問題，但是 magiccompute 的做法有所不同，我們認(rèn)為 對 imagenet classification 的調(diào)優(yōu)并不是優(yōu)解，有時的 classification 結(jié)果反而會對其他任務(wù)的精度帶來負(fù)面影響。 magicnet 選擇重新設(shè)計新的訓(xùn)練方式來解決這個問題，這進一步提升了 magiccompute 的準(zhǔn)確率和計算效率。
magicai 完全支持現(xiàn)有的模型和框架
magicai 技術(shù)新穎且速度飛快，但是這并不意味選擇 magicai 就意味著放棄在現(xiàn)有的技術(shù)模型(tensorflow, caffe, pytorch等)上花費的時間和精力。magicai 可以向后兼容，支持已有的模型，無需重新訓(xùn)練或編程，就可以讓現(xiàn)有模型運行的更快。