建站服務器
引言：alphago在2017年年初化身master，在弈城和野狐等平臺上橫掃中日韓圍棋高手，取得60連勝，未嘗敗績。alphago背后神秘的推動力就是tensorflow——google于2015年11月開源的機器學習及深度學習框架。
tensorflow在2015年年底一出現(xiàn)就受到了極大的關(guān)注，在一個月內(nèi)獲得了github上超過一萬顆星的關(guān)注，目前在所有的機器學習、深度學習項目中排名第一，甚至在所有的python項目中也排名第一。本文將帶我們簡單了解下tensorflow，并與其他主流深度學習框架進行了對比。
本文選自《tensorflow實戰(zhàn)》。
tensorflow
tensorflow是相對高階的機器學習庫，用戶可以方便地用它設(shè)計神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而不必為了追求高效率的實現(xiàn)親自寫c 或cuda代碼。它和theano一樣都支持自動求導，用戶不需要再通過反向傳播求解梯度。其核心代碼和caffe一樣是用c 編寫的，使用c 簡化了線上部署的復雜度，并讓手機這種內(nèi)存和cpu資源都緊張的設(shè)備可以運行復雜模型（python則會比較消耗資源，并且執(zhí)行效率不高）。除了核心代碼的c 接口，tensorflow還有官方的python、go和java接口，是通過swig（simplified wrapper and interface generator）實現(xiàn)的，這樣用戶就可以在一個硬件配置較好的機器中用python進行實驗，并在資源比較緊張的嵌入式環(huán)境或需要低延遲的環(huán)境中用c 部署模型。swig支持給c/c 代碼提供各種語言的接口，因此其他腳本語言的接口未來也可以通過swig方便地添加。不過使用python時有一個影響效率的問題是，每一個mini-batch要從python中feed到網(wǎng)絡(luò)中，這個過程在mini-batch的數(shù)據(jù)量很小或者運算時間很短時，可能會帶來影響比較大的延遲?，F(xiàn)在tensorflow還有非官方的julia、node.js、r的接口支持。
tensorflow也有內(nèi)置的tf.learn和tf.slim等上層組件可以幫助快速地設(shè)計西部數(shù)碼絡(luò)，并且兼容scikit-learn estimator接口，可以方便地實現(xiàn)evaluate、grid search、cross validation等功能。同時tensorflow不只局限于神經(jīng)網(wǎng)絡(luò)，其數(shù)據(jù)流式圖支持非常自由的算法表達，當然也可以輕松實現(xiàn)深度學習以外的機器學習算法。事實上，只要可以將計算表示成計算圖的形式，就可以使用tensorflow。用戶可以寫內(nèi)層循環(huán)代碼控制計算圖分支的計算，tensorflow會自動將相關(guān)的分支轉(zhuǎn)為子圖并執(zhí)行迭代運算。tensorflow也可以將計算圖中的各個節(jié)點分配到不同的設(shè)備執(zhí)行，充分利用硬件資源。定義新的節(jié)點只需要寫一個python函數(shù)，如果沒有對應的底層運算核，那么可能需要寫c 或者cuda代碼實現(xiàn)運算操作。
在數(shù)據(jù)并行模式上，tensorflow和parameter server很像，但tensorflow有獨立的variable node，不像其他框架有一個全局統(tǒng)一的參數(shù)服務器，因此參數(shù)同步更自由。tensorflow和spark的核心都是一個數(shù)據(jù)計算的流式圖，spark面向的是大規(guī)模的數(shù)據(jù)，支持sql等操作，而tensorflow主要面向內(nèi)存足以裝載模型參數(shù)的環(huán)境，這樣可以最大化計算效率。
tensorflow的另外一個重要特點是它靈活的移植性，可以將同一份代碼幾乎不經(jīng)過修改就輕松地部署到有任意數(shù)量cpu或gpu的pc、服務器或者移動設(shè)備上。相比于theano，tensorflow還有一個優(yōu)勢就是它極快的編譯速度，在定義西部數(shù)碼絡(luò)結(jié)構(gòu)時，theano通常需要長時間的編譯，因此嘗試新模型需要比較大的代價，而tensorflow完全沒有這個問題。tensorflow還有功能強大的可視化組件tensorboard，能可視化網(wǎng)絡(luò)結(jié)構(gòu)和訓練過程，對于觀察復雜的網(wǎng)絡(luò)結(jié)構(gòu)和監(jiān)控長時間、大規(guī)模的訓練很有幫助。tensorflow針對生產(chǎn)環(huán)境高度優(yōu)化，它產(chǎn)品級的高質(zhì)量代碼和設(shè)計都可以保證在生產(chǎn)環(huán)境中穩(wěn)定運行，同時一旦tensorflow廣泛地被工業(yè)界使用，將產(chǎn)生良性循環(huán)，成為深度學習領(lǐng)域的事實標準。
除了支持常見的網(wǎng)絡(luò)結(jié)構(gòu)[卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，cnn）、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurent neural network，rnn）]外，tensorflow還支持深度強化學習乃至其他計算密集的科學計算（如偏微分方程求解等）。tensorflow此前不支持symbolic loop，需要使用python循環(huán)而無法進行圖編譯優(yōu)化，但最近新加入的xla已經(jīng)開始支持jit和aot，另外它使用bucketing trick也可以比較高效地實現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)。tensorflow的一個薄弱地方可能在于計算圖必須構(gòu)建為靜態(tài)圖，這讓很多計算變得難以實現(xiàn)，尤其是序列預測中經(jīng)常使用的beam search。
tensorflow的用戶能夠?qū)⒂柧毢玫哪Ｐ头奖愕夭渴鸬蕉喾N硬件、操作系統(tǒng)平臺上，支持intel和amd的cpu，通過cuda支持nvidia的gpu（最近也開始通過opencl支持amd的gpu，但沒有cuda成熟），支持linux和mac，最近在0.12版本中也開始嘗試支持windows。在工業(yè)生產(chǎn)環(huán)境中，硬件設(shè)備有些是最新款的，有些是用了幾年的老機型，來源可能比較復雜，tensorflow的異構(gòu)性讓它能夠全面地支持各種硬件和操作系統(tǒng)。同時，其在cpu上的矩陣運算庫使用了eigen而不是blas庫，能夠基于arm架構(gòu)編譯和優(yōu)化，因此在移動設(shè)備（android和ios）上表現(xiàn)得很好。
tensorflow在最開始發(fā)布時只支持單機，而且只支持cuda 6.5和cudnn v2，并且沒有官方和其他深度學習框架的對比結(jié)果。在2015年年底，許多其他框架做了各種性能對比評測，每次tensorflow都會作為較差的對照組出現(xiàn)。那個時期的tensorflow真的不快，性能上僅和普遍認為很慢的theano比肩，在各個框架中可以算是墊底。但是憑借google強大的開發(fā)實力，很快支持了新版的cudnn（目前支持cudnn v5.1），在單gpu上的性能追上了其他框架。下圖為https://github.com/soumith/convnet-benchmarks給出的各個框架在alexnet上單gpu的性能評測。
目前在單gpu的條件下，絕大多數(shù)深度學習框架都依賴于cudnn，因此只要硬件計算能力或者內(nèi)存分配差異不大，最終訓練速度不會相差太大。但是對于大規(guī)模深度學習來說，巨大的數(shù)據(jù)量使得單機很難在有限的時間完成訓練。這時需要分布式計算使gpu集群乃至tpu集群并行計算，共同訓練出一個模型，所以框架的分布式性能是至關(guān)重要的。tensorflow在2016年4月開源了分布式版本，使用16塊gpu可達單gpu的15倍提速，在50塊gpu時可達到40倍提速，分布式的效率很高。目前原生支持的分布式深度學習框架不多，只有tensorflow、cntk、deeplearning4j、mxnet等。不過目前tensorflow的設(shè)計對不同設(shè)備間的通信優(yōu)化得不是很好，其單機的reduction只能用cpu處理，分布式的通信使用基于socket的rpc，而不是速度更快的rdma，所以其分布式性能可能還沒有達到最優(yōu)。
google 在2016年2月開源了tensorflow serving19，這個組件可以將tensorflow訓練好的模型導出，并部署成可以對外提供預測服務的restful接口，如圖2-2所示。有了這個組件，tensorflow就可以實現(xiàn)應用機器學習的全流程：從訓練模型、調(diào)試參數(shù)，到打包模型，最后部署服務，名副其實是一個從研究到生產(chǎn)整條流水線都齊備的框架。這里引用tensorflow內(nèi)部開發(fā)人員的描述：“tensorflow serving是一個為生產(chǎn)環(huán)境而設(shè)計的高性能的機器學習服務系統(tǒng)。它可以同時運行多個大規(guī)模深度學習模型，支持模型生命周期管理、算法實驗，并可以高效地利用gpu資源，讓tensorflow訓練好的模型更快捷方便地投入到實際生產(chǎn)環(huán)境”。除了tensorflow以外的其他框架都缺少為生產(chǎn)環(huán)境部署的考慮，而google作為廣泛在實際產(chǎn)品中應用深度學習的巨頭可能也意識到了這個機會，因此開發(fā)了這個部署服務的平臺。tensorflow serving可以說是一副王牌，將會幫tensorflow成為行業(yè)標準做出巨大貢獻。
tensorflow serving架構(gòu)
tensorboard是tensorflow的一組web應用，用來監(jiān)控tensorflow運行過程，或可視化computation graph。tensorboard目前支持5種可視化：標量（scalars）、圖片（images）、音頻（audio）、直方圖（histograms）和計算圖（computation graph）。tensorboard的events dashboard可以用來持續(xù)地監(jiān)控運行時的關(guān)鍵指標，比如loss、學習速率（learning rate）或是驗證集上的準確率（accuracy）；image dashboard則可以展示訓練過程中用戶設(shè)定保存的圖片，比如某個訓練中間結(jié)果用matplotlib等繪制（plot）出來的圖片；graph explorer則可