1，大數(shù)據(jù)技術(shù)架構(gòu)圖是什么樣學(xué)大數(shù)據(jù)開發(fā)都要學(xué)什么2，大數(shù)據(jù)的結(jié)構(gòu)3，大數(shù)據(jù)架構(gòu)師培訓(xùn) 大數(shù)據(jù)架構(gòu)師需要具備哪些技能4，大數(shù)據(jù)平臺架構(gòu)和傳統(tǒng)架構(gòu)的區(qū)別5，如何正確建立大數(shù)據(jù)結(jié)構(gòu)1，大數(shù)據(jù)技術(shù)架構(gòu)圖是什么樣學(xué)大數(shù)據(jù)開發(fā)都要學(xué)什么
我是用的八斗學(xué)院的項目練習(xí)的，簡單說一下他們的大數(shù)據(jù)技術(shù)架構(gòu)，1、日志收集與數(shù)據(jù)存儲 2、數(shù)據(jù)預(yù)處理3、數(shù)據(jù)分析4、引擎模塊5、推薦策略算法模塊6、在線服務(wù)數(shù)據(jù)
2，大數(shù)據(jù)的結(jié)構(gòu)
大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或?qū)λ３志次分?，在以云計算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。 其次，想要系統(tǒng)的認知大數(shù)據(jù)，必須要全面而細致的分解它，我著手從三個層面來展開：第一層面是理論，理論是認知的必經(jīng)途徑，也是被廣泛認同和傳播的基線。在這里從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性；從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在；洞悉大數(shù)據(jù)的發(fā)展趨勢；從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進的基石。在這里分別從云計算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。第三層面是實踐，實踐是大數(shù)據(jù)的最終價值體現(xiàn)。在這里分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實現(xiàn)的藍圖。
3，大數(shù)據(jù)架構(gòu)師培訓(xùn) 大數(shù)據(jù)架構(gòu)師需要具備哪些技能
想要成為合格的大數(shù)據(jù)分析師，就需要熟悉消息中間件(kafka等)，熟悉數(shù)據(jù)中間件(mybatis等);java基礎(chǔ)扎實，有相關(guān)開發(fā)或者實習(xí)經(jīng)驗，熟悉io、多線程、mq、數(shù)據(jù)結(jié)構(gòu)與設(shè)計模式等;能夠基于linux平臺工作，熟練使用shell腳本。想要成為專業(yè)的大數(shù)據(jù)分析師高薪就業(yè)，除開以上技能之外，大數(shù)據(jù)分析師還需要精通hadoop/hive/hbase，對hadoop、hive、storm、spark等源碼有研究;對數(shù)據(jù)敏感、對新技術(shù)敏感、有數(shù)據(jù)分析能力，有數(shù)據(jù)挖掘技能;熟悉分布式、緩存、消息機制，常用的dal/orm框架和設(shè)計模式等等。除此之外扣丁學(xué)堂還會教導(dǎo)學(xué)員學(xué)習(xí)使用mapreduce和sparkstreaming工具進行數(shù)據(jù)計算和處理。熟悉java編程語言并能用其編寫大數(shù)據(jù)分析應(yīng)用程序?；A(chǔ)大概有兩大塊1.是要有較強的數(shù)據(jù)庫管理系統(tǒng)的使用能力（比如你要學(xué)會oracle），以及較強的數(shù)據(jù)庫理論知識背景。2.大數(shù)據(jù)分析你要掌握概率統(tǒng)計學(xué)的知識，學(xué)會數(shù)據(jù)分析工具的使用。比如matlab，這個工具非常強大，掌握起來有些難度。但不是說你掌握了這個工具就能勝任數(shù)據(jù)分析師的工作了。你還需要，有較強的邏輯分析能力，對各種各樣的數(shù)據(jù)進行建模，然后根據(jù)統(tǒng)計分析結(jié)果進行最終判定。建議：入門的時候先從數(shù)據(jù)庫開始，因為這是數(shù)據(jù)的生存環(huán)境，大數(shù)據(jù)或者稱為海量數(shù)據(jù)都是存儲在這其中的。熟悉數(shù)據(jù)建模，這是個系統(tǒng)性很強的學(xué)科，主要是高等數(shù)學(xué)范疇內(nèi)的只是，偏統(tǒng)計分析。最后是勤加練習(xí)對各種數(shù)據(jù)建模分析，當(dāng)你的結(jié)論越來越靠近最優(yōu)解的時候，你的經(jīng)驗也在不斷增長，那么離你的目標就很近了。這是個很有挑戰(zhàn)，也是非常復(fù)雜的工作。需要你堅持，大概三年能有小成。但前途一片光明。
4，大數(shù)據(jù)平臺架構(gòu)和傳統(tǒng)架構(gòu)的區(qū)別
大講臺大數(shù)據(jù)培訓(xùn)為你解答：現(xiàn)在的大數(shù)據(jù)分析，跟傳統(tǒng)意義的分析有一個本質(zhì)區(qū)別，就是傳統(tǒng)的分析是基于結(jié)構(gòu)化、關(guān)系性的數(shù)據(jù)。而且往往是取一個很小的數(shù)據(jù)集，來對整個數(shù)據(jù)進行預(yù)測和判斷。但現(xiàn)在是大數(shù)據(jù)時代，理念已經(jīng)完全改變了，現(xiàn)在的大數(shù)據(jù)分析，是對整個數(shù)據(jù)全集直接進行存儲和管理分析。非問答能發(fā)link我給link譬hadoop等源數(shù)據(jù)項目編程語言數(shù)據(jù)底層技術(shù)說 簡單永洪科技技術(shù)說四面其實代表部通用數(shù)據(jù)底層技術(shù)： z-suite具高性能數(shù)據(jù)析能力完全摒棄向升級(scale-up)全面支持橫向擴展(scale-out)z-suite主要通核技術(shù)支撐pb級數(shù)據(jù)： 跨粒度計算(in-databasecomputing) z-suite支持各種見匯總支持幾乎全部專業(yè)統(tǒng)計函數(shù)益于跨粒度計算技術(shù)z-suite數(shù)據(jù)析引擎找尋優(yōu)化計算案繼所銷較、昂貴計算都移數(shù)據(jù)存儲直接計算我稱庫內(nèi)計算(in-database)技術(shù)減少數(shù)據(jù)移降低通訊負擔(dān)保證高性能數(shù)據(jù)析 并行計算(mpp computing) z-suite基于mpp架構(gòu)商業(yè)智能平臺能夠計算布計算節(jié)點再指定節(jié)點計算結(jié)匯總輸z-suite能夠充利用各種計算存儲資源管服務(wù)器普通pc中國絡(luò)條件沒嚴苛要求作橫向擴展數(shù)據(jù)平臺z-suite能夠充發(fā)揮各節(jié)點計算能力輕松實現(xiàn)針tb/pb級數(shù)據(jù)析秒級響應(yīng) 列存儲 (column-based) z-suite列存儲基于列存儲數(shù)據(jù)集市讀取關(guān)數(shù)據(jù)能降低讀寫銷同提高i/o 效率提高查詢性能另外列存儲能夠更壓縮數(shù)據(jù)般壓縮比5 -一0倍間數(shù)據(jù)占空間降低傳統(tǒng)存儲一/5一/一0 良數(shù)據(jù)壓縮技術(shù)節(jié)省存儲設(shè)備內(nèi)存銷卻提升計算性能 內(nèi)存計算 益于列存儲技術(shù)并行計算技術(shù)z-suite能夠壓縮數(shù)據(jù)并同利用節(jié)點計算能力內(nèi)存容量般內(nèi)存訪問速度比磁盤訪問速度要快幾百倍甚至千倍通內(nèi)存計算cpu直接內(nèi)存非磁盤讀取數(shù)據(jù)并數(shù)據(jù)進行計算內(nèi)存計算傳統(tǒng)數(shù)據(jù)處理式種加速實現(xiàn)數(shù)據(jù)析關(guān)鍵應(yīng)用技
5，如何正確建立大數(shù)據(jù)結(jié)構(gòu)
大數(shù)據(jù)各行各業(yè)的企業(yè)都提供了潛力。正確使用這些大數(shù)據(jù)信息可能將增加商業(yè)價值，幫助您的企業(yè)從市場競爭中脫穎而出。如下是幾個企業(yè)成功應(yīng)用大數(shù)據(jù)的案例： 大數(shù)據(jù)的例子 汽車制造商已經(jīng)開始使用大數(shù)據(jù)來了解汽車何時需要返回到車庫進行維修。使用汽車發(fā)動機的數(shù)百個傳感器，可以為汽車制造商發(fā)送實時的數(shù)據(jù)信息，這使得制造商甚至比駕駛汽車的司機還要提前知道汽車何時會出現(xiàn)故障?？ㄜ囍圃焐涕_始使用大數(shù)據(jù)，基于實時交通條件和客戶的需求來改進他們的路由，從而節(jié)約燃料和時間。 零售業(yè)也開始越來越多的使用大數(shù)據(jù)，鑒于越來越多的產(chǎn)品均有一個rfid標簽?zāi)軒椭闶凵谈櫘a(chǎn)品，知道很少某種產(chǎn)品庫存缺貨，并及時向供貨商訂購新產(chǎn)品。沃爾瑪便是這正確利用大數(shù)據(jù)這方面的一個很好的例子。當(dāng)零售商開始識別他們的客戶時，就能夠更好地建立商店，更好的滿足客戶的需求。 當(dāng)然，上述這些只是幾個淺顯的例子，大數(shù)據(jù)的可能性幾乎是無止境的。不久的將來，我們將討論在大數(shù)據(jù)平臺上的最佳實踐。知道大數(shù)據(jù)能夠提供商業(yè)價值是一回事；而企業(yè)要知道如何創(chuàng)建正確的架構(gòu)則又是另一回事了。 大數(shù)據(jù)結(jié)構(gòu) 大數(shù)據(jù)有三個特征，使得大數(shù)據(jù)不同于現(xiàn)有的數(shù)據(jù)倉庫和商業(yè)智能。大數(shù)據(jù)的這三大特點是： 數(shù)據(jù)量龐大：大數(shù)據(jù)的數(shù)據(jù)量相當(dāng)龐大，更多的時候大數(shù)據(jù)的數(shù)據(jù)量可以達到比數(shù)tb到pb級字節(jié)。 高速度傳遞：所有這些tb和pb字節(jié)的數(shù)據(jù)能夠?qū)崟r交付，數(shù)據(jù)倉庫每天都需要應(yīng)付如此高速的數(shù)據(jù)流。首先你要看發(fā)展前景，固定一個發(fā)展環(huán)境，找到一個短期合理目標，努力奮斗。當(dāng)然如果在做大數(shù)據(jù)平臺之前發(fā)現(xiàn)社會之需，資源豐富的領(lǐng)域那是再好不過了。適當(dāng)做些市場調(diào)查，看看市場前景，是否真的具有開發(fā)可行的價值，然后進一步分析如果去做，風(fēng)險的大小，可利用的價值，客觀的回饋率等。再統(tǒng)籌綜合考量當(dāng)下自己的基礎(chǔ)，有句話說得好，經(jīng)濟基礎(chǔ)決定上層建筑。
調(diào)研數(shù)據(jù)結(jié)構(gòu)化需求，根據(jù)你們單位的需求你們要的最主要最原始的跟蹤單位是什么，這些數(shù)據(jù)要什么樣的結(jié)構(gòu)。比如跟蹤單位是客戶，要的是消費信息，地理信息，偏好信息，社會屬性等。
而對產(chǎn)品的定義，往往都是需求決定的，所以先問問自己或者領(lǐng)導(dǎo)們，為什么我們要做大數(shù)據(jù)平臺？確定有這個必要么？你們真的需要一個完整的大數(shù)據(jù)平臺，還是只需要一個能夠方便進行并行計算的系統(tǒng)？這一步的定位直接影響到后續(xù)工作的展開以及各種成本（人力、資金、時間），也關(guān)系到開展難度及最終收益。
做技術(shù)，尤其是沒有太多經(jīng)驗從零開始做的時候，經(jīng)常會為了做技術(shù)而做技術(shù)，這實際上是不可取的，所以勤智數(shù)碼大數(shù)據(jù)工程師的建議是，這一步請千萬不要任性。