1，海量數(shù)據(jù)存儲有哪些方式與方法2，大數(shù)據(jù)時代數(shù)據(jù)應該如何存儲3，常用的大數(shù)據(jù)技術有哪些1，海量數(shù)據(jù)存儲有哪些方式與方法
從數(shù)據(jù)存儲的模式來看，海量存儲技術可以分為das(direct attached storage，直接附加存儲)和網(wǎng)絡存儲兩種，其中網(wǎng)絡存儲又可以分為nas(network attached storage，網(wǎng)絡附加存儲)和san(storage area net、work，存儲區(qū)域網(wǎng)絡)。
從數(shù)據(jù)存儲系統(tǒng)的組成上看，無論是das、nas還是san，其存儲系統(tǒng)都可以分為三個部分：首先是磁盤陣列，它是存儲系統(tǒng)的基礎，是完成數(shù)據(jù)存儲的基本保證；其次是連接和網(wǎng)絡子系統(tǒng)，通過它們實現(xiàn)了一個或多個磁盤陣列與服務器之間的連接；最后是存儲管理軟件，在系統(tǒng)和應用級上，實現(xiàn)多個服務器共享、防災等存儲管理任務。
如果需要更多資料可以追問
2，大數(shù)據(jù)時代數(shù)據(jù)應該如何存儲
pb或多pb級基礎設施與傳統(tǒng)大規(guī)模數(shù)據(jù)集之間的差別簡直就像白天和黑夜的差別，就像在筆記本電腦上處理數(shù)據(jù)和在raid陣列上處理數(shù)據(jù)之間的差別。當day在2009年加入shutterfly時，存儲已經(jīng)成為該公司最大的開支，并且以飛快的速度增長。每n個pb的額外存儲意味著我們需要另一個存儲管理員來支持物理和邏輯基礎設施，day表示，面對大規(guī)模數(shù)據(jù)存儲，系統(tǒng)會更頻繁地出問題，任何管理超大存儲的人經(jīng)常都要處理硬件故障。大家都在試圖解決的根本問題是：當你知道存儲的一部分將在一段時間內出現(xiàn)問題，你應該如何確保數(shù)據(jù)可用性，同時確保不會降低性能？raid問題解決故障的標準答案是復制，通常以raid陣列的形式。但day表示，面對龐大規(guī)模的數(shù)據(jù)時，raid解決問題的同時可能會制造更多問題。在傳統(tǒng)raid數(shù)據(jù)存儲方案中，每個數(shù)據(jù)的副本都被鏡像和存儲在陣列的不同磁盤中，以確保完整性和可用性。但這意味著每個被鏡像和存儲的數(shù)據(jù)將需要其本身五倍以上的存儲空間。隨著raid陣列中使用的磁盤越來越大（從密度和功耗的角度來看，3tb磁盤非常具有吸引力），更換故障驅動器的時間也將變得越來越長。實際上，我們使用raid并不存在任何操作問題，day表示，我們看到的是，隨著磁盤變得越來越大，當任何組件發(fā)生故障時，我們回到一個完全冗余的系統(tǒng)的時間增加。生成校驗是與數(shù)據(jù)集的大小成正比的。當我們開始使用1tb和2tb的磁盤時，回到完全冗余系統(tǒng)的時間變得很長?？梢哉f，這種趨勢并沒有朝著正確的方向發(fā)展。對于shutterfly而言，可靠性和可用性是非常關鍵的因素，這也是企業(yè)級存儲的要求。day表示，其快速膨脹的存儲成本使商品系統(tǒng)變得更具吸引力。當day及其團隊在研究潛在技術解決方案以幫助控制存儲成本時，他們對于一項叫做糾刪碼（erasure code）的技術非常感興趣。采用擦除代碼技術的下一代存儲里德-所羅門糾刪碼最初作為前向糾錯碼（forward error correction, fec）用于不可靠通道的數(shù)據(jù)傳輸，例如外層空間探測的數(shù)據(jù)傳輸。這項技術還被用于cd和dvd來處理光盤上的故障，例如灰塵和劃痕。一些存儲供應商已經(jīng)開始將糾刪碼納入他們的解決方案中。使用糾刪碼，數(shù)據(jù)可以被分解成幾塊，單塊分解數(shù)據(jù)是無用的，然后它們被分散到不同磁盤驅動器或者服務器。在任何使用，這些數(shù)據(jù)都可以完全重組，即使有些數(shù)據(jù)塊因為磁盤故障已經(jīng)丟失。換句話說，你不需要創(chuàng)建多個數(shù)據(jù)副本，單個數(shù)據(jù)就可以確保數(shù)據(jù)的完整性和可用性。基于糾刪碼的解決方案的早期供應商之一是cleversafe公司，他們添加了位置信息來創(chuàng)建其所謂的分散編碼，讓用戶可以在不同位置（例如多個數(shù)據(jù)中心）存儲數(shù)據(jù)塊或者說數(shù)據(jù)片。每個數(shù)據(jù)塊就其自身而言是無用的，這樣能夠確保隱私性和安全性。因為信息分散技術使用單一數(shù)據(jù)來確保數(shù)據(jù)完整性和可用性，而不是像raid一樣使用多個副本，公司可以節(jié)省多達90%的存儲成本。當你將試圖重組數(shù)據(jù)時，你并不一定需要提供所有數(shù)據(jù)塊，cleversafe公司產(chǎn)品策略、市場營銷和客戶解決方案副總裁russ kennedy表示，你生成的數(shù)據(jù)塊的數(shù)量，我們稱之為寬度，我們將重組數(shù)據(jù)需要的最低數(shù)量稱之為門檻。你生成的數(shù)據(jù)塊的數(shù)量和重組需要的數(shù)量之間的差異決定了其可靠性。同時，即使你丟失節(jié)點和驅動器，你仍然能夠得到原來形式的數(shù)據(jù)。
3，常用的大數(shù)據(jù)技術有哪些
大數(shù)據(jù)技術包括數(shù)據(jù)收集、數(shù)據(jù)存取、基礎架構、數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、模型預測、結果呈現(xiàn)。1、數(shù)據(jù)收集：在大數(shù)據(jù)的生命周期中，數(shù)據(jù)采集處于第一個環(huán)節(jié)。根據(jù)mapreduce產(chǎn)生數(shù)據(jù)的應用系統(tǒng)分類，大數(shù)據(jù)的采集主要有4種來源：管理信息系統(tǒng)、web信息系統(tǒng)、物理信息系統(tǒng)、科學實驗系統(tǒng)。2、數(shù)據(jù)存?。捍髷?shù)據(jù)的存去采用不同的技術路線，大致可以分為3類。第1類主要面對的是大規(guī)模的結構化數(shù)據(jù)。第2類主要面對的是半結構化和非結構化數(shù)據(jù)。第3類面對的是結構化和非結構化混合的大數(shù)據(jù)，3、基礎架構：云存儲、分布式文件存儲等。4、數(shù)據(jù)處理：對于采集到的不同的數(shù)據(jù)集，可能存在不同的結構和模式，如文件、xml 樹、關系表等，表現(xiàn)為數(shù)據(jù)的異構性。對多個異構的數(shù)據(jù)集，需要做進一步集成處理或整合處理，將來自不同數(shù)據(jù)集的數(shù)據(jù)收集、整理、清洗、轉換后，生成到一個新的數(shù)據(jù)集，為后續(xù)查詢和分析處理提供統(tǒng)一的數(shù)據(jù)視圖。5、統(tǒng)計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、t檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優(yōu)尺度分析)、bootstrap技術等等。6、數(shù)據(jù)挖掘：目前，還需要改進已有數(shù)據(jù)挖掘和機器學習技術；開發(fā)數(shù)據(jù)網(wǎng)絡挖掘、特異群組挖掘、圖挖掘等新型數(shù)據(jù)挖掘技術；突破基于對象的數(shù)據(jù)連接、相似性連接等大數(shù)據(jù)融合技術；突破用戶興趣分析、網(wǎng)絡行為分析、情感語義分析等面向領域的大數(shù)據(jù)挖掘技術。7、模型預測：預測模型、機器學習、建模仿真。8、結果呈現(xiàn)：云計算、標簽云、關系圖等?，F(xiàn)在學西點技術挺好的。1、西點師社會需求量大。目前，中國西點精英人才稀缺，從業(yè)人員約百萬，但優(yōu)秀烘焙技術人才仍比較少。2、西點行業(yè)人才緊缺。不少企業(yè)嘗試邀請專業(yè)西點師入企帶薪培訓，但這樣的方式也遠遠不能滿足用人需求，且抬高了用人成本，而所取成效卻微乎其微。業(yè)內人士認為，要真正解決企業(yè)的人才需求，應該更多地依靠專業(yè)的職業(yè)培訓機構力量。3、西點行業(yè)好就業(yè)。由于社會需求量大，而專業(yè)的西點烘焙師又供不應求，所以西點專業(yè)就業(yè)前景十分樂觀，完全不用擔心找不到好工作。4、就業(yè)快、創(chuàng)業(yè)容易。西點是投資少，風險小的行業(yè)，是創(chuàng)業(yè)投資不錯的一個選擇。學技術，可以選擇學廚師技術，好就業(yè)，從事餐飲行業(yè)，有很好的發(fā)展前景，現(xiàn)在廚師工資高，待遇好，女生可以學西點，男生可以學西餐，中餐廚師都可以，到專業(yè)烹飪學校學習，都是實操教學，畢業(yè)后推薦到名企就業(yè)，技能加學歷。必備的：一、大數(shù)據(jù)基礎階段大數(shù)據(jù)基礎階段需掌握的技術有：linux、docker、kvm、mysql基礎、oracle基礎、mongodb、redis以及hadoopmapreduce hdfs yarn等。二、大數(shù)據(jù)存儲階段大數(shù)據(jù)存儲階段需掌握的技術有：hbase、hive、sqoop等。三、大數(shù)據(jù)架構設計階段大數(shù)據(jù)架構設計階段需掌握的技術有：flume分布式、zookeeper、kafka等。四、大數(shù)據(jù)實時計算階段大數(shù)據(jù)實時計算階段需掌握的技術有：mahout、spark、storm。五、大數(shù)據(jù)數(shù)據(jù)采集階段大數(shù)據(jù)數(shù)據(jù)采集階段需掌握的技術有：python、scala。六、大數(shù)據(jù)商業(yè)實戰(zhàn)階段大數(shù)據(jù)商業(yè)實戰(zhàn)階段需掌握的技術有：實操企業(yè)大數(shù)據(jù)處理業(yè)務場景，分析需求、解決方案實施，綜合技術實戰(zhàn)應用。