1，java 怎樣存儲大數(shù)據(jù)2，hadoop是怎么存儲大數(shù)據(jù)的3，大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲的區(qū)別4，大數(shù)據(jù)時代數(shù)據(jù)應(yīng)該如何存儲5，為什么mongodb適合大數(shù)據(jù)的存儲1，java 怎樣存儲大數(shù)據(jù)
bigdicimal: http://wenku.baidu.com/view/26299d4569eae009581bec22.html因?yàn)榛緮?shù)據(jù)類型都有固定的大小，只能儲存一定范圍的數(shù)據(jù)
所以，對于較大的數(shù)據(jù)，只能通過數(shù)據(jù)類的方式實(shí)現(xiàn)：
java.math.bigdecimal
java.math.biginteger由于8字節(jié) 64位 1符號 11科學(xué)記數(shù)位數(shù)還有52位數(shù)儲存數(shù)字能精確16-17位 最好寫個加法方法 可用字符串從后往前加先判斷誰位數(shù)多 每位加10進(jìn)一返回字符串 這樣就精確了
2，hadoop是怎么存儲大數(shù)據(jù)的
hadoop本身是分布式框架，如果在hadoop框架下，需要配合hbase，hive等工具來進(jìn)行大數(shù)據(jù)計算。如果具體深入還要了解hdfs，map/reduce，任務(wù)機(jī)制等等。如果要分析還要考慮其他分析展現(xiàn)工具。大數(shù)據(jù)還有分析才有價值用于分析大數(shù)據(jù)的工具主要有開源與商用兩個生態(tài)圈。開源大數(shù)據(jù)生態(tài)圈：1、hadoop hdfs、hadoopmapreduce, hbase、hive 漸次誕生，早期hadoop生態(tài)圈逐步形成。2、. hypertable是另類。它存在于hadoop生態(tài)圈之外，但也曾經(jīng)有一些用戶。3、nosql，membase、mongodb商用大數(shù)據(jù)生態(tài)圈：1、一體機(jī)數(shù)據(jù)庫/數(shù)據(jù)倉庫：ibm puredata(netezza), oracleexadata, sap hana等等。2、數(shù)據(jù)倉庫：teradataasterdata, emc greenplum, hpvertica 等等。3、數(shù)據(jù)集市：qlikview、 tableau 、 以及國內(nèi)的yonghong data mart 。存放到hdfs 一般都是要分析的數(shù)據(jù)。分析完成的數(shù)據(jù)直接存儲到mysql 或者oracle 中。這種處理方式是離線處理。如日志文件存儲到hdfs 分析出網(wǎng)站的流量 uv pv 等等。一般都是用pig hive 和mr 等進(jìn)行分析的。 存放到hbase 一般都是數(shù)據(jù)拿過來直接用的。而且他是實(shí)時的。也就是說數(shù)據(jù)就是成型的而且不需要進(jìn)行分析就能得到結(jié)果的數(shù)據(jù)。 大致就是這么個意思。有點(diǎn)啰嗦了。
3，大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)存儲的區(qū)別
沒什么關(guān)聯(lián)性 大數(shù)據(jù)是海量數(shù)據(jù)、是一種現(xiàn)狀、一種解決問題的手段 傳統(tǒng)數(shù)據(jù)存儲是存儲的問題主要區(qū)別在于，現(xiàn)在的大數(shù)據(jù)包括非結(jié)構(gòu)化數(shù)據(jù)，并且可以從各種數(shù)據(jù)中提取有用的信息，比如郵件、日志文件、社交多媒體、商業(yè)交易及其他數(shù)據(jù)。比如，保存在數(shù)據(jù)庫里的一家連鎖零售商店的某商品的銷售圖表數(shù)據(jù)。對這些數(shù)據(jù)的獲取就不是大數(shù)據(jù)范疇的問題。大數(shù)據(jù)應(yīng)用的一個主要特點(diǎn)是實(shí)時性或者近實(shí)時性。大數(shù)據(jù)比傳統(tǒng)數(shù)據(jù)存儲更需要非常高性能、高吞吐率、大容量的基礎(chǔ)設(shè)備。傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的區(qū)別 第一、計算機(jī)科學(xué)在大數(shù)據(jù)出現(xiàn)之前，非常依賴模型以及算法。人們?nèi)绻胍玫骄珳?zhǔn)的結(jié)論，需要建立模型來描述問題，同時，需要理順邏輯，理解因果，設(shè)計精妙的算法來得出接近現(xiàn)實(shí)的結(jié)論。因此，一個問題，能否得到最好的解決，取決于建模是否合理，各種算法的比拼成為決定成敗的關(guān)鍵。然而，大數(shù)據(jù)的出現(xiàn)徹底改變了人們對于建模和算法的依賴。舉例來說，假設(shè)解決某一問題有算法a 和算法b。在小量數(shù)據(jù)中運(yùn)行時，算法a的結(jié)果明顯優(yōu)于算法b。也就是說，就算法本身而言，算法a能夠帶來更好的結(jié)果；然而，人們發(fā)現(xiàn)，當(dāng)數(shù)據(jù)量不斷增大時，算法b在大量數(shù)據(jù)中運(yùn)行的結(jié)果優(yōu)于算法a在小量數(shù)據(jù)中運(yùn)行的結(jié)果。這一發(fā)現(xiàn)給計算機(jī)學(xué)科及計算機(jī)衍生學(xué)科都帶來了里程碑式的啟示：當(dāng)數(shù)據(jù)越來越大時，數(shù)據(jù)本身（而不是研究數(shù)據(jù)所使用的算法和模型）保證了數(shù)據(jù)分析結(jié)果的有效性。即便缺乏精準(zhǔn)的算法，只要擁有足夠多的數(shù)據(jù)，也能得到接近事實(shí)的結(jié)論。數(shù)據(jù)因此而被譽(yù)為新的生產(chǎn)力。 第二、當(dāng)數(shù)據(jù)足夠多的時候，不需要了解具體的因果關(guān)系就能夠得出結(jié)論。 例如，google 在幫助用戶翻譯時，并不是設(shè)定各種語法和翻譯規(guī)則。而是利用google數(shù)據(jù)庫中收集的所有用戶的用詞習(xí)慣進(jìn)行比較推薦。google檢查所有用戶的寫作習(xí)慣，將最常用、出現(xiàn)頻率最高的翻譯方式推薦給用戶。在這一過程中，計算機(jī)可以并不了解問題的邏輯，但是當(dāng)用戶行為的記錄數(shù)據(jù)越來越多時，計算機(jī)就可以在不了解問題邏輯的情況之下，提供最為可靠的結(jié)果?？梢?，海量數(shù)據(jù)和處理這些數(shù)據(jù)的分析工具，為理解世界提供了一條完整的新途徑。 第三、由于能夠處理多種數(shù)據(jù)結(jié)構(gòu)，大數(shù)據(jù)能夠在最大程度上利用互聯(lián)網(wǎng)上記錄的人類行為數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)出現(xiàn)之前，計算機(jī)所能夠處理的數(shù)據(jù)都需要前期進(jìn)行結(jié)構(gòu)化處理，并記錄在相應(yīng)的數(shù)據(jù)庫中。但大數(shù)據(jù)技術(shù)對于數(shù)據(jù)的結(jié)構(gòu)的要求大大降低，互聯(lián)網(wǎng)上人們留下的社交信息、地理位置信息、行為習(xí)慣信息、偏好信息等各種維度的信息都可以實(shí)時處理，立體完整地勾勒出每一個個體的各種特征。在大數(shù)據(jù)領(lǐng)域發(fā)展較早也做的比較好的算是八爪魚采集器了。
4，大數(shù)據(jù)時代數(shù)據(jù)應(yīng)該如何存儲
pb或多pb級基礎(chǔ)設(shè)施與傳統(tǒng)大規(guī)模數(shù)據(jù)集之間的差別簡直就像白天和黑夜的差別，就像在筆記本電腦上處理數(shù)據(jù)和在raid陣列上處理數(shù)據(jù)之間的差別。當(dāng)day在2009年加入shutterfly時，存儲已經(jīng)成為該公司最大的開支，并且以飛快的速度增長。每n個pb的額外存儲意味著我們需要另一個存儲管理員來支持物理和邏輯基礎(chǔ)設(shè)施，day表示，面對大規(guī)模數(shù)據(jù)存儲，系統(tǒng)會更頻繁地出問題，任何管理超大存儲的人經(jīng)常都要處理硬件故障。大家都在試圖解決的根本問題是：當(dāng)你知道存儲的一部分將在一段時間內(nèi)出現(xiàn)問題，你應(yīng)該如何確保數(shù)據(jù)可用性，同時確保不會降低性能？raid問題解決故障的標(biāo)準(zhǔn)答案是復(fù)制，通常以raid陣列的形式。但day表示，面對龐大規(guī)模的數(shù)據(jù)時，raid解決問題的同時可能會制造更多問題。在傳統(tǒng)raid數(shù)據(jù)存儲方案中，每個數(shù)據(jù)的副本都被鏡像和存儲在陣列的不同磁盤中，以確保完整性和可用性。但這意味著每個被鏡像和存儲的數(shù)據(jù)將需要其本身五倍以上的存儲空間。隨著raid陣列中使用的磁盤越來越大（從密度和功耗的角度來看，3tb磁盤非常具有吸引力），更換故障驅(qū)動器的時間也將變得越來越長。實(shí)際上，我們使用raid并不存在任何操作問題，day表示，我們看到的是，隨著磁盤變得越來越大，當(dāng)任何組件發(fā)生故障時，我們回到一個完全冗余的系統(tǒng)的時間增加。生成校驗(yàn)是與數(shù)據(jù)集的大小成正比的。當(dāng)我們開始使用1tb和2tb的磁盤時，回到完全冗余系統(tǒng)的時間變得很長?？梢哉f，這種趨勢并沒有朝著正確的方向發(fā)展。對于shutterfly而言，可靠性和可用性是非常關(guān)鍵的因素，這也是企業(yè)級存儲的要求。day表示，其快速膨脹的存儲成本使商品系統(tǒng)變得更具吸引力。當(dāng)day及其團(tuán)隊(duì)在研究潛在技術(shù)解決方案以幫助控制存儲成本時，他們對于一項(xiàng)叫做糾刪碼（erasure code）的技術(shù)非常感興趣。采用擦除代碼技術(shù)的下一代存儲里德-所羅門糾刪碼最初作為前向糾錯碼（forward error correction, fec）用于不可靠通道的數(shù)據(jù)傳輸，例如外層空間探測的數(shù)據(jù)傳輸。這項(xiàng)技術(shù)還被用于cd和dvd來處理光盤上的故障，例如灰塵和劃痕。一些存儲供應(yīng)商已經(jīng)開始將糾刪碼納入他們的解決方案中。使用糾刪碼，數(shù)據(jù)可以被分解成幾塊，單塊分解數(shù)據(jù)是無用的，然后它們被分散到不同磁盤驅(qū)動器或者服務(wù)器。在任何使用，這些數(shù)據(jù)都可以完全重組，即使有些數(shù)據(jù)塊因?yàn)榇疟P故障已經(jīng)丟失。換句話說，你不需要創(chuàng)建多個數(shù)據(jù)副本，單個數(shù)據(jù)就可以確保數(shù)據(jù)的完整性和可用性?；诩m刪碼的解決方案的早期供應(yīng)商之一是cleversafe公司，他們添加了位置信息來創(chuàng)建其所謂的分散編碼，讓用戶可以在不同位置（例如多個數(shù)據(jù)中心）存儲數(shù)據(jù)塊或者說數(shù)據(jù)片。每個數(shù)據(jù)塊就其自身而言是無用的，這樣能夠確保隱私性和安全性。因?yàn)樾畔⒎稚⒓夹g(shù)使用單一數(shù)據(jù)來確保數(shù)據(jù)完整性和可用性，而不是像raid一樣使用多個副本，公司可以節(jié)省多達(dá)90%的存儲成本。當(dāng)你將試圖重組數(shù)據(jù)時，你并不一定需要提供所有數(shù)據(jù)塊，cleversafe公司產(chǎn)品策略、市場營銷和客戶解決方案副總裁russ kennedy表示，你生成的數(shù)據(jù)塊的數(shù)量，我們稱之為寬度，我們將重組數(shù)據(jù)需要的最低數(shù)量稱之為門檻。你生成的數(shù)據(jù)塊的數(shù)量和重組需要的數(shù)量之間的差異決定了其可靠性。同時，即使你丟失節(jié)點(diǎn)和驅(qū)動器，你仍然能夠得到原來形式的數(shù)據(jù)。
5，為什么mongodb適合大數(shù)據(jù)的存儲
mongo是一個高性能，開源，無模式的文檔型數(shù)據(jù)庫，它在許多場景下可用于替代傳統(tǒng)的關(guān)系型數(shù)據(jù)庫或鍵/值存儲方式。mongo使用c++開發(fā)，提供了以下功能：◆面向集合的存儲：適合存儲對象及json形式的數(shù)據(jù)。◆動態(tài)查詢：mongo支持豐富的查詢表達(dá)式。查詢指令使用json形式的標(biāo)記，可輕易查詢文檔中內(nèi)嵌的對象及數(shù)組?！敉暾乃饕С郑喊ㄎ臋n內(nèi)嵌對象及數(shù)組。mongo的查詢優(yōu)化器會分析查詢表達(dá)式，并生成一個高效的查詢計劃?！舨樵儽O(jiān)視：mongo包含一個監(jiān)視工具用于分析數(shù)據(jù)庫操作的性能?！魪?fù)制及自動故障轉(zhuǎn)移：mongo數(shù)據(jù)庫支持服務(wù)器之間的數(shù)據(jù)復(fù)制，支持主-從模式及服務(wù)器之間的相互復(fù)制。復(fù)制的主要目標(biāo)是提供冗余及自動故障轉(zhuǎn)移?！舾咝У膫鹘y(tǒng)存儲方式：支持二進(jìn)制數(shù)據(jù)及大型對象（如照片或圖片）?！糇詣臃制灾С衷萍墑e的伸縮性（處于早期alpha階段）：自動分片功能支持水平的數(shù)據(jù)庫集群，可動態(tài)添加額外的機(jī)器。mongodb的主要目標(biāo)是