1，如何實(shí)現(xiàn)大數(shù)存儲(chǔ)2，java 怎樣存儲(chǔ)大數(shù)據(jù)3，大數(shù)據(jù)時(shí)代數(shù)據(jù)應(yīng)該如何存儲(chǔ)4，大數(shù)據(jù)存儲(chǔ)需要具備什么5，為什么mongodb適合大數(shù)據(jù)的存儲(chǔ)1，如何實(shí)現(xiàn)大數(shù)存儲(chǔ)
你的大數(shù)意義是不是一個(gè)很大的數(shù)字啊。要是的話(huà)就用字符串來(lái)存儲(chǔ)，然后當(dāng)你要運(yùn)算的時(shí)候就一個(gè)一個(gè)字符去進(jìn)行。數(shù)據(jù)庫(kù)分表，分庫(kù)。
用一定的算法，
把這些分散的數(shù)據(jù)在歸攏起來(lái)。多大
2，java 怎樣存儲(chǔ)大數(shù)據(jù)
bigdicimal: http://wenku.baidu.com/view/26299d4569eae009581bec22.html因?yàn)榛緮?shù)據(jù)類(lèi)型都有固定的大小，只能儲(chǔ)存一定范圍的數(shù)據(jù)
所以，對(duì)于較大的數(shù)據(jù)，只能通過(guò)數(shù)據(jù)類(lèi)的方式實(shí)現(xiàn)：
java.math.bigdecimal
java.math.biginteger由于8字節(jié) 64位 1符號(hào) 11科學(xué)記數(shù)位數(shù)還有52位數(shù)儲(chǔ)存數(shù)字能精確16-17位 最好寫(xiě)個(gè)加法方法 可用字符串從后往前加先判斷誰(shuí)位數(shù)多 每位加10進(jìn)一返回字符串 這樣就精確了
3，大數(shù)據(jù)時(shí)代數(shù)據(jù)應(yīng)該如何存儲(chǔ)
pb或多pb級(jí)基礎(chǔ)設(shè)施與傳統(tǒng)大規(guī)模數(shù)據(jù)集之間的差別簡(jiǎn)直就像白天和黑夜的差別，就像在筆記本電腦上處理數(shù)據(jù)和在raid陣列上處理數(shù)據(jù)之間的差別。當(dāng)day在2009年加入shutterfly時(shí)，存儲(chǔ)已經(jīng)成為該公司最大的開(kāi)支，并且以飛快的速度增長(zhǎng)。每n個(gè)pb的額外存儲(chǔ)意味著我們需要另一個(gè)存儲(chǔ)管理員來(lái)支持物理和邏輯基礎(chǔ)設(shè)施，day表示，面對(duì)大規(guī)模數(shù)據(jù)存儲(chǔ)，系統(tǒng)會(huì)更頻繁地出問(wèn)題，任何管理超大存儲(chǔ)的人經(jīng)常都要處理硬件故障。大家都在試圖解決的根本問(wèn)題是：當(dāng)你知道存儲(chǔ)的一部分將在一段時(shí)間內(nèi)出現(xiàn)問(wèn)題，你應(yīng)該如何確保數(shù)據(jù)可用性，同時(shí)確保不會(huì)降低性能？raid問(wèn)題解決故障的標(biāo)準(zhǔn)答案是復(fù)制，通常以raid陣列的形式。但day表示，面對(duì)龐大規(guī)模的數(shù)據(jù)時(shí)，raid解決問(wèn)題的同時(shí)可能會(huì)制造更多問(wèn)題。在傳統(tǒng)raid數(shù)據(jù)存儲(chǔ)方案中，每個(gè)數(shù)據(jù)的副本都被鏡像和存儲(chǔ)在陣列的不同磁盤(pán)中，以確保完整性和可用性。但這意味著每個(gè)被鏡像和存儲(chǔ)的數(shù)據(jù)將需要其本身五倍以上的存儲(chǔ)空間。隨著raid陣列中使用的磁盤(pán)越來(lái)越大（從密度和功耗的角度來(lái)看，3tb磁盤(pán)非常具有吸引力），更換故障驅(qū)動(dòng)器的時(shí)間也將變得越來(lái)越長(zhǎng)。實(shí)際上，我們使用raid并不存在任何操作問(wèn)題，day表示，我們看到的是，隨著磁盤(pán)變得越來(lái)越大，當(dāng)任何組件發(fā)生故障時(shí)，我們回到一個(gè)完全冗余的系統(tǒng)的時(shí)間增加。生成校驗(yàn)是與數(shù)據(jù)集的大小成正比的。當(dāng)我們開(kāi)始使用1tb和2tb的磁盤(pán)時(shí)，回到完全冗余系統(tǒng)的時(shí)間變得很長(zhǎng)?？梢哉f(shuō)，這種趨勢(shì)并沒(méi)有朝著正確的方向發(fā)展。對(duì)于shutterfly而言，可靠性和可用性是非常關(guān)鍵的因素，這也是企業(yè)級(jí)存儲(chǔ)的要求。day表示，其快速膨脹的存儲(chǔ)成本使商品系統(tǒng)變得更具吸引力。當(dāng)day及其團(tuán)隊(duì)在研究潛在技術(shù)解決方案以幫助控制存儲(chǔ)成本時(shí)，他們對(duì)于一項(xiàng)叫做糾刪碼（erasure code）的技術(shù)非常感興趣。采用擦除代碼技術(shù)的下一代存儲(chǔ)里德-所羅門(mén)糾刪碼最初作為前向糾錯(cuò)碼（forward error correction, fec）用于不可靠通道的數(shù)據(jù)傳輸，例如外層空間探測(cè)的數(shù)據(jù)傳輸。這項(xiàng)技術(shù)還被用于cd和dvd來(lái)處理光盤(pán)上的故障，例如灰塵和劃痕。一些存儲(chǔ)供應(yīng)商已經(jīng)開(kāi)始將糾刪碼納入他們的解決方案中。使用糾刪碼，數(shù)據(jù)可以被分解成幾塊，單塊分解數(shù)據(jù)是無(wú)用的，然后它們被分散到不同磁盤(pán)驅(qū)動(dòng)器或者服務(wù)器。在任何使用，這些數(shù)據(jù)都可以完全重組，即使有些數(shù)據(jù)塊因?yàn)榇疟P(pán)故障已經(jīng)丟失。換句話(huà)說(shuō)，你不需要?jiǎng)?chuàng)建多個(gè)數(shù)據(jù)副本，單個(gè)數(shù)據(jù)就可以確保數(shù)據(jù)的完整性和可用性?；诩m刪碼的解決方案的早期供應(yīng)商之一是cleversafe公司，他們添加了位置信息來(lái)創(chuàng)建其所謂的分散編碼，讓用戶(hù)可以在不同位置（例如多個(gè)數(shù)據(jù)中心）存儲(chǔ)數(shù)據(jù)塊或者說(shuō)數(shù)據(jù)片。每個(gè)數(shù)據(jù)塊就其自身而言是無(wú)用的，這樣能夠確保隱私性和安全性。因?yàn)樾畔⒎稚⒓夹g(shù)使用單一數(shù)據(jù)來(lái)確保數(shù)據(jù)完整性和可用性，而不是像raid一樣使用多個(gè)副本，公司可以節(jié)省多達(dá)90%的存儲(chǔ)成本。當(dāng)你將試圖重組數(shù)據(jù)時(shí)，你并不一定需要提供所有數(shù)據(jù)塊，cleversafe公司產(chǎn)品策略、市場(chǎng)營(yíng)銷(xiāo)和客戶(hù)解決方案副總裁russ kennedy表示，你生成的數(shù)據(jù)塊的數(shù)量，我們稱(chēng)之為寬度，我們將重組數(shù)據(jù)需要的最低數(shù)量稱(chēng)之為門(mén)檻。你生成的數(shù)據(jù)塊的數(shù)量和重組需要的數(shù)量之間的差異決定了其可靠性。同時(shí)，即使你丟失節(jié)點(diǎn)和驅(qū)動(dòng)器，你仍然能夠得到原來(lái)形式的數(shù)據(jù)。
4，大數(shù)據(jù)存儲(chǔ)需要具備什么
大數(shù)據(jù)存儲(chǔ)作為一個(gè)數(shù)據(jù)平臺(tái)，其并不僅僅是一個(gè)用于數(shù)據(jù)存儲(chǔ)的設(shè)備，其需要能夠提供符合成本效益的規(guī)模和能力，消除數(shù)據(jù)遷移，沒(méi)有存儲(chǔ)孤島，提供全局可訪(fǎng)問(wèn)的數(shù)據(jù)保護(hù)和保持?jǐn)?shù)據(jù)的可用性。1.提供符合成本效益的規(guī)模和能力，不僅需要購(gòu)買(mǎi)行業(yè)標(biāo)準(zhǔn)的服務(wù)器和存儲(chǔ)產(chǎn)品，同時(shí)還要保證產(chǎn)品的擴(kuò)展能力和性能。而且隨著硬件的推移，能夠根據(jù)需要進(jìn)行擴(kuò)展，存儲(chǔ)系統(tǒng)需要能夠持續(xù)保證企業(yè)的需求，通過(guò)增加存儲(chǔ)系統(tǒng)來(lái)維持?jǐn)?shù)據(jù)增長(zhǎng)的性能需求。2.消除數(shù)據(jù)遷移，大數(shù)據(jù)平臺(tái)必須滿(mǎn)足數(shù)據(jù)增長(zhǎng)而不會(huì)受到系統(tǒng)約束的能力。3.拒絕存儲(chǔ)孤島，為了能夠充分利用大數(shù)據(jù)的機(jī)會(huì)，企業(yè)必須能夠訪(fǎng)問(wèn)所有的數(shù)據(jù)，要實(shí)現(xiàn)這一點(diǎn)，新的存儲(chǔ)平臺(tái)必須能夠滿(mǎn)足這個(gè)要求，消除那些傳統(tǒng)的存儲(chǔ)孤島，而不是簡(jiǎn)單的添加另一個(gè)存儲(chǔ)解決方案。4.提供全局管理方式，一個(gè)集中的數(shù)據(jù)管理方式在大數(shù)據(jù)增長(zhǎng)迅速的年代已經(jīng)是不可行的了，一個(gè)單點(diǎn)故障的成本會(huì)很高，一個(gè)大數(shù)據(jù)存儲(chǔ)平臺(tái)必須能夠管理分布在全球企業(yè)中的數(shù)據(jù)。5.保護(hù)和維護(hù)數(shù)據(jù)的可用性，數(shù)據(jù)價(jià)值越來(lái)越重要，為了防止企業(yè)級(jí)的產(chǎn)品硬件發(fā)生故障，存儲(chǔ)平臺(tái)必須通過(guò)智能軟件來(lái)保持?jǐn)?shù)據(jù)的可用性和完整性。大數(shù)據(jù)之大大是相對(duì)而言的概念。例如，對(duì)于像saphana那樣的內(nèi)存數(shù)據(jù)庫(kù)來(lái)說(shuō)，2tb可能就已經(jīng)是大容量了；而對(duì)于像谷歌這樣的搜索引擎，eb的數(shù)據(jù)量才能稱(chēng)得上是大數(shù)據(jù)。大也是一個(gè)迅速變化的概念。hds在2004年發(fā)布的usp存儲(chǔ)虛擬化平臺(tái)具備管理32pb大數(shù)據(jù)存儲(chǔ)需要具備什么？大數(shù)據(jù)之大大是相對(duì)而言的概念。例如，對(duì)于像saphana那樣的內(nèi)存數(shù)據(jù)庫(kù)來(lái)說(shuō)，2tb可能就已經(jīng)是大容量了；而對(duì)于像谷歌這樣的搜索引擎，eb的數(shù)據(jù)量才能稱(chēng)得上是大數(shù)據(jù)。大也是一個(gè)迅速變化的概念。hds在2004年發(fā)布的usp存儲(chǔ)虛擬化平臺(tái)具備管理32pb內(nèi)外部附加存儲(chǔ)的能力。當(dāng)時(shí)，大多數(shù)人認(rèn)為，usp的存儲(chǔ)容量大得有些離譜。但是現(xiàn)在，大多數(shù)企業(yè)都已經(jīng)擁有pb級(jí)的數(shù)據(jù)量，一些搜索引擎公司的數(shù)據(jù)存儲(chǔ)量甚至達(dá)到了eb級(jí)。由于許多家庭都保存了tb級(jí)的數(shù)據(jù)量，一些云計(jì)算公司正在推廣其文件共享或家庭數(shù)據(jù)備份服務(wù)。有容乃大由此看來(lái)，大數(shù)據(jù)存儲(chǔ)的首要需求存儲(chǔ)容量可擴(kuò)展。大數(shù)據(jù)對(duì)存儲(chǔ)容量的需求已經(jīng)超出目前用戶(hù)現(xiàn)有的存儲(chǔ)能力。我們現(xiàn)在正處于pb級(jí)時(shí)代，而eb級(jí)時(shí)代即將到來(lái)。過(guò)去，許多企業(yè)通常以五年作為it系統(tǒng)規(guī)劃的一個(gè)周期。在這五年中，企業(yè)的存儲(chǔ)容量可能會(huì)增加一倍?，F(xiàn)在，企業(yè)則需要制定存儲(chǔ)數(shù)據(jù)量級(jí)（比如從pb級(jí)到eb級(jí)）的增長(zhǎng)計(jì)劃，只有這樣才能確保業(yè)務(wù)不受干擾地持續(xù)增長(zhǎng)。這就要求實(shí)現(xiàn)存儲(chǔ)虛擬化。存儲(chǔ)虛擬化是目前為止提高存儲(chǔ)效率最重要、最有效的技術(shù)手段。它為現(xiàn)有存儲(chǔ)系統(tǒng)提供了自動(dòng)分層和精簡(jiǎn)配置等提高存儲(chǔ)效率的工具。擁有了虛擬化存儲(chǔ)，用戶(hù)可以將來(lái)自?xún)?nèi)部和外部存儲(chǔ)系統(tǒng)中的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)全部整合到一個(gè)單一的存儲(chǔ)平臺(tái)上。當(dāng)所有存儲(chǔ)資產(chǎn)變成一個(gè)單一的存儲(chǔ)資源池時(shí)，自動(dòng)分層和精簡(jiǎn)配置功能就可以擴(kuò)展到整個(gè)存儲(chǔ)基礎(chǔ)設(shè)施層面。在這種情況下，用戶(hù)可以輕松實(shí)現(xiàn)容量回收和容量利用率的最大化，并延長(zhǎng)現(xiàn)有存儲(chǔ)系統(tǒng)的壽命，顯著提高it系統(tǒng)的靈活性和效率，以滿(mǎn)足非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)的需求。中型企業(yè)可以在不影響性能的情況下將hus的容量擴(kuò)展到近3pb，并可通過(guò)動(dòng)態(tài)虛擬控制器實(shí)現(xiàn)系統(tǒng)的快速預(yù)配置。此外，通過(guò)hdsvsp的虛擬化功能，大型企業(yè)可以創(chuàng)建0.25eb容量的存儲(chǔ)池。隨著非結(jié)構(gòu)化數(shù)據(jù)的快速增長(zhǎng)，未來(lái)，文件與內(nèi)容數(shù)據(jù)又該如何進(jìn)行擴(kuò)展呢？不斷生長(zhǎng)的大數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)不同，很多非結(jié)構(gòu)化數(shù)據(jù)需要通過(guò)互聯(lián)網(wǎng)協(xié)議來(lái)訪(fǎng)問(wèn)，并且存儲(chǔ)在文件或內(nèi)容平臺(tái)之中。大多數(shù)文件與內(nèi)容平臺(tái)的存儲(chǔ)容量過(guò)去只能達(dá)到tb級(jí)，現(xiàn)在則需要擴(kuò)展到pb級(jí)，而未來(lái)將擴(kuò)展到eb級(jí)。這些非結(jié)構(gòu)化的數(shù)據(jù)必須以文件或?qū)ο蟮男问絹?lái)訪(fǎng)問(wèn)?；趗nix和linux的傳統(tǒng)文件系統(tǒng)通常將文件、目錄或與其他文件系統(tǒng)對(duì)象有關(guān)的信息存儲(chǔ)在一個(gè)索引節(jié)點(diǎn)中。索引節(jié)點(diǎn)不是數(shù)據(jù)本身，而是描述數(shù)據(jù)所有權(quán)、訪(fǎng)問(wèn)模式、文件大小、時(shí)間戳、文件指針和文件類(lèi)型等信息的元數(shù)據(jù)。傳統(tǒng)文件系統(tǒng)中的索引節(jié)點(diǎn)數(shù)量有限，導(dǎo)致文件系統(tǒng)可以容納的文件、目錄或?qū)ο蟮臄?shù)量受到限制。hnas和hcp使用基于對(duì)象的文件系統(tǒng)，使得其容量能夠擴(kuò)展到pb級(jí)，可以容納數(shù)十億個(gè)文件或?qū)ο蟆Ｎ挥趘sp或hus之上的hnas和hcp網(wǎng)關(guān)不僅可以充分利用模塊存儲(chǔ)的可擴(kuò)展性，而且可以享受到通用管理平臺(tái)hitachicommandsuite帶來(lái)的好處。hnas和hcp為大數(shù)據(jù)的存儲(chǔ)提供了一個(gè)優(yōu)良的架構(gòu)。大數(shù)據(jù)存儲(chǔ)平臺(tái)必須能夠不受干擾地持續(xù)擴(kuò)展，并具有跨越不同時(shí)代技術(shù)的能力。數(shù)據(jù)遷移必須在最小范圍內(nèi)進(jìn)行，而且要在后臺(tái)完成。大數(shù)據(jù)只要復(fù)制一次，就能具有很好的可恢復(fù)性。大數(shù)據(jù)存儲(chǔ)平臺(tái)可以通過(guò)版本控制來(lái)跟蹤數(shù)據(jù)的變更，而不會(huì)因?yàn)榇髷?shù)據(jù)發(fā)生一次變更，就重新備份一次所有的數(shù)據(jù)。hds的所有產(chǎn)品均可以實(shí)現(xiàn)后臺(tái)的數(shù)據(jù)移動(dòng)和分層，并可以增加vsp、hus數(shù)據(jù)池、hnas文件系統(tǒng)、hcp的容量，還能自動(dòng)調(diào)整數(shù)據(jù)的布局。傳統(tǒng)文件系統(tǒng)與塊數(shù)據(jù)存儲(chǔ)設(shè)備不支持動(dòng)態(tài)擴(kuò)展。大數(shù)據(jù)存儲(chǔ)平臺(tái)還必須具有彈性，不允許出現(xiàn)任何可能需要重建大數(shù)據(jù)的單點(diǎn)故障。hds可以實(shí)現(xiàn)vsp和hus的冗余