1，大數(shù)據(jù)的采集存儲管理使用如何實現(xiàn)分別有哪些工具軟件可選2，大數(shù)據(jù)專業(yè)主要學什么3，大數(shù)據(jù)時代數(shù)據(jù)應該如何存儲4，大數(shù)據(jù)都有哪些就業(yè)方向5，詳解大數(shù)據(jù)存儲哪些問題最容易出現(xiàn)1，大數(shù)據(jù)的采集存儲管理使用如何實現(xiàn)分別有哪些工具軟件可選
使用自己根據(jù)對數(shù)據(jù)的形式編寫一個程序啊， 使用shell， python程序都行， 幫忙開發(fā)出來都沒問題， 能看一下my網(wǎng)名？有2點原因： 1、modbus poll軟件是作為主站使用的；而你的plc程序是定時發(fā)送數(shù)據(jù)，屬于主動發(fā)送，這不符合“主站請求——從站應答”的規(guī)則。所以，modbus poll與fx2n通信，fx2n首先應按從站應答方式去編程。
2，大數(shù)據(jù)專業(yè)主要學什么
mysql數(shù)據(jù)庫 php基礎 php進階 git+linux laravel python語法基礎 小程序開發(fā)linux操作系統(tǒng) linux服務器（rpm） 企業(yè)網(wǎng)絡組建（華為） 企業(yè)網(wǎng)絡高級應用（華為） 信息網(wǎng)絡布線 華為防火墻技術 華為云計算 wlan無線技術 harmonyos應用開發(fā)java ：只要了解一些基礎即可，做大數(shù)據(jù)不需要很深的java 技術，學java se 就相當于學習大數(shù)據(jù)。linux：因為大數(shù)據(jù)相關軟件都是在linux上運行的，所以linux要學習的扎實一些，學好linux對你快速掌握大數(shù)據(jù)相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡環(huán)境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。hadoop：這是現(xiàn)在流行的大數(shù)據(jù)處理平臺幾乎已經成為大數(shù)據(jù)的代名詞，所以這個是必學的。zookeeper：這是個萬金油，安裝hadoop的ha的時候就會用到它，以后的hbase也會用到它。mysql：我們學習完大數(shù)據(jù)的處理了，接下來學習學習小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫，因為一會裝hive的時候要用到，mysql需要掌握到什么層度那?你能在linux上把它安裝好，運行起來，會配置簡單的權限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫。sqoop：這個是用于把mysql里的數(shù)據(jù)導入到hadoop里的。hive：這個東西對于會sql語法的來說就是神器，它能讓你處理大數(shù)據(jù)變的很簡單oozie：既然學會hive了，我相信你一定需要這個東西，它可以幫你管理你的hive或者mapreduce、spark腳本，還能檢查你的程序是否執(zhí)行正確。hbase：這是hadoop生態(tài)體系中的nosql數(shù)據(jù)庫，他的數(shù)據(jù)是按照key和value的形式存儲的并且key是唯一的，所以它能用來做數(shù)據(jù)的排重，它與mysql相比能存儲的數(shù)據(jù)量大很多。kafka：這是個比較好用的隊列工具。spark：它是用來彌補基于mapreduce處理數(shù)據(jù)速度上的缺點
3，大數(shù)據(jù)時代數(shù)據(jù)應該如何存儲
pb或多pb級基礎設施與傳統(tǒng)大規(guī)模數(shù)據(jù)集之間的差別簡直就像白天和黑夜的差別，就像在筆記本電腦上處理數(shù)據(jù)和在raid陣列上處理數(shù)據(jù)之間的差別。當day在2009年加入shutterfly時，存儲已經成為該公司最大的開支，并且以飛快的速度增長。每n個pb的額外存儲意味著我們需要另一個存儲管理員來支持物理和邏輯基礎設施，day表示，面對大規(guī)模數(shù)據(jù)存儲，系統(tǒng)會更頻繁地出問題，任何管理超大存儲的人經常都要處理硬件故障。大家都在試圖解決的根本問題是：當你知道存儲的一部分將在一段時間內出現(xiàn)問題，你應該如何確保數(shù)據(jù)可用性，同時確保不會降低性能？raid問題解決故障的標準答案是復制，通常以raid陣列的形式。但day表示，面對龐大規(guī)模的數(shù)據(jù)時，raid解決問題的同時可能會制造更多問題。在傳統(tǒng)raid數(shù)據(jù)存儲方案中，每個數(shù)據(jù)的副本都被鏡像和存儲在陣列的不同磁盤中，以確保完整性和可用性。但這意味著每個被鏡像和存儲的數(shù)據(jù)將需要其本身五倍以上的存儲空間。隨著raid陣列中使用的磁盤越來越大（從密度和功耗的角度來看，3tb磁盤非常具有吸引力），更換故障驅動器的時間也將變得越來越長。實際上，我們使用raid并不存在任何操作問題，day表示，我們看到的是，隨著磁盤變得越來越大，當任何組件發(fā)生故障時，我們回到一個完全冗余的系統(tǒng)的時間增加。生成校驗是與數(shù)據(jù)集的大小成正比的。當我們開始使用1tb和2tb的磁盤時，回到完全冗余系統(tǒng)的時間變得很長?？梢哉f，這種趨勢并沒有朝著正確的方向發(fā)展。對于shutterfly而言，可靠性和可用性是非常關鍵的因素，這也是企業(yè)級存儲的要求。day表示，其快速膨脹的存儲成本使商品系統(tǒng)變得更具吸引力。當day及其團隊在研究潛在技術解決方案以幫助控制存儲成本時，他們對于一項叫做糾刪碼（erasure code）的技術非常感興趣。采用擦除代碼技術的下一代存儲里德-所羅門糾刪碼最初作為前向糾錯碼（forward error correction, fec）用于不可靠通道的數(shù)據(jù)傳輸，例如外層空間探測的數(shù)據(jù)傳輸。這項技術還被用于cd和dvd來處理光盤上的故障，例如灰塵和劃痕。一些存儲供應商已經開始將糾刪碼納入他們的解決方案中。使用糾刪碼，數(shù)據(jù)可以被分解成幾塊，單塊分解數(shù)據(jù)是無用的，然后它們被分散到不同磁盤驅動器或者服務器。在任何使用，這些數(shù)據(jù)都可以完全重組，即使有些數(shù)據(jù)塊因為磁盤故障已經丟失。換句話說，你不需要創(chuàng)建多個數(shù)據(jù)副本，單個數(shù)據(jù)就可以確保數(shù)據(jù)的完整性和可用性?；诩m刪碼的解決方案的早期供應商之一是cleversafe公司，他們添加了位置信息來創(chuàng)建其所謂的分散編碼，讓用戶可以在不同位置（例如多個數(shù)據(jù)中心）存儲數(shù)據(jù)塊或者說數(shù)據(jù)片。每個數(shù)據(jù)塊就其自身而言是無用的，這樣能夠確保隱私性和安全性。因為信息分散技術使用單一數(shù)據(jù)來確保數(shù)據(jù)完整性和可用性，而不是像raid一樣使用多個副本，公司可以節(jié)省多達90%的存儲成本。當你將試圖重組數(shù)據(jù)時，你并不一定需要提供所有數(shù)據(jù)塊，cleversafe公司產品策略、市場營銷和客戶解決方案副總裁russ kennedy表示，你生成的數(shù)據(jù)塊的數(shù)量，我們稱之為寬度，我們將重組數(shù)據(jù)需要的最低數(shù)量稱之為門檻。你生成的數(shù)據(jù)塊的數(shù)量和重組需要的數(shù)量之間的差異決定了其可靠性。同時，即使你丟失節(jié)點和驅動器，你仍然能夠得到原來形式的數(shù)據(jù)。
4，大數(shù)據(jù)都有哪些就業(yè)方向
主要有二個方向：一是大數(shù)據(jù)維護、研發(fā)、架構工程師方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)工程師、大數(shù)據(jù)維護工程師、大數(shù)據(jù)研發(fā)工程師、大數(shù)據(jù)架構師等；二是大數(shù)據(jù)挖掘、分析方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)分析師、大數(shù)據(jù)高級工程師、大數(shù)據(jù)分析師專家、大數(shù)據(jù)挖掘師、大數(shù)據(jù)算法師等大數(shù)據(jù)就業(yè)方向一、數(shù)據(jù)存儲和管理大數(shù)據(jù)都是從數(shù)據(jù)存儲開始。這意味著從大數(shù)據(jù)框架hadoop開始。它是由apache foundation開發(fā)的開源軟件框架，用在計算機集群上分布式存儲非常大的數(shù)據(jù)集。顯然，存儲對于大數(shù)據(jù)所需的大量信息至關重要。但更重要的是，需要有一種方式來將所有這些數(shù)據(jù)集中到某種形成/管理結構中，以產生洞察力。因此，大數(shù)據(jù)存儲和管理是真正的基礎，而沒有這樣的分析平臺是行不通的。在某些情況下，這些解決方案包括員工培訓。大數(shù)據(jù)就業(yè)方向二、數(shù)據(jù)清理在企業(yè)真正處理大量數(shù)據(jù)以獲取洞察信息之前，先需要對其進行清理、轉換并將其轉變?yōu)榭蛇h程檢索的內容。大數(shù)據(jù)往往是非結構化和無組織的，因此需要進行某種清理或轉換。在這個時代，數(shù)據(jù)的清理變得更加必要，因為數(shù)據(jù)可以來自任何地方：移動網(wǎng)絡、物聯(lián)網(wǎng)、社交媒體。并不是所有這些數(shù)據(jù)都容易被“清理”，以產生其見解，因此一個良好的數(shù)據(jù)清理工具可以改變所有的差異。事實上，在未來的幾年中，將有效清理的數(shù)據(jù)視為是一種可接受的大數(shù)據(jù)系統(tǒng)與真正出色的數(shù)據(jù)系統(tǒng)之間的競爭優(yōu)勢。大數(shù)據(jù)就業(yè)方向三、數(shù)據(jù)挖掘一旦數(shù)據(jù)被清理并準備好進行檢查，就可以通過數(shù)據(jù)挖掘開始搜索過程。這就是企業(yè)進行實際發(fā)現(xiàn)、決策和預測的過程。數(shù)據(jù)挖掘在很多方面都是大數(shù)據(jù)流程的真正核心。數(shù)據(jù)挖掘解決方案通常非常復雜，但力求提供一個令人關注和用戶友好的用戶界面，這說起來容易做起來難。數(shù)據(jù)挖掘工具面臨的另一個挑戰(zhàn)是：它們的確需要工作人員開發(fā)查詢，所以數(shù)據(jù)挖掘工具的能力并不比使用它的專業(yè)人員強。大數(shù)據(jù)就業(yè)方向四、數(shù)據(jù)可視化數(shù)據(jù)可視化是企業(yè)的數(shù)據(jù)以可讀的格式顯示的方式。這是企業(yè)查看圖表和圖形以及將數(shù)據(jù)放入透視圖中的方法。主要有二個方向：一是大數(shù)據(jù)維護、研發(fā)、架構工程師方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)工程師、大數(shù)據(jù)維護工程師、大數(shù)據(jù)研發(fā)工程師、大數(shù)據(jù)架構師等；二是大數(shù)據(jù)挖掘、分析方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)分析師、大數(shù)據(jù)高級工程師、大數(shù)據(jù)分析師專家、大數(shù)據(jù)挖掘師、大數(shù)據(jù)算法師等主要有二個方向：一是大數(shù)據(jù)維護、研發(fā)、架構工程師方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)工程師、大數(shù)據(jù)維護工程師、大數(shù)據(jù)研發(fā)工程師、大數(shù)據(jù)架構師等；二是大數(shù)據(jù)挖掘、分析方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)分析師、大數(shù)據(jù)高級工程師、大數(shù)據(jù)分析師專家、大數(shù)據(jù)挖掘師、大數(shù)據(jù)算法師等主要有二個方向：一是大數(shù)據(jù)維護、研發(fā)、架構工程師方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)工程師、大數(shù)據(jù)維護工程師、大數(shù)據(jù)研發(fā)工程師、大數(shù)據(jù)架構師等；二是大數(shù)據(jù)挖掘、分析方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)分析師、大數(shù)據(jù)高級工程師、大數(shù)據(jù)分析師專家、大數(shù)據(jù)挖掘師、大數(shù)據(jù)算法師等大數(shù)據(jù)畢業(yè)以后都是干什么的？top1首席數(shù)據(jù)官（cdo）top2營銷分析師/客戶關系管理分析師top3數(shù)據(jù)工程師top4商務智能開發(fā)工程師top5數(shù)據(jù)可視化top6軟件研發(fā)工程師top7大數(shù)據(jù)工程師top8洞察分析師top9數(shù)據(jù)架構師top10數(shù)據(jù)科學家
5，詳解大數(shù)據(jù)存儲哪些問題最容易出現(xiàn)
數(shù)