1，大數(shù)據(jù)時(shí)代需要學(xué)習(xí)什么技術(shù)2，大數(shù)據(jù)都需要什么技術(shù)3，大數(shù)據(jù)分析的技術(shù)有哪些4，大數(shù)據(jù)專(zhuān)業(yè)主要學(xué)什么5，常用的大數(shù)據(jù)技術(shù)有哪些1，大數(shù)據(jù)時(shí)代需要學(xué)習(xí)什么技術(shù)
大數(shù)據(jù)時(shí)代需要學(xué)習(xí)數(shù)據(jù)的存儲(chǔ)和處理技術(shù)。大數(shù)據(jù)的存儲(chǔ)主要是一些分布式文件系統(tǒng)，現(xiàn)在有好些分布式文件系統(tǒng)。比較火的就是gfs,hdfs前者是谷歌的內(nèi)部使用的，后者是根據(jù)谷歌的相關(guān)論文用java開(kāi)發(fā)的來(lái)源框架。hdfs可以學(xué)習(xí)。然后就是數(shù)據(jù)處理是學(xué)mapreduce，這是大數(shù)據(jù)出的不錯(cuò)的實(shí)現(xiàn)，可以基于hdfs實(shí)現(xiàn)大數(shù)據(jù)處理和優(yōu)化存儲(chǔ)。還有一個(gè)比較好的列式存儲(chǔ)的數(shù)據(jù)庫(kù)hbase,也是為了大數(shù)據(jù)兒生的非關(guān)系型數(shù)據(jù)庫(kù)。然后就是一些輔助工具框架，比如:hive,pig,zookeeper,sqoop,flum。需要一定的java技術(shù)作為基礎(chǔ)支持，前端技術(shù)（html，css，javascript），javaweb與數(shù)據(jù)庫(kù)等都需要掌握的呢，慕課網(wǎng)相關(guān)的課程?？茖W(xué)技術(shù) 。這個(gè)我感覺(jué)首先數(shù)學(xué)的好，善于分析，今年我們老師給我們看了個(gè)視頻，感覺(jué)很好的，好像就叫大數(shù)據(jù)時(shí)代，不知道在優(yōu)酷上有沒(méi)有，如果沒(méi)有可以翻墻找找，現(xiàn)在美國(guó)這邊發(fā)展得很好，翻墻看，能找到的資料更多數(shù)據(jù)挖掘，數(shù)據(jù)結(jié)構(gòu)，還得對(duì)數(shù)據(jù)敏感
2，大數(shù)據(jù)都需要什么技術(shù)
1、數(shù)據(jù)采集：etl工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。2、數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫(kù)、nosql、sql等。3、基礎(chǔ)架構(gòu)：云存儲(chǔ)、分布式文件存儲(chǔ)等。4、數(shù)據(jù)處理：自然語(yǔ)言處理(nlp，naturallanguageprocessing)是研究人與計(jì)算機(jī)交互的語(yǔ)言問(wèn)題的一門(mén)學(xué)科。處理自然語(yǔ)言的關(guān)鍵是要讓計(jì)算機(jī)理解自然語(yǔ)言，所以自然語(yǔ)言處理又叫做自然語(yǔ)言理解(nlu，naturallanguage understanding)，也稱(chēng)為計(jì)算語(yǔ)言學(xué)(computational linguistics。一方面它是語(yǔ)言信息處理的一個(gè)分支，另一方面它是人工智能(ai, artificial intelligence)的核心課題之一。5、統(tǒng)計(jì)分析：假設(shè)檢驗(yàn)、顯著性檢驗(yàn)、差異分析、相關(guān)分析、t檢驗(yàn)、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡(jiǎn)單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測(cè)與殘差分析、嶺回歸、logistic回歸分析、曲線估計(jì)、因子分析、聚類(lèi)分析、主成分分析、因子分析、快速聚類(lèi)法與聚類(lèi)法、判別分析、對(duì)應(yīng)分析、多元對(duì)應(yīng)分析（最優(yōu)尺度分析）、bootstrap技術(shù)等等。6、數(shù)據(jù)挖掘：分類(lèi) （classification）、估計(jì)（estimation）、預(yù)測(cè)（prediction）、相關(guān)性分組或關(guān)聯(lián)規(guī)則（affinity grouping or association rules）、聚類(lèi)（clustering）、描述和可視化、description and visualization）、復(fù)雜數(shù)據(jù)類(lèi)型挖掘(text, web ,圖形圖像，視頻，音頻等)7、模型預(yù)測(cè)：預(yù)測(cè)模型、機(jī)器學(xué)習(xí)、建模仿真。8、結(jié)果呈現(xiàn)：云計(jì)算、標(biāo)簽云、關(guān)系圖等。
3，大數(shù)據(jù)分析的技術(shù)有哪些
簡(jiǎn)單說(shuō)有三大核心技術(shù)：拿數(shù)據(jù)，算數(shù)據(jù)，賣(mài)數(shù)據(jù)。首先做為大數(shù)據(jù)，拿不到大量數(shù)據(jù)都白扯?，F(xiàn)在由于機(jī)器學(xué)習(xí)的興起，以及萬(wàn)金油算法的崛起，導(dǎo)致算法地位下降，數(shù)據(jù)地位提高了。舉個(gè)通俗的例子，就好比由于教育的發(fā)展，導(dǎo)致個(gè)人智力重要性降低，教育背景變重要了，因?yàn)橐话闳税礃?biāo)準(zhǔn)流程讀個(gè)書(shū)，就能比牛頓懂得多了。谷歌就說(shuō)：拿牛逼的數(shù)據(jù)喂給一個(gè)一般的算法，很多情況下好于拿傻傻的數(shù)據(jù)喂給牛逼的算法。而且知不知道弄個(gè)牛逼算法有多困難？一般人連這個(gè)困難度都搞不清楚好不好……拿數(shù)據(jù)很重要，巧婦難為無(wú)米之炊呀！所以為什么好多公司要燒錢(qián)搶入口，搶用戶(hù)，是為了爭(zhēng)奪數(shù)據(jù)源呀！不過(guò)運(yùn)營(yíng)，和產(chǎn)品更關(guān)注這個(gè)，我是程序員，我不管……其次就是算數(shù)據(jù)，如果數(shù)據(jù)拿到直接就有價(jià)值地話(huà)，那也就不需要公司了，政府直接賺外快就好了。蘋(píng)果落地都能看到，人家牛頓能整個(gè)萬(wàn)有引力，我就只能撿來(lái)吃掉，差距呀……所以數(shù)據(jù)在那里擺著，能挖出啥就各憑本事了。算數(shù)據(jù)就需要計(jì)算平臺(tái)了，數(shù)據(jù)怎么存（hdfs, s3, hbase, cassandra），怎么算（hadoop, spark）就靠咱們程序猿了……再次就是賣(mài)得出去才能變現(xiàn)，否則就是搞公益了，比如《疑犯追蹤》里面的李四和大錘他們……見(jiàn)人所未見(jiàn)，預(yù)測(cè)未來(lái)并趨利避害才是智能的終極目標(biāo)以及存在意義，對(duì)吧？這個(gè)得靠大家一塊兒琢磨。其實(shí)我覺(jué)得最后那個(gè)才是“核心技術(shù)”，什么spark，storm，deep-learning，都是第二梯隊(duì)的……當(dāng)然，沒(méi)有強(qiáng)大的算力做支撐，智能應(yīng)該也無(wú)從說(shuō)起吧。nosql，分布式計(jì)算，機(jī)器學(xué)習(xí)，還有新興的實(shí)時(shí)流處理，可能還有別的。數(shù)據(jù)采集，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)清洗，數(shù)據(jù)挖掘，數(shù)據(jù)可視化。數(shù)據(jù)采集有硬件采集，如obd，有軟件采集，如滴滴，淘寶。數(shù)據(jù)存儲(chǔ)就包括nosql，hadoop等等。數(shù)據(jù)清洗包括語(yǔ)議分析，流媒體格式化等等。數(shù)據(jù)挖掘包括關(guān)聯(lián)分析，相似度分析，距離分析，聚類(lèi)分析等等。數(shù)據(jù)可視化就是web的了。
4，大數(shù)據(jù)專(zhuān)業(yè)主要學(xué)什么
mysql數(shù)據(jù)庫(kù) php基礎(chǔ) php進(jìn)階 git+linux laravel python語(yǔ)法基礎(chǔ) 小程序開(kāi)發(fā)linux操作系統(tǒng) linux服務(wù)器（rpm） 企業(yè)網(wǎng)絡(luò)組建（華為） 企業(yè)網(wǎng)絡(luò)高級(jí)應(yīng)用（華為） 信息網(wǎng)絡(luò)布線 華為防火墻技術(shù) 華為云計(jì)算 wlan無(wú)線技術(shù) harmonyos應(yīng)用開(kāi)發(fā)java ：只要了解一些基礎(chǔ)即可，做大數(shù)據(jù)不需要很深的java 技術(shù)，學(xué)java se 就相當(dāng)于學(xué)習(xí)大數(shù)據(jù)。linux：因?yàn)榇髷?shù)據(jù)相關(guān)軟件都是在linux上運(yùn)行的，所以linux要學(xué)習(xí)的扎實(shí)一些，學(xué)好linux對(duì)你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會(huì)有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，能少踩很多坑，學(xué)會(huì)shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。hadoop：這是現(xiàn)在流行的大數(shù)據(jù)處理平臺(tái)幾乎已經(jīng)成為大數(shù)據(jù)的代名詞，所以這個(gè)是必學(xué)的。zookeeper：這是個(gè)萬(wàn)金油，安裝hadoop的ha的時(shí)候就會(huì)用到它，以后的hbase也會(huì)用到它。mysql：我們學(xué)習(xí)完大數(shù)據(jù)的處理了，接下來(lái)學(xué)習(xí)學(xué)習(xí)小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫(kù)，因?yàn)橐粫?huì)裝hive的時(shí)候要用到，mysql需要掌握到什么層度那?你能在linux上把它安裝好，運(yùn)行起來(lái)，會(huì)配置簡(jiǎn)單的權(quán)限，修改root的密碼，創(chuàng)建數(shù)據(jù)庫(kù)。sqoop：這個(gè)是用于把mysql里的數(shù)據(jù)導(dǎo)入到hadoop里的。hive：這個(gè)東西對(duì)于會(huì)sql語(yǔ)法的來(lái)說(shuō)就是神器，它能讓你處理大數(shù)據(jù)變的很簡(jiǎn)單oozie：既然學(xué)會(huì)hive了，我相信你一定需要這個(gè)東西，它可以幫你管理你的hive或者mapreduce、spark腳本，還能檢查你的程序是否執(zhí)行正確。hbase：這是hadoop生態(tài)體系中的nosql數(shù)據(jù)庫(kù)，他的數(shù)據(jù)是按照key和value的形式存儲(chǔ)的并且key是唯一的，所以它能用來(lái)做數(shù)據(jù)的排重，它與mysql相比能存儲(chǔ)的數(shù)據(jù)量大很多。kafka：這是個(gè)比較好用的隊(duì)列工具。spark：它是用來(lái)彌補(bǔ)基于mapreduce處理數(shù)據(jù)速度上的缺點(diǎn)
5，常用的大數(shù)據(jù)技術(shù)有哪些
一、大數(shù)據(jù)基礎(chǔ)階段大數(shù)據(jù)基礎(chǔ)階段需掌握的技術(shù)有：linux、docker、kvm、mysql基礎(chǔ)、oracle基礎(chǔ)、mongodb、redis以及hadoopmapreduce hdfs yarn等。二、大數(shù)據(jù)存儲(chǔ)階段大數(shù)據(jù)存儲(chǔ)階段需掌握的技術(shù)有：hbase、hive、sqoop等。三、大數(shù)據(jù)架構(gòu)設(shè)計(jì)階段大數(shù)據(jù)架構(gòu)設(shè)計(jì)階段需掌握的技術(shù)有：flume分布式、zookeeper、kafka等。四、大數(shù)據(jù)實(shí)時(shí)計(jì)算階段大數(shù)據(jù)實(shí)時(shí)計(jì)算階段需掌握的技術(shù)有：mahout、spark、storm。五、大數(shù)據(jù)數(shù)據(jù)采集階段大數(shù)據(jù)數(shù)據(jù)采集階段需掌握的技術(shù)有：python、scala。六、大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)階段大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)階段需掌握的技術(shù)有：實(shí)操企業(yè)大數(shù)據(jù)處理業(yè)務(wù)場(chǎng)景，分析需求、解決方案實(shí)施，綜合技術(shù)實(shí)戰(zhàn)應(yīng)用。大數(shù)據(jù)技術(shù)包括數(shù)據(jù)收集、數(shù)據(jù)存取、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、模型預(yù)測(cè)、結(jié)果呈現(xiàn)。1、數(shù)據(jù)收集：在大數(shù)據(jù)的生命周期中，數(shù)據(jù)采集處于第一個(gè)環(huán)節(jié)。根據(jù)mapreduce產(chǎn)生數(shù)據(jù)的應(yīng)用系統(tǒng)分類(lèi)，大數(shù)據(jù)的采集主要有4種來(lái)源：管理信息系統(tǒng)、web信息系統(tǒng)、物理信息系統(tǒng)、科學(xué)實(shí)驗(yàn)系統(tǒng)。2、數(shù)據(jù)存?。捍髷?shù)據(jù)的存去采用不同的技術(shù)路線，大致可以分為3類(lèi)。第1類(lèi)主要面對(duì)的是大規(guī)模的結(jié)構(gòu)化數(shù)據(jù)。第2類(lèi)主要面對(duì)的是半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。第3類(lèi)面對(duì)的是結(jié)構(gòu)化和非結(jié)構(gòu)化混合的大數(shù)據(jù)，3、基礎(chǔ)架構(gòu)：云存儲(chǔ)、分布式文件存儲(chǔ)等。4、數(shù)據(jù)處理：對(duì)于采集到的不同的數(shù)據(jù)集，可能存在不同的結(jié)構(gòu)和模式，如文件、xml 樹(shù)、關(guān)系表等，表現(xiàn)為數(shù)據(jù)的異構(gòu)性。對(duì)多個(gè)異構(gòu)的數(shù)據(jù)集，需要做進(jìn)一步集成處理或整合處理，將來(lái)自不同數(shù)據(jù)集的數(shù)據(jù)收集、整理、清洗、轉(zhuǎn)換后，生成到一個(gè)新的數(shù)據(jù)集，為后續(xù)查詢(xún)和分析處理提供統(tǒng)一的數(shù)據(jù)視圖。5、統(tǒng)計(jì)分析：假設(shè)檢驗(yàn)、顯著性檢驗(yàn)、差異分析、相關(guān)分析、t檢驗(yàn)、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡(jiǎn)單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測(cè)與殘差分析、嶺回歸、logistic回歸分析、曲線估計(jì)、因子分析、聚類(lèi)分析、主成分分析、因子分析、快速聚類(lèi)法與聚類(lèi)法、判別分析、對(duì)應(yīng)分析、多元對(duì)應(yīng)分析(最優(yōu)尺度分析)、bootstrap技術(shù)等等。6、數(shù)據(jù)挖掘