1，什么是大數(shù)據(jù)開發(fā)2，大數(shù)據(jù)如何處理數(shù)據(jù)3，如何進(jìn)行大數(shù)據(jù)分析及處理4，大數(shù)據(jù)都有哪些就業(yè)方向5，什么是大數(shù)據(jù)6，大數(shù)據(jù)以后能干什么1，什么是大數(shù)據(jù)開發(fā)
大數(shù)據(jù)開發(fā)其實(shí)分兩種，第一類是編寫一些hadoop、spark的應(yīng)用程序，第二類是對大數(shù)據(jù)處理系統(tǒng)本身進(jìn)行開發(fā)。第一類工作感覺更適用于data analyst這種職位吧，而且現(xiàn)在hive spark-sql這種系統(tǒng)也提供sql的接口。第二類工作的話通常才大公司里才有，一般他們都會搞自己的系統(tǒng)或者再對開源的做些二次開發(fā)。這種工作的話對理論和實(shí)踐要求的都更深一些，也更有技術(shù)含量。
2，大數(shù)據(jù)如何處理數(shù)據(jù)
大數(shù)據(jù)處理數(shù)據(jù)的方法：1、通過程序?qū)Σ杉降脑紨?shù)據(jù)進(jìn)行預(yù)處理，比如清洗，格式整理，濾除臟數(shù)據(jù)等，并梳理成點(diǎn)擊流行模型數(shù)據(jù)。2、將預(yù)處理之后的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫中相應(yīng)的庫和表中。根據(jù)開發(fā)elt分析語句，得出各種統(tǒng)計結(jié)果。3、將分析所得的數(shù)據(jù)進(jìn)行數(shù)據(jù)可視化，一般通過圖標(biāo)進(jìn)行展示。
3，如何進(jìn)行大數(shù)據(jù)分析及處理
這個問題有點(diǎn)大哦這個可不是一兩句話可以講清楚明白的數(shù)據(jù)分析本身就已經(jīng)挺復(fù)雜的了，要說大數(shù)據(jù)分析，那就更復(fù)雜了雖說只是多了一個“大”字，但是意義已經(jīng)不同了大數(shù)據(jù)是一個非常系統(tǒng)的東西，大數(shù)據(jù)包含了很多的非機(jī)構(gòu)化的數(shù)據(jù)比如說，圖片、聲音、視頻，都屬于大數(shù)據(jù)的原始數(shù)據(jù)，這些都要進(jìn)行分析的那就涉及到了非機(jī)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理工作，是非常系統(tǒng)并負(fù)責(zé)的過程所以說，大數(shù)據(jù)分析和處理，是要經(jīng)過學(xué)習(xí)，掌握了方法才能做到的
4，大數(shù)據(jù)都有哪些就業(yè)方向
主要有二個方向：一是大數(shù)據(jù)維護(hù)、研發(fā)、架構(gòu)工程師方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)工程師、大數(shù)據(jù)維護(hù)工程師、大數(shù)據(jù)研發(fā)工程師、大數(shù)據(jù)架構(gòu)師等；二是大數(shù)據(jù)挖掘、分析方向；所涉及的職業(yè)崗位為：大數(shù)據(jù)分析師、大數(shù)據(jù)高級工程師、大數(shù)據(jù)分析師專家、大數(shù)據(jù)挖掘師、大數(shù)據(jù)算法師等大數(shù)據(jù)的就業(yè)大致有三大方向：一、大數(shù)據(jù)開發(fā)，顧名思義，主要是對大數(shù)據(jù)本身進(jìn)行的開發(fā)工作；二、大數(shù)據(jù)系統(tǒng)研發(fā)，或者說是大數(shù)據(jù)平臺開發(fā)，一般只有大型企業(yè)才會有此類崗位，主要是為公司內(nèi)部做大數(shù)據(jù)平臺的開發(fā)；三、大數(shù)據(jù)分析，這也很好理解大數(shù)據(jù)的就業(yè)大致有三大方向：一、大數(shù)據(jù)開發(fā)，顧名思義，主要是對大數(shù)據(jù)本身進(jìn)行的開發(fā)工作；二、大數(shù)據(jù)系統(tǒng)研發(fā)，或者說是大數(shù)據(jù)平臺開發(fā)，一般只有大型企業(yè)才會有此類崗位，主要是為公司內(nèi)部做大數(shù)據(jù)平臺的開發(fā)；三、大數(shù)據(jù)分析，這也很好理解大數(shù)據(jù)的就業(yè)大致有三大方向：一、大數(shù)據(jù)開發(fā)，顧名思義，主要是對大數(shù)據(jù)本身進(jìn)行的開發(fā)工作；二、大數(shù)據(jù)系統(tǒng)研發(fā)，或者說是大數(shù)據(jù)平臺開發(fā)，一般只有大型企業(yè)才會有此類崗位，主要是為公司內(nèi)部做大數(shù)據(jù)平臺的開發(fā)；三、大數(shù)據(jù)分析，這也很好理解大數(shù)據(jù)（big data），it行業(yè)術(shù)語，是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 [1] 中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5v特點(diǎn)（ibm提出）：volume（大量）、velocity（高速）、variety（多樣）、value（低價值密度）、veracity（真實(shí)性）。
5，什么是大數(shù)據(jù)
大數(shù)據(jù)指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。什么是大數(shù)據(jù)大數(shù)據(jù)指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)歷史和當(dāng)前考慮因素雖然術(shù)語“大數(shù)據(jù)”相對較新，但收集和存儲大量信息以進(jìn)行最終分析的行為已經(jīng)很久了。這個概念在 21 世紀(jì)初獲得了動力，當(dāng)時行業(yè)分析師 doug laney 將現(xiàn)在主流的大數(shù)據(jù)定義表達(dá)為三個 v：1.卷，組織從各種來源收集數(shù)據(jù)，包括業(yè)務(wù)交易，社交媒體和來自傳感器或機(jī)器到機(jī)器數(shù)據(jù)的信息。在過去，存儲它將是一個問題 – 但新技術(shù)（如 hadoop）減輕了負(fù)擔(dān)。2.速度，數(shù)據(jù)以前所未有的速度流入，必須及時處理。rfid 標(biāo)簽，傳感器和智能電表正在推動近乎實(shí)時處理數(shù)據(jù)的需求。3.品種，數(shù)據(jù)有各種格式 – 從傳統(tǒng)數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)字?jǐn)?shù)據(jù)到非結(jié)構(gòu)化文本文檔，電子郵件，視頻，音頻，股票報價數(shù)據(jù)和金融交易。在 sas，我們在大數(shù)據(jù)方面考慮兩個額外的維度：1.變化性，除了速度和數(shù)據(jù)種類的增加之外，數(shù)據(jù)流還可能與周期性峰值高度不一致。社交媒體中有什么趨勢嗎？每日，季節(jié)性和事件觸發(fā)的峰值數(shù)據(jù)負(fù)載可能難以管理。非結(jié)構(gòu)化數(shù)據(jù)更是如此。2.復(fù)雜，今天的數(shù)據(jù)來自多個來源，這使得難以跨系統(tǒng)鏈接，匹配，清理和轉(zhuǎn)換數(shù)據(jù)。但是，有必要連接和關(guān)聯(lián)關(guān)系，層次結(jié)構(gòu)和多個數(shù)據(jù)鏈接，否則您的數(shù)據(jù)可能會迅速失控。為什么大數(shù)據(jù)很重要？大數(shù)據(jù)的重要性不在于您擁有多少數(shù)據(jù)，而在于您使用它做了多少。您可以從任何來源獲取數(shù)據(jù)并進(jìn)行分析，以找到能夠降低成本，減少時間，新產(chǎn)品開發(fā)和優(yōu)化產(chǎn)品，以及智能決策的答案。將大數(shù)據(jù)與高性能分析結(jié)合使用時，您可以完成與業(yè)務(wù)相關(guān)的任務(wù)，例如：1.近乎實(shí)時地確定故障，問題和缺陷的根本原因；2.根據(jù)客戶的購買習(xí)慣在銷售點(diǎn)生成優(yōu)惠券；3.在幾分鐘內(nèi)重新計算整個風(fēng)險組合；4.在欺詐行為影響您的組織之前檢測它。5g大數(shù)據(jù)專業(yè)。5g時代已經(jīng)來臨，信息傳播的速度更快，在這樣的時代環(huán)境下，傳播行業(yè)無疑是最好的發(fā)展行業(yè)，也最適合女生，因?yàn)橄啾扔谄渌嬎銠C(jī)專業(yè)，新媒體技術(shù)專業(yè)比較創(chuàng)意和策劃，對于女生來說，這些都是強(qiáng)項(xiàng)。關(guān)于就業(yè)，畢業(yè)生可從事新聞出版行業(yè)書刊、雜志、報紙的數(shù)字化出版與傳播工作或者是從事新媒體、網(wǎng)絡(luò)與電子商務(wù)企業(yè)信息的采集、組織與印制工作等，這些工作崗位也是非常適合女生的。
6，大數(shù)據(jù)以后能干什么
目前在國內(nèi)來說，大數(shù)據(jù)行業(yè)大概有以下幾種崗位：數(shù)據(jù)分析師，數(shù)據(jù)架構(gòu)師，數(shù)據(jù)挖據(jù)工程師，數(shù)據(jù)算法工程師，數(shù)據(jù)產(chǎn)品經(jīng)理。接下來為大家詳細(xì)介紹一下各崗位的工作內(nèi)容。1. 數(shù)據(jù)分析師。數(shù)據(jù)分析師 是數(shù)據(jù)師的一種，指的是不同行業(yè)中，專門從事行業(yè)數(shù)據(jù)搜集、整理、分析，并依據(jù)數(shù)據(jù)做出行業(yè)研究、評估和預(yù)測的專業(yè)人員。在工作中通過運(yùn)用工具，提取、分析、呈現(xiàn)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的商業(yè)意義。作為一名數(shù)據(jù)分析師、至少需要熟練spss、statistic、eviews、sas、大數(shù)據(jù)魔鏡等數(shù)據(jù)分析軟件中的一門，至少能用acess等進(jìn)行數(shù)據(jù)庫開發(fā)，至少掌握一門數(shù)學(xué)軟件如matalab、mathmatics進(jìn)行新模型的構(gòu)建，至少掌握一門編程語言?？傊粋€優(yōu)秀的數(shù)據(jù)分析師，應(yīng)該業(yè)務(wù)、管理、分析、工具、設(shè)計都不落下。2. 數(shù)據(jù)架構(gòu)師。數(shù)據(jù)架構(gòu)師是負(fù)責(zé)平臺的整體數(shù)據(jù)架構(gòu)設(shè)計，完成從業(yè)務(wù)模型到數(shù)據(jù)模型的設(shè)計工作 ，根據(jù)業(yè)務(wù)功能、業(yè)務(wù)模型，進(jìn)行數(shù)據(jù)庫建模設(shè)計，完成各種面向業(yè)務(wù)目標(biāo)的數(shù)據(jù)分析模型的定義和應(yīng)用開發(fā)，平臺數(shù)據(jù)提取、數(shù)據(jù)挖掘及數(shù)據(jù)分析。從事數(shù)據(jù)架構(gòu)師這個職位，需要具備較強(qiáng)的業(yè)務(wù)理解和業(yè)務(wù)抽象能力，具備大容量事物及交易類互聯(lián)網(wǎng)平臺的數(shù)據(jù)庫模型設(shè)計能力，對調(diào)度系統(tǒng)，元數(shù)據(jù)系統(tǒng)有非常深刻的認(rèn)識和理解，熟悉常用的分析、統(tǒng)計、建模方法，熟悉數(shù)據(jù)倉庫相關(guān)技術(shù)，如 etl、報表開發(fā)，熟悉hadoop，hive等系統(tǒng)并有過實(shí)戰(zhàn)經(jīng)驗(yàn)。3. 數(shù)據(jù)挖掘工程師。一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中知識的工程技術(shù)專業(yè)人員。這些知識可用使企業(yè)決策智能化，自動化，從而使企業(yè)提高工作效率，減少錯誤決策的可能性，以在激烈的競爭中處于不敗之地。成為數(shù)據(jù)挖據(jù)工程師需要具備深厚的統(tǒng)計學(xué)、數(shù)學(xué)、數(shù)據(jù)挖掘理論基礎(chǔ)和相關(guān)項(xiàng)目經(jīng)驗(yàn)，熟悉r、sas、spss等統(tǒng)計分析軟件之一，參與過完整的數(shù)據(jù)采集.整理.分析和建模工作。.具有海量數(shù)據(jù)下機(jī)器學(xué)習(xí)和算法實(shí)施相關(guān)經(jīng)驗(yàn)，熟悉hadoop，hive，map-reduce等。4. 數(shù)據(jù)算法工程師。在企業(yè)中負(fù)責(zé)大數(shù)據(jù)產(chǎn)品數(shù)據(jù)挖掘算法與模型部分的設(shè)計，將業(yè)務(wù)場景與模型算法進(jìn)行融合等；深入研究數(shù)據(jù)挖掘模型，參與數(shù)據(jù)挖掘模型的構(gòu)建、維護(hù)、部署和評估，支持產(chǎn)品研發(fā)團(tuán)隊(duì)模型算法構(gòu)建，整合等；制定數(shù)據(jù)建模、數(shù)據(jù)處理和數(shù)據(jù)安全等架構(gòu)規(guī)范并落地實(shí)施。需要具備的知識有：扎實(shí)的數(shù)據(jù)挖掘基礎(chǔ)知識，精通機(jī)器學(xué)習(xí)、數(shù)學(xué)統(tǒng)計常用算法；熟悉大數(shù)據(jù)生態(tài)，掌握常見分布式計算框架和技術(shù)原理，如hadoop、mapreduce、yarn、storm、spark等；熟悉linux操作系統(tǒng)和shell編程，至少熟悉scala/java/python/c++/r等語言中的一種編程；熟悉大規(guī)模并行計算的基本原理并具有實(shí)現(xiàn)并行計算算法的基本能力。5. 數(shù)據(jù)產(chǎn)品經(jīng)理。數(shù)據(jù)平臺建設(shè)及維護(hù)，客戶端數(shù)據(jù)的分析，進(jìn)行數(shù)據(jù)統(tǒng)計協(xié)助，數(shù)據(jù)化運(yùn)營整理、提煉已有的數(shù)據(jù)報告，發(fā)現(xiàn)數(shù)據(jù)變化，進(jìn)行深度專題分析，形成結(jié)論，撰寫報告；負(fù)責(zé)公司數(shù)據(jù)產(chǎn)品的設(shè)計及開發(fā)實(shí)施，并保證業(yè)務(wù)目標(biāo)的實(shí)現(xiàn)；進(jìn)行數(shù)據(jù)產(chǎn)品開發(fā)。需要具備的技能有：有數(shù)據(jù)分析/數(shù)據(jù)挖掘/用戶行為研究的項(xiàng)目實(shí)踐經(jīng)驗(yàn) ；有扎實(shí)的分析理論基礎(chǔ)，精通1種以上統(tǒng)計分析工具軟件，如spss、sas，熟練使用excel、sql等工具； 熟悉sql/hql語句，工作經(jīng)歷有sql server/my sql等的優(yōu)先 ；熟練操作excel，ppt等辦公軟件,熟練使用spss、sas等統(tǒng)計分析軟件其中之一 ；熟悉hadoop集群架構(gòu)、有bi實(shí)踐經(jīng)驗(yàn)、參與過流式計算相關(guān)經(jīng)驗(yàn)者加分 ；熟悉客戶端產(chǎn)品的產(chǎn)品設(shè)計、開發(fā)流程 。