大數(shù)據(jù)數(shù)倉(cāng)項(xiàng)目架構(gòu)云上數(shù)據(jù)倉(cāng)庫(kù)解決方案：離線數(shù)倉(cāng)架構(gòu)離線數(shù)倉(cāng)特點(diǎn)基于serverless的云上數(shù)據(jù)倉(cāng)庫(kù)解決方案架構(gòu)特點(diǎn)實(shí)時(shí)數(shù)倉(cāng)架構(gòu)[圖片上傳失敗...(imageec3d9a)]實(shí)時(shí)數(shù)倉(cāng)架構(gòu)特點(diǎn)秒級(jí)延遲，實(shí)時(shí)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，架構(gòu)簡(jiǎn)單，傳統(tǒng)數(shù)倉(cāng)平滑升級(jí)架構(gòu)特點(diǎn)數(shù)據(jù)倉(cāng)庫(kù)的輸入數(shù)據(jù)源和輸出系統(tǒng)分別是什么。
1、如何架構(gòu)大數(shù)據(jù)系統(tǒng)hadoop大數(shù)據(jù)數(shù)量龐大，格式多樣化。大量數(shù)據(jù)由家庭、制造工廠和辦公場(chǎng)所的各種設(shè)備、互聯(lián)網(wǎng)事務(wù)交易、社交網(wǎng)絡(luò)的活動(dòng)、自動(dòng)化傳感器、移動(dòng)設(shè)備以及科研儀器等生成。它的爆炸式增長(zhǎng)已超出了傳統(tǒng)it基礎(chǔ)架構(gòu)的處理能力，給企業(yè)和社會(huì)帶來(lái)嚴(yán)峻的數(shù)據(jù)管理問(wèn)題。因此必須開發(fā)新的數(shù)據(jù)架構(gòu)，圍繞“數(shù)據(jù)收集、數(shù)據(jù)管理、數(shù)據(jù)分析、知識(shí)形成、智慧行動(dòng)”的全過(guò)程，開發(fā)使用這些數(shù)據(jù)，釋放出更多數(shù)據(jù)的隱藏價(jià)值。
隨著技術(shù)的發(fā)展，人們已經(jīng)有能力制造極其微小的帶有處理功能的傳感器，并開始將這些設(shè)備廣泛的布置于社會(huì)的各個(gè)角落，通過(guò)這些設(shè)備來(lái)對(duì)整個(gè)社會(huì)的運(yùn)轉(zhuǎn)進(jìn)行監(jiān)控。這些設(shè)備會(huì)源源不斷的產(chǎn)生新數(shù)據(jù)，這種數(shù)據(jù)的產(chǎn)生方式是自動(dòng)的。因此在數(shù)據(jù)收集方面，要對(duì)來(lái)自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時(shí)還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。
2、傳統(tǒng)大數(shù)據(jù)存儲(chǔ)的架構(gòu)有哪些?各有什么特點(diǎn)?數(shù)據(jù)源：所有大數(shù)據(jù)架構(gòu)都從源代碼開始。這可以包含來(lái)源于數(shù)據(jù)庫(kù)的數(shù)據(jù)、來(lái)自實(shí)時(shí)源(如物聯(lián)網(wǎng)設(shè)備)的數(shù)據(jù)，及其從應(yīng)用程序(如windows日志)生成的靜態(tài)文件。實(shí)時(shí)消息接收：假如有實(shí)時(shí)源，則需要在架構(gòu)中構(gòu)建一種機(jī)制來(lái)攝入數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)：公司需要存儲(chǔ)將通過(guò)大數(shù)據(jù)架構(gòu)處理的數(shù)據(jù)。一般而言，數(shù)據(jù)將存儲(chǔ)在數(shù)據(jù)湖中，這是一個(gè)可以輕松擴(kuò)展的大型非結(jié)構(gòu)化數(shù)據(jù)庫(kù)。
這是由于能夠應(yīng)用批處理有效地處理大批量數(shù)據(jù)，而實(shí)時(shí)數(shù)據(jù)需要立刻處理才能夠帶來(lái)價(jià)值。批處理涉及到長(zhǎng)期運(yùn)轉(zhuǎn)的作業(yè)，用于篩選、聚合和準(zhǔn)備數(shù)據(jù)開展分析。分析數(shù)據(jù)存儲(chǔ)：準(zhǔn)備好要分析的數(shù)據(jù)后，需要將它們放到一個(gè)位置，便于對(duì)整個(gè)數(shù)據(jù)集開展分析。分析數(shù)據(jù)儲(chǔ)存的必要性在于，公司的全部數(shù)據(jù)都聚集在一個(gè)位置，因而其分析將是全面的，而且針對(duì)分析而非事務(wù)進(jìn)行了優(yōu)化。
3、淺談數(shù)據(jù)倉(cāng)庫(kù)體系(3如上文所說(shuō)，一個(gè)基本的數(shù)據(jù)倉(cāng)庫(kù)分為貼源層，歷史層，數(shù)據(jù)模型層本文主要來(lái)講一下歷史層(his），重點(diǎn)是如下三個(gè)方面1.歷史層的數(shù)據(jù)清洗2.歷史層的數(shù)據(jù)存儲(chǔ)3.歷史層的數(shù)據(jù)校驗(yàn)歷史層，顧名思義，就是保存所有的歷史數(shù)據(jù)，我們知道數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)原則就是數(shù)據(jù)是不變的，就是說(shuō)進(jìn)來(lái)了的數(shù)據(jù)就不做更改，不做刪除，那這個(gè)不做更改，不做刪除，主要體現(xiàn)在的就是歷史層。
一.歷史層的數(shù)據(jù)清洗到了歷史層，其實(shí)對(duì)清洗的要求也不會(huì)很高，如果在ods層做了基本的清洗，那么在歷史層要做的清洗就更少了。歷史層因?yàn)槭潜４鏆v史的數(shù)據(jù)，簡(jiǎn)單的理解就是把ods的數(shù)據(jù)全部都存一遍，歷史層的粒度最好還是保持最細(xì)的粒度，在歷史層來(lái)說(shuō)，相對(duì)更為重要的應(yīng)該是存儲(chǔ)了。
4、請(qǐng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)都用什么建立?數(shù)據(jù)倉(cāng)庫(kù)是為了管理數(shù)據(jù)，主要是思想。具體實(shí)施的工具就是為了解決問(wèn)題而選取了比如異構(gòu)/不同源數(shù)據(jù)的數(shù)據(jù)抽取問(wèn)題，要用到etl，可能會(huì)用工具或者自己寫程序，看情況而定‘?dāng)?shù)據(jù)倉(cāng)庫(kù)的模型建設(shè)，要用到erwin等建模工具；數(shù)據(jù)的存放一般是借助關(guān)系數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)，那么會(huì)用到oracle之類。不過(guò)現(xiàn)在已經(jīng)開始慢慢摒棄傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)了，借助一些nosql平臺(tái)，比如hadoop上的hive之類。
5、數(shù)據(jù)倉(cāng)庫(kù)有哪些?數(shù)據(jù)倉(cāng)庫(kù)，英文名稱為datawarehouse，可簡(jiǎn)寫為dw或dwh。數(shù)據(jù)倉(cāng)庫(kù)，是為企業(yè)所有級(jí)別的決策制定過(guò)程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個(gè)數(shù)據(jù)存儲(chǔ)，出于分析性報(bào)告和決策支持目的而創(chuàng)建。為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時(shí)間、成本、質(zhì)量以及控制。數(shù)據(jù)倉(cāng)庫(kù)是決策支持系統(tǒng)（dss）和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。
6、數(shù)據(jù)庫(kù)的組織結(jié)構(gòu)是什么?關(guān)系型。一般都是這種數(shù)據(jù)庫(kù)系統(tǒng)，當(dāng)然數(shù)據(jù)庫(kù)也是。模式，內(nèi)模式，外模式。看看你要找的這里有沒(méi)有？※數(shù)據(jù)庫(kù)的概念與用途？數(shù)據(jù)庫(kù)的概念什么是數(shù)據(jù)庫(kù)呢?當(dāng)人們從不同的角度來(lái)描述這一概念時(shí)就有不同的定義(當(dāng)然是描述性的)。例如，稱數(shù)據(jù)庫(kù)是一個(gè)記錄保存系統(tǒng)(該定義強(qiáng)調(diào)了數(shù)據(jù)庫(kù)是若干記錄的集合)。又如稱數(shù)據(jù)庫(kù)是人們?yōu)榻鉀Q特定的任務(wù)，以一定的組織方式存儲(chǔ)在一起的相關(guān)的數(shù)據(jù)的集合(該定義側(cè)重于數(shù)據(jù)的組織)。
當(dāng)然，這種說(shuō)法雖然形象，但并不嚴(yán)謹(jǐn)。嚴(yán)格地說(shuō)，數(shù)據(jù)庫(kù)是按照數(shù)據(jù)結(jié)構(gòu)來(lái)組織、存儲(chǔ)和管理數(shù)據(jù)的倉(cāng)庫(kù)。在經(jīng)濟(jì)管理的日常工作中，常常需要把某些相關(guān)的數(shù)據(jù)放進(jìn)這樣倉(cāng)庫(kù)，并根據(jù)管理的需要進(jìn)行相應(yīng)的處理。例如，企業(yè)或事業(yè)單位的人事部門常常要把本單位職工的基本情況(職工號(hào)、姓名、年齡、性別、籍貫、工資、簡(jiǎn)歷等)存放在表20.6.3中，這張表就可以看成是一個(gè)數(shù)據(jù)庫(kù)。
7、數(shù)據(jù)倉(cāng)庫(kù)在數(shù)據(jù)庫(kù)里處于什么層級(jí)簡(jiǎn)而言之，數(shù)據(jù)庫(kù)是面向事務(wù)的設(shè)計(jì)，數(shù)據(jù)倉(cāng)庫(kù)是面向主題設(shè)計(jì)的。數(shù)據(jù)庫(kù)一般存儲(chǔ)在線交易數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的一般是歷史數(shù)據(jù)。數(shù)據(jù)庫(kù)設(shè)計(jì)是盡量避免冗余，一般采用符合范式的規(guī)則來(lái)設(shè)計(jì)，數(shù)據(jù)倉(cāng)庫(kù)在設(shè)計(jì)是有意引入冗余，采用反范式的方式來(lái)設(shè)計(jì)。數(shù)據(jù)庫(kù)是為捕獲數(shù)據(jù)而設(shè)計(jì)，數(shù)據(jù)倉(cāng)庫(kù)是為分析數(shù)據(jù)而設(shè)計(jì)，它的兩個(gè)基本的元素是維表和事實(shí)表。維是看問(wèn)題的角度，比如時(shí)間，部門，維表放的就是這些東西的定義，事實(shí)表里放著要查詢的數(shù)據(jù)，同時(shí)有維的id。
任何技術(shù)都是為應(yīng)用服務(wù)的，結(jié)合應(yīng)用可以很容易地理解。以銀行業(yè)務(wù)為例。數(shù)據(jù)庫(kù)是事務(wù)系統(tǒng)的數(shù)據(jù)平臺(tái)，客戶在銀行做的每筆交易都會(huì)寫入數(shù)據(jù)庫(kù)，被記錄下來(lái)，這里，可以簡(jiǎn)單地理解為用數(shù)據(jù)庫(kù)記帳。數(shù)據(jù)倉(cāng)庫(kù)是分析系統(tǒng)的數(shù)據(jù)平臺(tái)，它從事務(wù)系統(tǒng)獲取數(shù)據(jù)，并做匯總、加工，為決策者提供決策的依據(jù)。比如，某銀行某分行一個(gè)月發(fā)生多少交易，該分行當(dāng)前存款余額是多少。
8、大數(shù)據(jù)數(shù)倉(cāng)項(xiàng)目架構(gòu)云上數(shù)據(jù)倉(cāng)庫(kù)解決方案：離線數(shù)倉(cāng)架構(gòu)離線數(shù)倉(cāng)特點(diǎn)基于serverless的云上數(shù)據(jù)倉(cāng)庫(kù)解決方案架構(gòu)特點(diǎn)實(shí)時(shí)數(shù)倉(cāng)架構(gòu)[圖片上傳失敗...(imageec3d9a)]實(shí)時(shí)數(shù)倉(cāng)架構(gòu)特點(diǎn)秒級(jí)延遲，實(shí)時(shí)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，架構(gòu)簡(jiǎn)單，傳統(tǒng)數(shù)倉(cāng)平滑升級(jí)架構(gòu)特點(diǎn)數(shù)據(jù)倉(cāng)庫(kù)的輸入數(shù)據(jù)源和輸出系統(tǒng)分別是什么？輸入系統(tǒng)：埋點(diǎn)產(chǎn)生的用戶行為數(shù)據(jù)、javaee后臺(tái)產(chǎn)生的業(yè)務(wù)數(shù)據(jù)、個(gè)別公司有爬蟲數(shù)據(jù)。
（一般大廠使用，技術(shù)實(shí)力雄厚，有專業(yè)的運(yùn)維人員）2）cdh：國(guó)內(nèi)使用最多的版本，但cm不開源，但其實(shí)對(duì)中、小公司使用來(lái)說(shuō)沒(méi)有影響（建議使用）10000美金一個(gè)節(jié)點(diǎn)cdp3）hdp：開源，可以進(jìn)行二次開發(fā)，但是沒(méi)有cdh穩(wěn)定，國(guó)內(nèi)使用較少服務(wù)器使用物理機(jī)還是云主機(jī)？1）機(jī)器成本考慮：（1）物理機(jī)：以128g內(nèi)存，20核物理cpu，40線程，8thdd和2tssd硬盤，單臺(tái)報(bào)價(jià)4w出頭，惠普品牌。