老板：我是一家手機(jī)公司的老板，今天要向去董事局匯報(bào)能力建設，我要預(yù)備一份介紹過(guò)去三年的用戶增長(zhǎng)關註、用戶留存、用戶活躍度設計標準、手機(jī)里面每個(gè)APP使用率等情況的報(bào)表開展，假如下面沒(méi)我下面沒(méi)有BI，那我肯定就蒙逼了發揮重要帶動作用。意向。

BI：我是一名非技術(shù)BI，我天天看競(jìng)品的分析報(bào)告至關重要，看雙十一銷量發展空間，看各種評(píng)論，知道自己的產(chǎn)品有哪些短板有哪些優(yōu)點(diǎn)有所應，我分析南北地域差異足了準備，國(guó)內(nèi)外客戶喜好，總之我在手機(jī)領(lǐng)域有著很強(qiáng)的行業(yè)解讀能力和數(shù)據(jù)解讀能力著力提升，我可以畫出非常漂亮的圖表和PPT深刻內涵。

今天老板讓我出一份報(bào)表，我還要去刷臉找ETL工程師幫我跑出這次報(bào)告的數(shù)據(jù)融合，基于這份數(shù)據(jù)我要給出一定的解讀深入闡釋，為啥這個(gè)月手機(jī)賣得不如上個(gè)月，為啥用戶流失越來(lái)越嚴(yán)重等等都是我要去做的完成的事情。

ETL工程師:我是食物鏈很底層的苦逼ETL工程師物聯與互聯，我會(huì)寫shell、我會(huì)搭hadoop/hive/hbase改造層面、會(huì)寫超復(fù)雜邏輯的sql供給，今天那個(gè)不會(huì)自己計(jì)算數(shù)據(jù)的BI又讓我跑幾個(gè)數(shù)據(jù)，我本想讓她提需求流程的經驗分享，但她說(shuō)這是老板要的(運(yùn)營(yíng)慣用的殺手锏＝鉀Q方案。趨勢。?貢獻法治，要加急處理設備製造。

我只能放下手頭的活兒給她跑數(shù)據(jù)了，花了半個(gè)小時(shí)把數(shù)據(jù)跑好給她攻堅克難，希望能就這么交差吧管理。

假如你以為我天天就做這點(diǎn)事那你就錯(cuò)了，我平時(shí)的工作可不僅僅就是完成上面交給我的任務(wù)哦雙向互動，我還負(fù)責(zé)數(shù)據(jù)ETL過(guò)程效率和安、數(shù)據(jù)建模、定時(shí)任務(wù)的分配品牌、甚至有時(shí)Hadoop集群的維護(hù)等等都得我去做深入開展，每件事單獨(dú)拿出來(lái)都可以拿出來(lái)寫本書。

就拿ETL過(guò)程來(lái)說(shuō)吧應用，你要把原始數(shù)據(jù)從各種數(shù)據(jù)庫(kù)建議、各種服務(wù)器的不同業(yè)務(wù)日志歸一化到同一類格式，要約定好分隔符相貫通，然后導(dǎo)入到分布式文件系統(tǒng)HDFS不斷發展，甚至你還要和業(yè)務(wù)系統(tǒng)定義數(shù)據(jù)格式出規(guī)范。

數(shù)據(jù)收集完自動化方案，你還得出中間表緊密協作，數(shù)據(jù)過(guò)濾，格式統(tǒng)一線上線下，ID統(tǒng)一發揮重要作用，維度統(tǒng)一，通過(guò)不同的數(shù)據(jù)現(xiàn)象進(jìn)行數(shù)據(jù)數據顯示，完了高質量，你就得出一些日?qǐng)?bào)周報(bào)之類的數(shù)據(jù)了，這時(shí)候你要按照需求把數(shù)據(jù)組織成一定的格式然后到Mysql記得牢、或者HBASE等等智能設備。

總之你就是需要把數(shù)據(jù)各種收集、各種處理蓬勃發展、然后各種導(dǎo)入導(dǎo)出，是不是很有意思積極回應？

不過(guò)這些數(shù)據(jù)倉(cāng)庫(kù)都非常初級(jí)重要性，其中ETL工程師可發(fā)揮的空間太多了

1、正常情況下多種場景，老板—>BI—>ETL出一份報(bào)告多元化服務體系，這中間能否BI直接去計(jì)算數(shù)據(jù)規劃？sql太復(fù)雜，那么可不可以一切數(shù)據(jù)標(biāo)簽化深度，BI甚至老板要什么就選什么帶動擴大？

2、ETL工程師可以把數(shù)據(jù)收集自動(dòng)化開拓創新、可以規(guī)范業(yè)務(wù)日志格式持續發展、可以將一切都配置化，但是這些都是基于N+1的促進善治，也就是說(shuō)今天的發(fā)生了什么一定要到明天才能看到擴大，那么有沒(méi)有一個(gè)系統(tǒng)能把數(shù)據(jù)分析做到實(shí)時(shí)或者準(zhǔn)實(shí)時(shí)？參考雙十一大屏道路，馬總要是到12號(hào)才能知道成交了多少筆不劈了那幫做數(shù)據(jù)的才怪規模設備。

3、目前絕大部分分析系統(tǒng)都基于離線計(jì)算（HADOOP/ODPS）指導，那這里有個(gè)問(wèn)題了競爭力，運(yùn)營(yíng)或BI想看個(gè)數(shù)據(jù)還得你離線慢騰騰跑完才能看到，那么有沒(méi)有一個(gè)系統(tǒng)可以支持你再大的數(shù)據(jù)量進一步完善，再?gòu)?fù)雜的邏輯集聚，毫秒出數(shù)據(jù)？

我們有提到的還有算法工程師關規定、大數(shù)據(jù)運(yùn)維工程師等等發展基礎。

數(shù)據(jù)倉(cāng)庫(kù)的概念很廣很大，但在大數(shù)據(jù)應(yīng)用面前也不值一提建強保護。

假如把數(shù)據(jù)價(jià)值分層同期，這里分層的辦法很多，我只列舉一種方法使命責任，有人分過(guò)5層

第一層:為老板提供決策支持效果，例如傳統(tǒng)的財(cái)務(wù)報(bào)表

第二層:為運(yùn)營(yíng)提供決策支持，例如數(shù)據(jù)化非常徹底的淘寶運(yùn)營(yíng)們

第三層:為產(chǎn)品提供支持合規意識，例如有產(chǎn)品經(jīng)理們會(huì)拿著報(bào)表天天看研究自己的某一個(gè)按鈕擺放位置對(duì)不對(duì)

第四層：數(shù)據(jù)用于生產(chǎn)密度增加，比如直接對(duì)接廣告系統(tǒng)產(chǎn)生收益，比如直接對(duì)接推薦系統(tǒng)為用戶推薦商品創新內容，實(shí)現(xiàn)千人千面機遇與挑戰，再比如利用手機(jī)APP直接給不同用戶push消息

第五層：大數(shù)據(jù)交換，數(shù)據(jù)產(chǎn)生直接收益

大部分公司能做到前兩個(gè)層次就已經(jīng)很不錯(cuò)了善於監督，假如能做到第三層集成技術，就已經(jīng)很牛逼，做到第四第五層次，國(guó)內(nèi)互聯(lián)網(wǎng)公司不超過(guò)3家適應能力，阿里和騰訊可以做到更優美，大數(shù)據(jù)應(yīng)用太大了，不知從何說(shuō)起防控，以后聊吧成效與經驗。