大數據:未來世界的新能源

大數據(Big Data),指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。通常要配合存儲、云計算等分布式收集、處理技術。

大數據的企業應用場景就是介紹大數據在行業的應用,體現大數據商業價值。比如:醫療行業用大量的數據分析,幫助病人對抗疾??;零售行業或電商可以根據數據的分析提前調整庫存或物流點;甚至警察可以根據大數據提前預測犯罪發生。

大數據:未來世界的新能源

2016年阿里巴巴云棲大會上,馬云表示,大數據將和石油、煤炭等一樣,成為未來最重要的能源,人類第一次自己創造了一種能源。衣服別人穿過,你再穿就不值錢,但是數據別人用過,你再繼續用會更值錢,數據是一種越用越值錢的東西。

大數據時代將會給人類社會帶來巨大變化,它是一個好的工具,就像計算機一樣,幫助人們提升社會生產效率,幫助政府和企業進行科學決策,降低決策風險,加快進入智慧社會。

行業平均收入

在美國,大數據分析師平均每年薪酬高達17.5萬美元,而國內頂尖互聯網公司,大數據分析師的薪酬可能要比同一個級別的其他職位高20%至30%,且頗受企業重視。

目前北京數據分析師平均薪酬為9K以上,應屆畢業生薪酬也要比其它職位高出一些。

課程大綱

甄選行業熱門技術,迭代更新課程

第一階段 (Hadoop離線計算)

Linux

VMware安裝及使用、Linux基本命令、shell腳本編寫

Hadoop技術

Hadoop生態區介紹、分布式集群搭建、工作原理介紹

HDFS文件系統

HDFS設計理念、優缺點、Java接口操作HDFS、HDFS可用性(HA)、RPC通信原理、HDFS讀寫源碼分析

MapReduce計算模型

MR任務執行過程、理解Yarn模型、數據輸入輸出處理、Sorted排序、Partitioner分區、Combiner合并

分布式集群

介紹Zookeeper、理解節點,角色,觀察,選舉概念、安裝、集群管理

階段目的:通過學習能夠收集Web日志,對日志進行離線統計分析

第二階段(離線分析)

Hive數據倉庫

Hive安裝及mysql結合、常見操作命令、 內布表,外部表,分區表,桶表的應用、數據的導入和導出

HBase分布式數據庫

Hbase簡介、Hbase集群環境的搭建、理解Hbase體系架構、Hbase Shell命令、JavaAPI

數據遷移工具Sqoop

配置Sqoop、使用Sqoop把數據從mysql導入到HDFS中、使用Sqoop把數據從HDFS導出到mysql中

Pig數據分析平臺

Pig概述、SQL-LIKB語言Pig Latin、安裝Pig、Pig應用

階段目的:通過項目練習熟悉海量數據的存儲方式及數據遷移

第三階段(實時計算)

Storm

Storm實時數據處理平臺安裝部署、Storm常用操作命令、Storm編程接口、Storm編程實戰

階段目的:通過項目練習掌握流式計算機框架應用

第四階段(分布式進階)

Spark

Spark簡介、Spark集群搭建、Spark結構設計與編程、SparkSQL原理及實踐、SparkStreaming、MLLib、Graphx

階段目的:通過項目練習掌握Spark在實際環境中如何應用

第五階段(項目實戰)

項目練習

大型Web項目日志分析

階段目的:通過最終實戰項目將所學技術鞏固,提高就業能力

實戰項目

真實項目練習,提高就業實戰能力

work

網站日志統計分析平臺

通過分析每日Web Server所記錄的用戶訪問日志,提取訪問用戶的數量、規模、訪問網站的規律等數據,幫助企業實現機器數據價值的洞察, 助力運維,提升運營,實現大數據戰略的快速落地。

  • 評價網站更新質量的重要指標
  • 低成本收集運營過程中可量化的數據
  • 利用互聯網企業優勢提高競爭力

學習生活

提供優質教學環境、并定期組織課外拓展,學員分享、企業參觀、雙選會等活動

常見問題

Q:我沒有計算這方面機基礎,能學會么?

A:建議可以學習軟件測試,學習門檻較低,非計算機專業也更易入門,但需要一定的邏輯思維能力。當然,具有理工科背景或掌握一定基礎的同學會有學習優勢。入學的時候,我們會有相關的測評考試,也會有職業規劃老師根據測評結果提供適合你的課程建議。

Q:每個學生都能100%保證就業嗎?

A:我們并不是在包就業,我們的課程的實戰性很強,凡是在浩泰思特畢業的學生,終身免費推薦就業,目前還沒有無法就業的學員。

Q:現在企業會接受大專學歷嗎?

A:對于一些文職職位來說,學歷是個硬性要求;但對于技術崗位來說,企業更看重的個人的能力,學歷不是硬性要求。我們一個上市合作企業的部門總監說過,我更傾向于技術好的面試者,我們很多員工都是大專生,他們好學努力,而且更踏實。

Q:從事軟件測試會不會不好轉型?

A:其實是很好轉型的。第一種走技術路線,成長為高級軟件測試工程師,再向上發展可以成為軟件測試架構設計師。第二種就是向管理方向發展,從測試工程師到組長(Lead),再到項目經理(Manager),到更高的管理職位。

Q:這些技術會不會很快被淘汰?比如軟件測試?

A:目前企業對高質量的測試工程師需求量越來越大越大,過去國內對測試工程師的職業重視程度不夠,但現在公司之間的競爭都集中在軟件質量方面,所以公司對軟件測試人員的需求量也越來越大,軟件只要不被淘汰,這些技術就不會。

Q:參加培訓和直接就業有區別嗎?

A:是有區別的。培訓的目的就是為了參加工作后能夠立刻上手。而直接就業的話需要時間去學習。但目前的企業普遍都不愿意花時間和人力成本去培養一個小白,他們寧愿多花一點錢去雇一個是有實際經驗的人。

Q:我想考研(本),不想參加培訓。

A:其實考研與參加培訓是不沖突的,考研是提升學歷提高就業競爭力,參加培訓是增加技術競爭力。在這個社會中,能力要比學歷更重要。我們的學生有好多的本科生和研究生。更建議有實際工作經驗后再提高學歷。

Q:IT行業男生居多,我是女生就業前景怎么樣?

A:很多人可能會認為IT是男性主導的行業,其實這是一個誤區。就軟件測試來說,女性更為適合。女性表達力和親和力強,適合統籌管理工作。有很多大型企業就是想招女生找不到呢,所以進入IT行業,女生其實要比男生吃香的。

Q:聽同學說前端更簡單,是不是真的?

A:測試并沒有Web前端代碼多,Web前端也是開發的一部分,只是偏于前端開發,但絕不是你想的那種不用寫代碼或者很少的代碼可以干很多的事情,目前還不存在這樣的技術。測試的邏輯思維很重要,善于使用工具配合工作。

Q:我想轉行,有過幾年的工作經驗了,一般就業薪資能達到多少?

A:對于有工作經驗,本身就是一種優勢,因為對于企業業務流程等比較熟悉。一般沒有工作經驗的應屆畢業生都能在6000以上,近期就業的學員中,學習成績好的薪資已經達到13000元了,有就業經驗會更加有競爭力。


邁出第一步

開啟你的IT成長之路

聯系客服 聯系電話
狠狠的爱