課程描述INTRODUCTION
大數據課程:Hadoop應用與開發(fā)
日程安排SCHEDULE
課程大綱Syllabus
課程收益:
1、使參加學員全面掌握物大數據相關技術及教學方法;幫助各高校在大數據專業(yè)課程體系建設提供全方位、強有力的教學資源和技術支持。
2、全面掌握Hadoop的架構原理和使用場景,并通過貫穿課程的項目進行實戰(zhàn)鍛煉,從而熟練使用Hadoop進行MapRedce程序開發(fā)。課程還涵蓋了分布式計算領域的常用算法介紹,幫助學員為企業(yè)在利用大數據方面體現(xiàn)自身價值。
3、深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識,可以獨立規(guī)劃及部署生產環(huán)境的Hadoop集群,掌握Hadoop基本運維思路和方法,對Hadoop集群進行管理和優(yōu)化?,F(xiàn)如今大數據、云計算、移動互聯(lián)網處于高速發(fā)展階段,互聯(lián)網每天都會產生大量的數據,這些海量的數據資源對我們生活產生了影響,對企業(yè)的經營決策進行指導。在這種形勢下,大數據已經被視為一種財富、一種資產、一種可以被衡量和計算的價值,大數據將成為不可或缺的戰(zhàn)略資源。新技術的發(fā)展必然導致大批專業(yè)人才的稀缺,對于高校而言,擁有專業(yè)的大數據師資隊伍將成為高教產業(yè)發(fā)展的重要環(huán)節(jié)。而在這個過程中,中國軟件產業(yè)培訓網憑借多年的大數據企業(yè)培訓、技術咨詢、專業(yè)師資等優(yōu)勢資源,和各大院校一起共同構建大數據專業(yè)人才培養(yǎng)體系,同時歡迎更多的高校能夠與本單位聯(lián)手,共同為中國培養(yǎng)出優(yōu)秀的云計算、大數據的專業(yè)人才!本次培訓由中聯(lián)軟博(北京)科技有限公司具體承辦,相關事項如下:
一、課程目標
1、使參加學員全面掌握物大數據相關技術及教學方法;幫助各高校在大數據專業(yè)課程體系建設提供全方位、強有力的教學資源和技術支持。
2、全面掌握Hadoop的架構原理和使用場景,并通過貫穿課程的項目進行實戰(zhàn)鍛煉,從而熟練使用Hadoop進行MapRedce程序開發(fā)。課程還涵蓋了分布式計算領域的常用算法介紹,幫助學員為企業(yè)在利用大數據方面體現(xiàn)自身價值。
3、深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識,可以獨立規(guī)劃及部署生產環(huán)境的Hadoop集群,掌握Hadoop基本運維思路和方法,對Hadoop集群進行管理和優(yōu)化。
二、培訓時間
2017年7月11日-7月17日杭州(11日全天報到)
2017年7月18日-7月24日北京(18日全天報到)
2017年7月25日-7月31日成都(25日全天報到)
三、培訓對象
各高等院校計算機科學技術、網絡工程、軟件工程、信息工程、信息管理、物聯(lián)網等相關專業(yè)教學帶頭人及骨干教師;各高校教務處、科研處、信息中心、實驗室等領導
各企業(yè)大數據架構師、技術總監(jiān)、數據挖掘負責人、數據挖掘開發(fā)工程師
四、培訓安排
在本屆師資培訓安排的實訓課程中,來自阿里與高校等專家講師、一線工程師將結合自主研發(fā)的Hadoop課程體系及實驗,講解并帶著老師們完成了從實驗基礎環(huán)境的搭建---實驗數據的建立---實驗數據的導入---數據分析—數據挖掘全過程,以幫助參訓教師完整學習Hadoop知識體系,包括實驗環(huán)境的搭建、使用、數據分析、數據挖掘,給參訓老師們有了更加直觀的體驗。還詳細講解了大數據搜索挖掘平臺,通過大數據精準搜索,使其搜索結果自動分組統(tǒng)計。根據關鍵詞提取,聚類、過濾分類等技術流程進行數據挖掘,挖掘出數據的價值。
五、師資力量
張老師:阿里大數據高級專家,國內資深的Spark、Hadoop技術專家、虛擬化專家,對HDFS、MapRedce、Hbase、Hive、Mahot、Storm、spark和openTSDB、大數據挖掘算法等Hadoop生態(tài)系統(tǒng)中的技術進行了多年的深入的研究,更主要的是這些技術在大量的實際項目中得到廣泛的應用,因此在Hadoop開發(fā)和運維方面積累了豐富的項目實施經驗。近年主要典型的項目有:某電信集團網絡優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數據數據票據詳單平臺、某大型銀行大數據記錄系統(tǒng)、某大型通信運營商全國用戶上網記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數據應用項目、互聯(lián)網公共數據大云(DAAS)和構建游戲云(WebGameDaas)平臺項目等。
蔣老師:清華大學博士,云計算專家熟悉主流的云計算平臺,并有商業(yè)與開源云計算平臺的實踐經驗,對云計算關鍵技術有深刻了解和實踐經驗,如分布式系統(tǒng)、虛擬化、分布式文件系統(tǒng)、云存儲等,參與并領導多個大型云計算項目。對大數據關鍵技術有深刻了解和實踐經驗,如NoSQL數據庫、大數據處理、Hadoop、Hive、Hbase、Spark等。
六、頒發(fā)證書
參加相關培訓并通過考試的學員,可以獲得:
工業(yè)和信息化部頒發(fā)的-大數據處理高級工程師。該證書可作為專業(yè)技術人員職業(yè)能力考核的證明,以及專業(yè)技術人員崗位聘用、任職、定級和晉升職務的重要依據。
注:請學員帶二寸彩照2張(背面注明姓名)、身份證復印件一張。
七、培訓費用及須知
3980元/人(含盤電子資料、教材、培訓費、證書費以及學習用具等費用)
食宿統(tǒng)一安排,費用自理。
八、增值服務
1、協(xié)助高校大數據專業(yè)共建和課程置換
2、建立大數據聯(lián)合實驗室,協(xié)助高校搭建大數據實驗平臺
3、培養(yǎng)大數據專業(yè)講師,為高校大數據課程儲備人才
4、培養(yǎng)大數據應用型人才,面向就業(yè)提高學生就業(yè)率
5、免費提供大數據相關咨詢服務
九、報名方式
請?zhí)詈脠竺貓?zhí)表,并于開班前一周傳真或者郵件至會務組,開班前一周我們將發(fā)送報到通知,屆時請注意查收.
十、培訓內容
課程模塊課程主題主要內容案例和演示
模塊一大數據介紹及高校如何開設大數據教學課程
1)大數據概念的發(fā)展與解析
2)大數據在國內外發(fā)展現(xiàn)狀
3)大數據在互聯(lián)網發(fā)展現(xiàn)狀
4)大數據四個特點分析
5)大數據課程教師需要具備的大數據知識儲備
6)大數據相關招聘崗位需求分析
7)大數據技術演進與變革
8)應對IT新技術變革,教師知識的儲備與提升
9)在哪個層面進行教學精彩案例
高校開設大數據的教學可在多個層面上進行
有條件的高??梢蚤_設云計算專業(yè)
不具備條件的高校可以開設大數據方面的課程,介紹大數據的知識,引導學生向大數據方面發(fā)展
模塊二大數據帶來的機遇和挑戰(zhàn)大數據帶來的機遇和挑戰(zhàn)
1)大數據能帶來什么、引領社會進入“大數據時代”
2)大數據對國家、社會的作用、大數據將推動經濟發(fā)展
3)大數據將推動科技發(fā)展進程、開啟商業(yè)智能新階段
4)數據分析的發(fā)展——從數據到知識大數據如何讓商業(yè)更智能、大數據應用案例
5)帶來數據處理新變革、大數據的關鍵技術
6)大數據與云計算、大數據技術的發(fā)展趨勢精彩案例
電信手機上網日志分析
移動GPRS上網日志查詢系統(tǒng)
某省份聯(lián)通網絡不良信息檢測系統(tǒng)
國土資源部門下屬單位非結構離線網格分析平臺
某銀行海量數據統(tǒng)一分析平臺
某電信用戶屬性精分系統(tǒng)
某銀行實時計算平臺
某電力電臺電視節(jié)目推薦系統(tǒng)
模塊三Hadoop在云計算技術的作用和地位傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
Hadoop概述
Hadoop分布式文件系統(tǒng)
MapRedce工作原理
Hadoop集群剖析
Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求
Hadoop的行業(yè)應用案例分析
Hadoop在云計算和大數據的位置和關系數據開放,數據云服務平臺(DAAS)時代
Hadoop平臺在數據云平臺(DAAS)上的天然優(yōu)勢。
數據云平臺(DAAS平臺)組成部分
互聯(lián)網公共數據大云(DAAS)案例
Hadoop構建構建游戲云(WebGameDaas)平臺
模塊四Hadoop生態(tài)系統(tǒng)介紹和演示HadoopHDFS和MapRedce
Hadoop數據庫之Hbase
Hadoop數據倉庫之Hive
Hadoop數據處理腳本Pig
Hadoop數據接口Sqoop和Flme,ScribeDataX
Hadoop工作流引擎Oozie運用Hadoop自下而上構建大規(guī)模企業(yè)數據倉庫
暴風影音數據倉庫實戰(zhàn)解析
模塊五Hadoop組件詳解HadoopHDFS基本結構
HadoopHDFS副本存放策略
HadoopNameNode詳解
HadoopSecondaryNameNode詳解
HadoopDataNode詳解
HadoopJobTracker詳解
HadoopTaskTracker詳解HadoopMapper類核心代碼
HadoopRedce類核心代碼
Hadoop核心代碼
模塊六Hadoop安裝和部署Hadoop系統(tǒng)模塊組件概述
Hadoop試驗集群的部署結構
Hadoop安裝依賴關系
Hadoop生產環(huán)境的部署結構
Hadoop集群部署
Hadoop高可用配置方法
Hadoop集群簡單測試方法
Hadoop集群異常Debg方法Hadoop安裝部署實驗
RedhatLinx基礎環(huán)境搭建
Hadoop單機系統(tǒng)版本安裝配置
Hadoop集群系統(tǒng)版本安裝和啟動配置
使用HadoopMapRedceStreaming快速測試系統(tǒng)
Hadoopcore-site,hdfs-site,mapred-site配置詳解
模塊七Hadoop集群規(guī)劃Hadoop集群內存要求
Hadoop集群磁盤分區(qū)
集群和網絡拓撲要求
集群軟件的端口配置針對NameNodeJobtrackerDataNodeTaskTrackerHiveserver等不同組件需求推薦服務器配置
模塊八 MapRedce算法原理HadoopMapRedce算法的原理和優(yōu)化思想
靈活運用MapRedce實現(xiàn)算法運用MapRedce構建數據庫算法
SelectSortGrogBySmCont
Join新進流失算法
使用Y-Smart快速轉換SQL為MapRedce代碼
模塊九 編寫MapRedce高級程序使用HadoopMapRedceStreaming編程
MapRedce流程
剖析一個MapRedce程序
基本MapRedceAPI概念
驅動代碼Mapper、Redcer
Hadoop流
API使用Eclipse進行快速開發(fā)
新MapRedceAPI
MapRedce的優(yōu)化
MapRedce的任務調度
MapRedce編程實戰(zhàn)
如何利用其他Hadoop相關技術,包括ApacheHive,ApachePig,Sqoop和Oozie等
滿足解決實際數據分析問題的高級HadoopAPIHadoopStreaming和JavaMapRedceApi差異。
MapRedce實現(xiàn)數據庫功能
利用Combiners來減少中間數據
編寫Partitioner來優(yōu)化負載平衡
直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
Hadoop的join操作
輔助排序在Redcer方的合并
定制Writables和WritableComparables
使用SeqenceFiles和Avro文件保存二進制數據
創(chuàng)建InptFormatsOtptFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并
模塊十 集成Hadoop到現(xiàn)有工作流
及HadoopAPI深入探討存儲系統(tǒng)
利用Sqoop從關系型數據庫系統(tǒng)中導入數據到Hadoop
利用Flme導入實時數據到Hadoop
ToolRnner介紹、使用MRnit進行測試
使用Configre和Close方法來進行Map/Redce設置和關閉使用FseDFS和Hadoop訪問HDFS
使用分布式緩存(DistribtedCache)
直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
利用Combiners來減少中間數據
編寫Partitioner來優(yōu)化負載平衡
模塊十一 使用Hive和Pig開發(fā)及技巧Hive和Pig基礎
Hive的作用和原理說明
Hadoop倉庫和傳統(tǒng)數據倉庫的協(xié)作關系
Hadoop/Hive倉庫數據數據流
Hive部署和安裝
HiveCli的基本用法
HQL基本語法
運用Pig過濾用戶數據使用JDBC連接Hive進行查詢和分析
使用正則表達式加載數據
HQL高級語法
編寫DF函數
編寫DAF自定義函數
基于Hive腳本內嵌Streaming編程
模塊十二 Hbase安裝和使用Hbase安裝部署
Hbase原理和結構
Hbase運維和管理使用Hbase+Hive提供OLAPSQL查詢能力
使用Hbase+Phoenix提供OLTPSQL能力
基于Hbase的時間序列數據庫OpenTsDb結構解析
模塊十三 Hadoop2.0集群探索Hadoop2.0HDFS原理
Hadoop2.0Yarn原理
Hadoop2.0生態(tài)系統(tǒng)基于Hadoop2.0構建分布式系統(tǒng)
模塊十四 Hadoop企業(yè)級別案例解析Hadoop結構化數據案例
Hadoop非結構化案例
Hbase數據庫案例
Hadoop視頻分析案例利用大數據分析改進交通管理
區(qū)域醫(yī)療大數據應用案例
銀聯(lián)大數據數據票據詳單平臺
某銀行大數據Spark應用案例詳解
某證券公司大數據案例介紹
廣東移動省公司請賬單系統(tǒng)
上海電信網絡優(yōu)化
某通信運營商全國用戶上網記錄
浙江臺州市智能交通系統(tǒng)
移動廣州詳單實時查詢系統(tǒng)
跨區(qū)域實時視頻監(jiān)控系統(tǒng)
電信大數據案例介紹:
基于社交網絡的*營銷和客戶維系
基于信令分析用戶的移動軌跡
基站規(guī)劃和動態(tài)優(yōu)化
智慧城市交通
流量分析
上海聯(lián)通大數據開放變現(xiàn)的實現(xiàn)案例介紹
模塊十五 RedHadoop企業(yè)版本運用RedHadoop快速構建服務集群
運用RedHadoopDW構建數據倉庫基于RedHadoopHive構建數據倉庫平臺
靈活運用Hive加速游戲數據倉庫
基于Pig+OpenCV大規(guī)模圖像人臉識別
模塊十六 Spark原理和入門Spark原理;Spark的架構圖;Spark運行模式介紹
—local;—standalone;—messos;—yarn;Spark的RDD
什么是RDD;RDD的種類;—Tranformation;—Action
Spark的存儲級別;Cache介紹;Spark的容錯原理
Lineage容錯;Checkpoint容錯;RDD的創(chuàng)建
案例—統(tǒng)計單詞的個數
模塊十七 互聯(lián)網大數據應用案例根阿里的ODPS大數據平臺架構介紹
阿里的實時推薦架構
阿里的交叉營銷系統(tǒng)
阿里支付寶交易監(jiān)控系統(tǒng)
支付寶微貸案例分析(互聯(lián)網征信系統(tǒng))
京東打白條系統(tǒng)分析
百度預測大數據平臺案例分析
轉載:http://www.isoear.com/gkk_detail/23552.html
已開課時間Have start time
IT相關內訓
- 前沿信息技術解析與應用創(chuàng)新 張世民
- Java企業(yè)級后臺開發(fā) 郭振杰
- 自智網絡 楓影
- Python基礎與基礎應用 郭振杰
- 數據庫基礎及實操(MySQ 郭振杰
- SQL語句基礎使用 郭振杰
- Mysql基礎使用 郭振杰
- 金融科技賦能業(yè)務 李福東
- 6G技術與發(fā)展趨勢 楓影
- 業(yè)務與IT融合創(chuàng)新的方法與 李福東
- IPA應用實戰(zhàn) 郭振杰
- Java微服務開發(fā) 郭振杰