【課程內容】
階段一、大數據、云計算-Hadoop大數據開發技術
課程一、大數據運維之Linux基礎
本部分是基礎課程,幫大家進入大數據領域打好Linux基礎,以便更好地學習Hadoop,hbase,NoSQL,Spark,Storm,docker,openstack等眾多課程。因為企業中的項目基本上都是使用Linux環境下搭建或部署的。
1)Linux系統概述
2)系統安裝及相關配置
3)Linux網絡基礎
4)OpenSSH實現網絡安全連接
5)vi文本編輯器
6)用戶和用戶組管理
7)磁盤管理
8)Linux文件和目錄管理
9)Linux終端常用命令
10)linux系統監測與維護
課程二、大數據開發核心技術-Hadoop2.x從入門到精通本課程是整套大數據課程的基石:其一,分布式文件系統HDFS用于存儲海量數據,無論是Hive、HBase或者Spark數據存儲在其上面;其二是分布式資源管理框架YARN,是Hadoop云操作系統(也稱數據系統),管理集群資源和分布式數據處理框架MapReduce、Spark應用的資源調度與監控;分布式并行計算框架MapReduce目前是海量數據并行處理的一個常用的框架。Hadoop2.x的編譯、環境搭建、HDFSShell使用,YARN集群資源管理與任務監控,MapReduce編程,分布式集群的部署管理(包括高可用性HA)必須要掌握的。
一、初識Hadoop2.x
1)大數據應用發展、前景
2)Hadoop2.x概述及生態系統
3)Hadoop2.x環境搭建與測試
二、深入Hadoop2.x
1)HDFS文件系統的架構、功能、設計
2)HDFSJavaAPI使用
3)YARN架構、集群管理、應用監控
4)MapReduce編程模型、Shuffle過程、編程調優
三、Hadoop2.x
1)分布式部署Hadoop2.x
2)分布式協作服務框架Zookeeper
3)HDFSHA架構、配置、測試
4)HDFS2.x中特性
5)YARNHA架構、配置
6)Hadoop主要發行版本(CDH、HDP、Apache)
四、實戰應用
1)以“遠標教育用戶瀏覽日志”數據進行實際的分析2)原數據采集3)數據的預處理(ETL)4)數據的分析處理(MapReduce)
課程三、大數據開發核心技術-大數據倉庫Hive精講hive是基于Hadoop的一個數據倉庫工具,可以將結構化的數據文件映射為一張數據庫表,并提供簡單的sql查詢功能,可以將sql語句轉換為MapReduce任務進行運行。其優點是學習成本低,可以通類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合數據倉庫的統計分析。
一、Hive初識入門
1)Hive功能、體系結構、使用場景
2)Hive環境搭建、初級使用
3)Hive原數據配置、常見交互方式
二、Hive深入使用
1)Hive中的內部表、外部表、分區表
2)Hive數據遷移
3)Hive常見查詢(select、where、distinct、join、groupby)
4)Hive內置函數和UDF編程
三、Hive進階
1)Hive數據的存儲和壓縮
2)Hive常見優化(數據傾斜、壓縮等)
四、結合“遠標教育用戶瀏覽日志”實際案例分析
1)依據業務設計表
2)數據清洗、導入(ETL)
3)使用HiveQL,統計常見的網站指標
課程四、大數據協作框架-Sqoop/Flume/Oozieo精講Sqoop是一款開源的工具,主要用于在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞,可以將一個關系型數據庫(例如:MySQL,Oracle,Postgres等)中的數據導進到關系型數據庫中。Sqoop項目開始于2009年,早是作為Hadoop的一個第三方模塊存在,后來為了讓使用者能夠快速部署,也為了讓開發人員能夠更快速的迭代開發,Sqoop獨立成為一個Apache項目。
一、數據轉換工具Sqoop
1)Sqoop功能、使用原則
2)將RDBMS數據導入Hive表中(全量、增量)
3)將HDFS上文件導出到RDBMS表中
二、文件收集框架Flume
1)Flume設計架構、原理(三大組件)
2)Flume初步使用,實時采集數據
3)如何使用Flume監控文件夾數據,實時采集錄入HDFS中4)任務調度框架Oozie
三、Oozie功能、安裝部署
1)使用Oozie調度MapReduceJob和HiveQL
2)定時調度任務使用
課程五、大數據Web開發框架-大數據WEB工具Hue精講Hue是一個開源的ApacheHadoopUI系統,早是由ClouderaDesktop演化而來,由Cloudera貢獻給開源社區,它是基于PythonWeb框架Django實現的。通過使用Hue我們可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互來分析處理數據,例如操作HDFS上的數據,運行MapReduceJob等等。
1)Hue架構、功能、編譯
2)Hue集成HDFS
3)Hue集成MapReduce
4)Hue集成Hive、DataBase
5)Hue集成Oozie
課程六、大數據核心開發技術-分布式數據庫HBase從入門到精通HBase是一個分布式的、面向列的開源數據庫,該技術來源于FayChang所撰寫的Google論文“Bigtable:一個結構化數據的分布式存儲系統”。HBase在Hadoop之上提供了類似于Bigtable的能力,是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統,利用HBase技術可在廉價PCServer上搭建起大規模結構化存儲集群
一、HBase初窺使用
1)HBase是什么、發展、與RDBMS相比優勢、企業使用
2)HBaseSchema、表的設計
3)HBase環境搭建、shell初步使用(CRUD等)
二、HBase深入使用
1)HBase數據存儲模型
2)HBaseJavaAPI使用(CRUD、SCAN等)
3)HBase架構深入剖析
4)HBase與MapReduce集成、數據導入導出
三、HBase使用
1)如何設計表、表的預分區(依據具體業務分析講解)
2)HBase表的常見屬性設置(結合企業實際)
3)HBaseAdmin操作(JavaAPI、常見命令)
四、“遠標教育用戶瀏覽日志”進行分析
1)依據需求設計表、創建表、預分區
2)進行業務查詢分析
3)對于密集型讀和密集型寫進行HBase參數調優
課程七、大數據核心開發技術-Storm實時數據處理
Storm是Twitter開源的分布式實時大數據處理框架,被業界稱為實時版Hadoop。隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍,比如網站統計、推薦系統、預警系統、金融系統(高頻交易、股票)等等,大數據實時處理解決方案(流計算)的應用日趨廣泛,目前已是分布式技術領域新爆發點,而Storm更是流計算技術中的佼佼者和主流。按照storm作者的說法,Storm對于實時計算的意義類似于Hadoop對于批處理的意義。Hadoop提供了map、reduce原語,使我們的批處理程序變得簡單和高效。同樣,Storm也為實時計算提供了一些簡單高效的原語,而且Storm的Trident是基于Storm原語更的抽象框架,類似于基于Hadoop的Pig框架,讓開發更加便利和高效。本課程會深入、全面的講解Storm,并穿插企業場景實戰講述Storm的運用。淘寶雙11的大屏幕實時監控效果沖擊了整個IT界,業界為之驚嘆的同時更是引起對該技術的探索。學完本課程你可以自己開發升級版的“淘寶雙11”,還等什么?
1)Storm簡介和課程介紹
2)Storm原理和概念詳解
3)Zookeeper集群搭建及基本使用
4)Storm集群搭建及測試
5)API簡介和入門案例開發
6)Spout的Tail特性、storm-starter及maven使用、Grouping策略
7)實例講解Grouping策略及并發
8)并發度詳解、案例開發(高并發運用)
9)案例開發——計算網站PV,通過2種方式實現匯總型計算。
10)案例優化引入Zookeeper鎖控制線程操作
11)計算網站UV(去重計算模式)
12)“運維”集群統一啟動和停止shell腳本開發
13)Storm事務工作原理深入講解14)Storm事務API及案例分析
15)Storm事務案例實戰之ITransactionalSpout
16)Storm事務案例升級之按天計算
17)Storm分區事務案例實戰
18)Storm不透明分區事務案例實戰
19)DRPC精解和案例分析
20)StormTrident入門
21)TridentAPI和概念
22)StormTrident實戰之計算網站PV
23)ITridentSpout、FirstN(取TopN)實現、流合并和Join
24)StormTrident之函數、流聚合及核心概念State
25)StormTrident綜合實戰一(基于HBase的State)
26)StormTrident綜合實戰二
27)StormTrident綜合實戰三
28)Storm集群和作業監控告警開發
課程八、Spark技術實戰之基礎篇-Scala語言從入門到精通
為什么要學習Scala?源于Spark的流行,Spark是當前流行的開源大數據內存計算框架,采用Scala語言實現,各大公司都在使用Spark:IBM宣布**大力推進ApacheSpark項目,并稱該項目為:在以數據為主導的,未來十年為重要的新的開源項目。這一**的核心是將Spark嵌入IBM業內的分析和商務平臺,Scala具有數據處理的天然優勢,Scala是未來大數據處理的主流語言
1)kafka是什么
2)kafka體系結構
3)kafka配置詳解
4)kafka的安裝
5)kafka的存儲策略
6)kafka分區特點
7)kafka的發布與訂閱
8)java編程操作kafka
9)scala編程操作kafka
10)flume和kafka的整合
11)Kafka和storm的整合
課程九、大數據核心開發技術-內存計算框架Spark精講
Spark是UCBerkeleyAMPlab所開源的類HadoopMapReduce的通用并行框架,Spark,擁有HadoopMapReduce所具有的優點。啟用了內存分布數據集,除了能夠提供交互式查詢外,它還可以優化迭代工作負載。SparkStreaming:構建在Spark上處理Stream數據的框架,基本的原理是將Stream數據分成小的時間片斷
(幾秒),以類似batch批量處理的方式來處理這小部分數據
1)Spark初識入門
2)Spark概述、生態系統、與MapReduce比較
3)Spark編譯、安裝部署(StandaloneMode)及測試
4)Spark應用提交工具(spark-submit,spark-shell)
5)Scala基本知識講解(變量,類,高階函數)
6)Spark核心RDD
7)RDD特性、常見操作、緩存策略
8)RDDDependency、Stage常、源碼分析
9)Spark核心組件概述
10)案例分析
11)Spark高階應用
12)SparkonYARN運行原理、運行模式及測試
13)SparkHistoryServer歷史應用監控
14)SparkStreaming流式計算
15)SparkStreaming原理、DStream設計
16)SparkStreaming常見input、out
17)SparkStreaming與Kafka集成
18)使用Spark對“遠標教育用戶瀏覽日志”進行分析
課程十、大數據核心開發技術-Spark深入剖析
本課程主要講解目前大數據領域熱門、火爆、有前景的技術——Spark。在本課程中,會從淺入深,基于大量案例實戰,深度剖析和講解Spark,并且會包含
完全從企業真實復雜業務需求中抽取出的案例實戰。課程會涵蓋Scala編程詳解、Spark核心編程、SparkSQL和SparkStreaming、Spark內核以及源碼剖析、
性能調優、企業級案例實戰等部分
1)Scala編程、Hadoop與Spark集群搭建、Spark核心編程、Spark內核源碼深度剖析、Spark性能調優、SparkSQL、SparkStreaming
2)Spark源碼剖析
3)基于排序的wordcount,Spark二次排序,Spark分組取topn,DataFrame與RDD的兩種轉換方式,SparkSQL的內置函數、開窗函數、UDF、UDAF,SparkStreaming的KafkaDirectAPI、updateStateByKey、transform、滑動窗口、foreachRDD性能優化、與SparkSQL整合使用、持久化、checkpoint、容錯與事務
4)項目實戰:多個從企業實際需求抽取出的復雜案例實戰:每日uv和銷售額統計案例、top3熱賣商品統計案例、每日top3熱點搜索詞統計、廣
告計費日志實時黑名單過濾案例、熱點搜索詞滑動統計案例、top3熱門商品實時統計案例
課程十一、企業大數據平臺應用
本階段主要就之前所學內容完成大數據相關企業場景與解決方案的剖析應用及結合一個電子商務平臺進行實戰分析,主要包括有:企業大數據平臺概述、搭建企業
大數據平臺、真實服務器手把手環境部署、使用CM5.3.x管理CDH5.3.x集群
1)企業大數據平臺概述
2)大數據平臺基本組件
3)Hadoop發行版本、比較、選擇
4)集群環境的準備(系統、基本配置、規劃等)
5)搭建企業大數據平臺
6)以實際企業項目需求為依據,搭建平臺
7)需求分析(主要業務)
8)框架選擇(Hive\HBase\Spark等)
9)真實服務器手把手環境部署
10)安裝ClouderaManager5.3.x
11)使用CM5.3.x安裝CDH5.3.x
12)如何使用CM5.3.x管理CDH5.3.x集群
13)基本配置,優化
14)基本性能測試
15)各個組件如何使用
課程十二、項目實戰:驢媽媽旅游網大型離線數據電商分析平臺
離線數據分析平臺是一種利用hadoop集群開發工具的一種方式,主要作用是幫助公司對網站的應用有一個比較好的了解。尤其是在電商、旅游、銀行、證券、游戲
等領域有非常廣泛,因為這些領域對數據和用戶的特性把握要求比較高,所以對于離線數據的分析就有比較高的要求了。本課程講師本人之前在游戲、旅游等公司
專門從事離線數據分析平臺的搭建和開發等,通過此項目將所有大數據內容貫穿,并前后展示!
1)Flume、Hadoop、Hbase、Hive、Oozie、Sqoop、離線數據分析,SpringMVC,Highchat
2)Flume+Hadoop+Hbase+SpringMVC+MyBatis+MySQL+Highcharts實現的電商離線數據分析
3)日志收集系統、日志分析、數據展示設計
課程十三、項目實戰:基于1號店的電商實時數據分析系統
課程基于1號店的業務及數據進行設計和講解的,主要涉及
1、課程中完整開發3個Storm項目,均為企業實際項目,其中一個是完全由StormTrident開發。項目源碼均可以直接運行,也可直接用于商用或企業。
2、每個技術均采用新穩定版本,學完后會員可以從Kafka到Storm項目開發及HighCharts圖表開發一個人搞定!讓學員身價劇增!
3、搭建CDH5生態環境完整平臺,且采用ClouderaManager界面化管理CDH5平臺。讓Hadoop平臺環境搭建和維護都變得輕而易舉。
4、分享實際項目的架構設計、優劣分析和取舍、經驗技巧,陡直提升學員的經驗值
1)全面掌握Storm完整項目開發思路和架構設計
2)掌握StormTrident項目開發模式
3)掌握Kafka運維和API開發、與Storm接口開發
4)掌握HighCharts各類圖表開發和實時無刷新加載數據
5)熟練搭建CDH5生態環境完整平臺
6)靈活運用HBase作為外部存儲
7)可以做到以一己之力完成從后臺開發(Storm、Kafka、Hbase開發)
到前臺HighCharts圖表開發、Jquery運用等,所有工作一個人搞定!
可以一個人搞定淘寶雙11大屏幕項目!
課程十四、項目實戰:基于某團購網的大型離線電商數據分析平臺
本項目使用了Spark技術生態棧中常用的三個技術框架,SparkCore、SparkSQL和SparkStreaming,進行離線計算和實時計算業務模塊的開發。實現了包括用
戶訪問session分析、頁面單跳轉化率統計、熱門商品離線統計、廣告點擊流量實時統計4個業務模塊。過合理的將實際業務模塊進行技術整合與改造,該項目完全
涵蓋了SparkCore、SparkSQL和SparkStreaming這三個技術框架中幾乎所有的功能點、知識點以及性能優化點。僅一個項目,即可全面掌握Spark技術在實際項
目中如何實現各種類型的業務需求!在項目中,重點講解了實際企業項目中積累下來的寶貴的性能調優、troubleshooting以及數據傾斜解決方案等知識和技術
1)真實還原完整的企業級大數據項目開發流程:項目中采用完全還原企業大數據項目開發場景的方式來講解,每一個業務模塊的講解都包括了數據分
析、需求分析、方案設計、數據庫設計、編碼實現、功能測試、性能調優、troubleshooting與解決數據傾斜(后期運維)等環節,真實還原
企業級大數據項目開發場景。讓學員掌握真實大數據項目的開發流程和經驗!
2)現場Excel手工畫圖與寫筆記:所有復雜業務流程、架構原理、Spark技術原理、業務需求分析、技術實現方案等知識的講解,采用Excel畫
圖或者寫詳細比較的方式進行講解與分析,細致入微、形象地透徹剖析理論知識,幫助學員更好的理解、記憶與復習鞏固。
課程十五、大數據高薪面試剖析
本階段通過對歷來大數據公司企業真實面試題的剖析,講解,讓學員真正的一個菜鳥轉型為具有1年以上的大數據開發工作經驗的專業人士,也是講師多年來大數據
企業開發的經驗之談。
1)大數據項目
2)企業大數據項目的類型
3)技術架構(如何使用各框架處理數據)
4)沖刺高薪面試
5)面試簡歷編寫(把握重點要點)
6)面試中的技巧
7)常見面試題講解
8)如何快速融入企業進行工作(對于大數據公司來說非常關鍵)
9)學員答疑
10)針對普遍問題進行公共解答
11)一對一的交流
階段二、大數據、云計算-Java企業級核心應用
課程十六、深入Java性能調優
國內關于Java性能調優的課程非常少,如此全面深入介紹Java性能調優,遠標教育算是,Special講師,十余年Java方面開發工作經驗,軟件開發系統架構師,
本套課程系多年工作經驗與心得的總結,課程有著很高的含金量和實用價值,本課程專注于java應用程序的優化方法,技巧和思想,深入剖析軟件設計層面、代碼層面、JVM虛擬機層面的優化方法,理論結合實際,使用豐富的示例幫助學員理解理論知識。
課程十七、JAVA企業級開放必備技術(WeblogicTomcat集群Apach集群)
Java自面世后就非常流行,發展迅速,對C++語言形成有力沖擊。在全球云計算和移動互聯網的產業環境下,Java更具備了顯著優勢和廣闊前景,那么滋生的基于
java項目也越來越多,對java運行環境的要求也越來越高,很多java的程序員只知道對業務的擴展而不知道對java本身的運行環境的調試,例如虛擬機調優,服務器集群等,所以也滋生本門課程的產生。
階段三、大數據、云計算-分布式集群、PB級別網站性能優化
課程十八、大數據高并發系統架構實戰方案(LVS負載均衡、Nginx、共享存儲、海量數據、隊列緩存)
隨著互聯網的發展,高并發、大數據量的網站要求越來越高。而這些高要求都是基礎的技術和細節組合而成的。本課程就從實際案例出發給大家原景重現高并發架構
常用技術點及詳細演練。通過該課程的學習,普通的技術人員就可以快速搭建起千萬級的高并發大數據網站平臺,課程涉及內容包括:LVS實現負載均衡、Nginx配置實戰、共享存儲實現動態內容靜態化加速實戰、緩存平臺安裝配置使用、mysql主從復制安裝配置實戰等。
課程十九、大數據高并發服務器實戰教程
隨著Web技術的普及,Internet上的各類網站第天都在雪崩式增長。但這些網站大多在性能上沒做過多考慮。當然,它們情況不同。有的是Web技術本身的原因(主
要是程序代碼問題),還有就是由于Web服務器未進行優化。不管是哪種情況,一但用戶量在短時間內激增,網站就會明顯變慢,甚至拒絕放訪問。要想有效地解決這些問題,就只有依靠不同的優化技術。本課程就是主要用于來解決大型網站性能問題,能夠承受大數據、高并發。主要涉及技術有:nginx、tomcat、memcached、redis緩存、負載均衡等開發技術
項目實戰:PB級通用電商網站性能優化解決方案
本部分通過一個通用電商訂單支付模塊,外加淘寶支付接口的實現(可用于實際項目開發),剖析并分析過程中可能遇到的各種性能瓶頸及相關的解決方案與優化技
巧。終目標,讓有具有PHP基礎或Java基礎的學員迅速掌握Linux下的開發知識,并對涉及到nginx、tomcat、memcached、redis緩存、負載均衡等開發技術有一個全面的了解
階段四、大數據、云計算-數據挖掘、分析&機器學習
課程二十、玩轉大數據:深入淺出大數據挖掘技術(Apriori算法、Tanagra工具、決策樹)
本課程名為深入淺出數據挖掘技術。所謂“深入”,指得是從數據挖掘的原理與經典算法入手。其一是要了解算法,知道什么場景應當應用什么樣的方法;其二是學
習算法的經典思想,可以將它應用到其他的實際項目之中;其三是理解算法,讓數據挖掘的算法能夠應用到您的項目開發之中去。所謂“淺出”,指得是將數據挖掘
算法的應用落實到實際的應用中。課程會通過三個不同的方面來講解算法的應用:一是微軟公司的SQLServer與Excel等工具實現的數據挖掘;二是開源算法
的數據挖掘,如Weka、KNIMA、Tanagra等開源工具;三是利用C#語言做演示來完成數據挖掘算法的實現。
根據實際的引用場景,數據挖掘技術通常分為分類器、關聯分析、聚類算法等三大類別。本課程主要介紹這三大算法的經典思想以及部分的實現形式,并結合一
些商業分析工具、開源工具或編程等方式來講解具體的應用方法
課程二十一、Lucene4.X實戰類baidu搜索的大型文檔海量搜索系統
本課程由淺入深的介紹了Lucene4的發展歷史,開發環境搭建,分析lucene4的中文分詞原理,深入講了lucenne4的系統架構,分析lucene4索引實現原理及性能優
化,了解關于lucene4的搜索算法優化及利用java結合lucene4實現類百度文庫的全文檢索功能等相對高端實用的內容,市面上一般很難找到同類具有相同深度與廣度的視頻,集原理、基礎、案例與實戰與一身,不可多得的一部高端視頻教程。
課程二十二、快速上手數據挖掘之solr搜索引擎教程(Solr集群、KI分詞、項目實戰)
本教程從基礎的solr語法開始講解,選擇了新流行的開源搜索引擎服務框架solr5.3.1,利用Tomcat8搭建了solr的集群服務;本教程可以幫助學員快速上手
solr的開發和二次開發,包括在hadoop集群的是利用,海量數據的索引和實時檢索,通過了解、學習、安裝、配置、集成等步驟引導學員如何將solr集成到項目中。
課程二十三、項目實戰:SPSSModeler數據挖掘項目實戰培訓
SSModeler是業界極為的數據挖掘軟件,其前身為SPSSClementine。SPSSModeler內置豐富的數據挖掘模型,以其強大的挖掘功能和友好的操作習慣,深
受用戶的喜愛和好評,成為眾多知名企業在數據挖掘項目上的軟件產品選擇。本課程以SPSSModeler為應用軟件,以數據挖掘項目生命周期為線索,以實際數據挖掘項目為例,講解了從項目商業理解開始,到后軟件實現的全過程。
課程二十四、數據層交換和高性能并發處理(開源ETL大數據治理工具)
ETL是數據的抽取清洗轉換加載的過程,是數據進入數據倉庫進行大數據分析的載入過程,目前流行的數據進入倉庫的過程有兩種形式,一種是進入數據庫后再進行
清洗和轉換,另外一條路線是首先進行清洗轉換再進入數據庫,我們的ETL屬于后者。大數據的利器大家可能普遍說是hadoop,但是大家要知道如果我們不做預先
的清洗和轉換處理,我們進入hadoop后僅通過mapreduce進行數據清洗轉換再進行分析,垃圾數據會導致我們的磁盤占用量會相當大,這樣無形中提升了我們的
硬件成本(硬盤大,內存小處理速度會很慢,內存大cpu性能低速度也會受影響),因此雖然hadoop理論上解決了爛機器拼起來解決大問題的問題,但是事實上如
果我們有更好的節點速度必然是會普遍提升的,因此ETL在大數據環境下仍然是必不可少的數據交換工具。
課程二十五、零基礎數據分析與挖掘R語言實戰
本課程面向從未接觸過數據分析的學員,從基礎的R語法開始講起,逐步進入到目前各行業流行的各種分析模型。整個課程分為基礎和實戰兩個單元。基礎部分包
括R語法和統計思維兩個主題,R語法單元會介紹R語言中的各種特色數據結構,以及如何從外部抓去數據,如何使用包和函數,幫助同學快速通過語法關。統計思維
單元會指導如何用統計學的思想快速的發現數據特點或者模式,并利用R強大的繪圖能力做可視化展現。在實戰部分選擇了回歸、聚類、數據降維、關聯規則、決策
樹這5中基礎的數據分析模型,詳細介紹其思想原理,并通過案例講解R中的實現方案,尤其是詳細的介紹了對各種參數和輸出結果的解讀,讓學員真正達到融會
貫通、舉一反三的效果。并應用到自己的工作環境中
課程二十六、深入淺出HadoopMahout數據挖掘實戰(算法分析、項目實戰、中文分詞技術)
Mahout是ApacheSoftwareFoundation(ASF)旗下的一個開源項目,提供一些可擴展的機器學習領域經典算法的實現,旨在幫助開發人員更加方便快捷地創建智能應用程序。課程包括:Mahout數據挖掘工具及Hadoop實現推薦系統的綜合實戰,涉及到MapReduce、Pig和Mahout的綜合實戰
課程二十七、大數據項目實戰之Python金融應用編程(數據分析、定價與量化投資)
近年來,金融領域的量化分析越來越受到理論界與實務界的重視,量化分析的技術也取得了較大的進展,成為備受關注的一個熱點領域。所謂金融量化,就是將金融
分析理論與計算機編程技術相結合,更為有效的利用現代計算技術實現準確的金融資產定價以及交易機會的發現。量化分析目前已經涉及到金融領域的方方面面,包
括基礎和衍生金融資產定價、風險管理、量化投資等。隨著大數據技術的發展,量化分析還逐步與大數據結合在一起,對海量金融數據實現有效和快速的運算與處
理。在量化金融的時代,選用一種合適的編程語言對于金融模型的實現是至關重要的。在這方面,Python語言體現出了不一般的優勢,特別是它擁有大量的金融計
算庫,并且可以提供與C++,java等語言的接口以實現高效率的分析,成為金融領域快速開發和應用的一種關鍵語言,由于它是開源的,降低了金融計算的成本,
而且還通過廣泛的社交網絡提供大量的應用實例,極大的縮短了金融量化分析的學習路徑。本課程在量化分析與Python語言快速發展的背景下介紹二者之間的關聯,使學員能夠快速掌握如何利用Python語言進行金融數據量化分析的基本方法。
課程二十八、項目實戰:云計算處理大數據深度、智能挖掘技術+地震數據挖掘分析
本課程介紹了基于云計算的大數據處理技術,重點介紹了一款高效的、實時分析處理海量數據的強有力工具——數據立方。數據立方是針對大數據處理的分布式數
據庫,能夠可靠地對大數據進行實時處理,具有即時響應多用戶并發請求的能力,通過對當前主流的大數據處理系統進行深入剖析,闡述了數據立方產生的背景,介
紹了數據立方的整體架構以及安裝和詳細開發流程,并給出了4個完整的數據立方綜合應用實例。所有實例都經過驗證并附有詳細的步驟說明,無論是對于云計算的
初學者還是想進一步深入學習大數據處理技術的研發人員、研究人員都有很好的參考價值。
階段五、大數據、云計算-大數據運維&云計算技術篇
課程二十九、Zookeeper從入門到精通(開發詳解,案例實戰,Web界面監控)
ZooKeeper是Hadoop的開源子項目(GoogleChubby的開源實現),它是一個針對大型分布式系統的可靠協調系統,提供的功能包括:配置維護、命名服務、分
布式同步、組服務等。Zookeeper的FastFail和Leader選舉特性大大增強了分布式集群的穩定和健壯性,并且解決了Master/Slave模式的單點故障重大隱患,這
是越來越多的分布式產品如HBase、Storm(流計算)、S4(流計算)等強依賴Zookeeper的原因。Zookeeper在分布式集群(Hadoop生態圈)中的地位越來越
突出,對分布式應用的開發也提供了極大便利,這是迫切需要深入學習Zookeeper的原因。本課程主要內容包括Zookeeper深入、客戶端開發(Java編程,案例開
發)、日常運維、Web界面監控,“一條龍”的實戰平臺分享給大家。
課程三十、云計算Docker從零基礎到專家實戰教程
Docker是一種開源的應用容器引擎,使用Docker可以快速地實現虛擬化,并且實現虛擬化的性能相對于其他技術來說較高。并且隨著云計算的普及以及對虛擬化技
術的大量需求,使得云計算人才供不應求,所以一些大型企業對Docker專業技術人才需求較大。本教程從基礎的Dokcer原理開始講起,深入淺出,并且全套課程
均結合實例實戰進行講解,讓學員可以不僅能了解原理,更能夠實際地去使用這門技術。
課程三十一、項目實戰:云計算Docker全面項目實戰(Maven+Jenkins、日志管理ELK、WordPress博客
2013年,云計算領域從此多了一個名詞“Docker”。以輕量著稱,更好的去解決應用打包和部署。之前我們一直在構建Iaas,但通過Iaas去實現統一功能還是相當
復雜得,并且維護復雜。將特殊性封裝到鏡像中實現幾乎一致得部署方法,它就是“Docker”,以容器為技術核心,實現了應用的標準化。企業可以快速生成研
發、測試環境,并且可以做到快速部署。實現了從產品研發環境到部署環境的一致化。Docker讓研發更加專注于代碼的編寫,并且以“鏡像”作為交付。極大的縮
短了產品的交付周期和實施周期。
課程三十二、深入淺出OpenStack云計算平臺管理
OpenStack是一個由Rackspace發起、全球開發者共同參與的開源項目,旨在打造易于部署、功能豐富且易于擴展的云計算平臺。OpenStack企圖成為數據中心的
操作系統,即云操作系統。從項目發起之初,OpenStack就幾乎贏得了所有IT巨頭的關注,在各種OpenStack技術會議上人們激情澎湃,幾乎所有人都成為
OpenStack的信徒。這個課程重點放在openstack的部署和網絡部分。課程強調實際的動手操作,使用vmware模擬實際的物理平臺,讓大家可以自己動手去實際搭建
和學習openstack。課程內容包括云計算的基本知識,虛擬網絡基礎,openstack部署和應用,openstack網絡詳解等。
【教學優勢】
1、中國移動互聯網研發培訓開拓者
專注iOS、Android、HTML5、UI、PHP等技術研發培訓,堅持“用良心做教育,做真實的自己”的理念
2、免費試聽優惠政策
推出“兩周免費試聽,不滿意不繳費”的政策,讓學員了解更真實的遠標、了解自己是否適合做開發
3、業內學員畢業薪水高
零學費入學,工作后分期還款,業內學員畢業薪水高,培訓就業協議明確標明薪資,平均薪水專科7000、本科8000、碩士8000
4、專業師資陣容
有責任心,懂教學,擁有大型項目經驗實戰派講師授課,業內專家及企業技術骨干組成教研團隊,準確把握企業需求
【教學風采】
【學校簡介】
遠標教育(深圳市遠標培訓中心),2003年成立,主要提供C++培訓,Linux嵌入式培訓,JAVA培訓,Android培訓,MTK手機開發培訓,.NET培訓等軟件培訓。已輸送20000多名大學生到深圳軟件企業工作,已和300多所高校和深圳3000多家軟件企業建立長期緊密的合作關系。