更新時間:2020-05-14 來源:黑馬程序員 瀏覽量:
flink從入門到精通視頻教程 | ||
中級 | 共106節(jié)課 | |
了解Flink,了解集群環(huán)境搭建運維,學(xué)習(xí)Flink中重要概念、原理和API的用法,通過知識點 + 案例教學(xué)法幫助小白快速掌握Flink。提取碼:zdsz | ||
課程亮點:
1.知識體系完備,從小白到大神各階段讀者均能學(xué)有所獲。
2.生動形象,化繁為簡,講解通俗易懂。
3.結(jié)合工作實踐及分析應(yīng)用,培養(yǎng)解決實際問題的能力。
4.每一塊知識點, 都有配套案例, 學(xué)習(xí)不再迷茫。
課程內(nèi)容:
1.Flink框架簡介
2.Flink集群搭建運維
3.Flink Dataset開發(fā)
4.Flink 廣播變量,分布式緩存,累加器
5.Flink Datastream開發(fā)
6.Flink Window操作
7.Flink watermark與側(cè)道輸出
8.Flink狀態(tài)計算
9.Flink容錯checkpoint與一致性語義
10.Flink進階 異步IO,背壓,內(nèi)存管理
11.Flink Table API與SQL
適用人群:
1.對實時計算領(lǐng)域或者Flink感興趣的在校生及應(yīng)屆畢業(yè)生。
2.對目前職業(yè)有進一步提升要求,希望從事大數(shù)據(jù)行業(yè)高薪工作的在職人員。
3.對大數(shù)據(jù)行業(yè)感興趣的相關(guān)人員。
推薦了解黑馬成員大數(shù)據(jù)培訓(xùn)課程。
課程目錄介紹
第一章 Flink簡介
01.Flink的引入
02.什么是Flink
03.Flink流處理特性
04.Flink基石
05.批處理與流處理
第二章 Flink架構(gòu)體系
01.Flink中重要角色
02.無界數(shù)據(jù)流與有界數(shù)據(jù)流
03.Flink數(shù)據(jù)流編程模型
04.Libraries支持
第三章 Flink集群搭建
01.環(huán)境準備工作
02.local模式
03.Standalone集群模式
04.Standalone-HA集群模式
05.Flink On Yarn模式-介紹
06.Flink On Yarn模式-準備工作
07.Flink On Yarn模式-提交方式-Session會話模式
08.Flink On Yarn模式-提交方式-Job分離模式
09. Flink運行架構(gòu)-Flink程序結(jié)構(gòu)
10. Flink運行架構(gòu)-Flink并行數(shù)據(jù)流
11. Flink運行架構(gòu)-Task和Operator chain
12. Flink運行架構(gòu)-任務(wù)調(diào)度與執(zhí)行
13. Flink運行架構(gòu)-任務(wù)槽與槽共享
第四章 Dataset開發(fā)
01.入門案例
02.入門案例-構(gòu)建工程、log4j.properties
03.入門案例-代碼運行yarn模式運行
04.DataSource-基于集合
05.DataSource-基于文件
06.Transformation開發(fā)
07.Datasink-基于集合
08.Datasink-基于文件
09.執(zhí)行模式-本地執(zhí)行
10.執(zhí)行模式-集群執(zhí)行
11.廣播變量
12.累加器
13.分布式緩存
14.擴展并行度的設(shè)置
第五章 DataStream開發(fā)
01.入門案例-流處理流程
02.入門案例-示例、參考代碼
03.流處理常見Datasource
04.Datasource基于集合
05.Datasource基于文件
06.Datasource基于網(wǎng)絡(luò)套接字
07.Datasource-自定義source-SourceFunction
08.Datasource-自定義source-ParallelSourceFunction
09.Datasource-自定義source-RichParallelSourceFunction
10.Datasource-自定義source-MysqlSource
11.Datasource-自定義source-KafkaSource
12.DataStream-transformations
13.DataSink-輸出數(shù)據(jù)到本地文件
14.DataSink-輸出數(shù)據(jù)到本地集合
15.DataSink-輸出數(shù)據(jù)到HDFS
16.DataSink-輸出數(shù)據(jù)到mysql,kafka,Redis
第六章 Flink中Window
01.為什么需要window
02.什么是window
03.Flink支持的窗口劃分方式
04.Time-window之tumbling-time-window
05.Time-window之sliding-time-window
06.Time-window之session-window
07.Count-window之tumbling-count-window
08.Count-window之sliding-count-window
09.window-Apply函數(shù)
第七章 Eventime-watermark
01.時間分類
02.watermark之數(shù)據(jù)延遲產(chǎn)生
03.watermark之解決數(shù)據(jù)延遲到達
04.watermark綜合案例
05.watermark之數(shù)據(jù)丟失
06.watermark+側(cè)道輸出保證數(shù)據(jù)不丟失
第八章 Flink狀態(tài)管理
01.狀態(tài)管理概述之無狀態(tài)計算
02.狀態(tài)管理概述之有狀態(tài)計算
03.狀態(tài)管理概述之有狀態(tài)計算場景
04.狀態(tài)的類型之Managed State&Raw State
05.狀態(tài)的類型之Keyed State&Operator State
06.API演示之ValueState
07.API演示之MapState
08.案例之OperatorState
09.案例之BroadcastState
第九章 Flink容錯&重啟策略
01.checkpoint是什么
02.checkpoint執(zhí)行流程
03.checkpoint持久化存儲
04.案例之checkpoint設(shè)置演示
05.Flink重啟策略之重啟策略配置
06.案例之重啟策略演示
07.Savepoint與checkpoint區(qū)別
08.案例之savepoint演示
09.端到端一致性語義解釋
10.案例之kafka實現(xiàn)EndToEnd一致性語義
11.案例之Mysql實現(xiàn)EndToEnd一致性語義
第十章 Flink擴展_異步IO_反壓_內(nèi)存管理
01.異步IO之使用前提
02.異步IO之核心API Async IO
03.案例之異步IO案例
04.什么是反壓問題
05.Flink如何解決反壓問題
06.Flink內(nèi)存管理
07.定制化內(nèi)存管理
08.定制化序列化框架
09.使用堆外內(nèi)存
第十一章 Flink-sql開發(fā)
01.Flink sql背景
02.sql常用算子之select
03.sql常用算子之where
04.sql常用算子之distinct
05.sql常用算子之group by
06.sql常用算子之union_union all
07.sql常用算子之join
08.sql常用算子之group window
09.案例之批處理sql案例
10.案例之流處理sql案例
Hadoop與Spark的區(qū)別有哪些?【大數(shù)據(jù)培訓(xùn)】
2020-04-24Spark計算框架在處理數(shù)據(jù)時有什么優(yōu)勢?【大數(shù)據(jù)培訓(xùn)】
2020-04-24Spark發(fā)展史:讓你了解是什么Spark?
2020-04-23機器學(xué)習(xí)可以應(yīng)用于哪些領(lǐng)域?【大數(shù)據(jù)培訓(xùn)】
2020-04-23什么是機器學(xué)習(xí)?【大數(shù)據(jù)培訓(xùn)】
2020-04-23大數(shù)據(jù)培訓(xùn)之數(shù)據(jù)可視化教程
2020-03-22