簡(jiǎn)介：本課中將系統(tǒng)的講解Spark SQL的核心知識(shí)，并以實(shí)戰(zhàn)的方式，通過分析Nginx訪問日志的實(shí)戰(zhàn)例子，幫助同學(xué)們領(lǐng)略SparkSQL強(qiáng)大簡(jiǎn)便的數(shù)據(jù)分析能力，洞悉SparkSQL調(diào)優(yōu)方式及其核心思想。
第1章 課程介紹
本章介紹Spark SQL在Spark生態(tài)圈的地位和作用，讓大家對(duì)Spark SQL 的總體知識(shí)框架有個(gè)大概的輪廓。
第2章 認(rèn)識(shí)Spark SQL
本章介紹Spark SQL運(yùn)行原理，DataFrame、DataSet和RDD的相互轉(zhuǎn)化和使用場(chǎng)景，并講解Parquet的使用。
第3章 DataFrame/DataSet常用操作
本章介紹DataFrame的過濾，分組，排序操作和列值的增刪改，以及對(duì)Join的優(yōu)化。
第4章 自定義函數(shù)和開窗函數(shù)
本章講解自定義函數(shù)的使用，以及開窗函數(shù)在分組求TopN中的應(yīng)用。
第5章 Nginx訪問日志分析完整實(shí)戰(zhàn)
本章會(huì)講解使用Spark SQL分析Nginx訪問日志的項(xiàng)目。包括了數(shù)據(jù)清洗，存儲(chǔ)，監(jiān)控和優(yōu)化。
第6章 課程總結(jié)
本章將以思維導(dǎo)圖的方式對(duì)本課程所有知識(shí)做一個(gè)總結(jié)，并再次突出其中的重點(diǎn)。
解鎖即可觀看《大數(shù)據(jù)工程師》完整課程視頻
大數(shù)據(jù)工程師
硬核技能帶你攻克熱點(diǎn)商業(yè)項(xiàng)目，從入門直達(dá)中級(jí)工程師水平，掌握DT時(shí)代淘金利器！
【第1周】學(xué)好大數(shù)據(jù)先攻克Linux
【第2周】大數(shù)據(jù)起源之初識(shí)Hadoop
【第3周】Hadoop之HDFS的使用
【第4周】Hadoop之HDFS核心進(jìn)程剖析
【第5周】Hadoop之初識(shí)MR
【第6周】拿來就用的企業(yè)級(jí)解決方案
【第7周】Flume從0到高手一站式養(yǎng)成記
【第8周】數(shù)據(jù)倉(cāng)庫(kù)Hive從入門到小牛
【第9周】Hive擴(kuò)展內(nèi)容
【第10周】快速上手NoSQL數(shù)據(jù)庫(kù)HBase
【第11周】數(shù)據(jù)分析引擎之Impala
【第12周】7天極速掌握Scala語(yǔ)言
【第13周】Spark快速上手
【第14周】Spark性能優(yōu)化的道與術(shù)
【第15周】Spark3.x擴(kuò)展內(nèi)容
【第16周】綜合項(xiàng)目：電商數(shù)據(jù)倉(cāng)庫(kù)之用戶行為數(shù)倉(cāng)
【第17周】綜合項(xiàng)目：電商數(shù)據(jù)倉(cāng)庫(kù)之商品訂單數(shù)倉(cāng)
【第18周】消息隊(duì)列之Kafka從入門到小牛
【第19周】極速上手內(nèi)存數(shù)據(jù)庫(kù)Redis
【第20周】Flink快速上手篇
【第21周】Flink高級(jí)進(jìn)階之路
【第22周】Flink1.15新特性及狀態(tài)的使用
【第23周】Flink1.15之狀態(tài)的容錯(cuò)與一致性
【第24周】FlinkSQL(1.15)快速上手
【第25周】FlinkSQL雙流JOIN詳解
【第26周】全文檢索引擎Elasticsearch
【第27周】Es+HBase仿百度搜索引擎項(xiàng)目
【第28周】直播平臺(tái)三度關(guān)系推薦V1.0
【第29周】直播平臺(tái)三度關(guān)系推薦V2.0
【第30周】數(shù)據(jù)中臺(tái)大屏
【第31周】實(shí)時(shí)OLAP引擎之ClickHouse
【第32周】實(shí)時(shí)數(shù)倉(cāng)-Kafka Eagle+DS
【第33周】實(shí)時(shí)數(shù)倉(cāng)-Flink CDC數(shù)據(jù)采集
【第34周】實(shí)時(shí)數(shù)倉(cāng)-Paimon(數(shù)據(jù)湖)快速上手
【第35周】實(shí)時(shí)數(shù)倉(cāng)-Paimon(數(shù)據(jù)湖)高級(jí)進(jìn)階
【第36周】實(shí)時(shí)數(shù)倉(cāng)-湖倉(cāng)一體項(xiàng)目
【第37周】一站式流式開發(fā)平臺(tái)StreamPark
【第38周】大數(shù)據(jù)分布式SQL網(wǎng)關(guān)Kyuubi