熟悉常見的機(jī)器學(xué)習(xí)的算法。
掌握機(jī)器學(xué)習(xí)的算法原理，以及數(shù)據(jù)推導(dǎo)。
學(xué)會使用Python來實現(xiàn)機(jī)器學(xué)習(xí)算法，以及優(yōu)化算法。
掌握scikit-learn擴(kuò)展庫來實現(xiàn)機(jī)器學(xué)習(xí)算法。

機(jī)器學(xué)習(xí)基礎(chǔ)
機(jī)器學(xué)習(xí)簡介
機(jī)器學(xué)習(xí)的種類
監(jiān)督學(xué)習(xí)/無監(jiān)督學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/強(qiáng)化學(xué)習(xí)
批量學(xué)習(xí)和在線學(xué)習(xí)
基于實例與基于模型
機(jī)器學(xué)習(xí)的主要戰(zhàn)挑
數(shù)據(jù)量不足
數(shù)據(jù)質(zhì)量差
無關(guān)特征
過擬合/擬合不足
機(jī)器學(xué)習(xí)任務(wù)
監(jiān)督：分類、回歸
無監(jiān)督：聚類、降維、關(guān)聯(lián)規(guī)則
機(jī)器學(xué)習(xí)基本過程
模型評估指標(biāo)
回歸：R^2, MAE/MSE/RMSE/MAPE
分類：Acc,Recall,Precision,F1，ROC曲線,AUC
模型評估方法
訓(xùn)練集/驗證集
交叉驗證
過擬合評估
過擬合檢驗
過擬合解決方法：正則化
正則化：
L1正則項
L2正則項
模型參數(shù)優(yōu)化
交叉驗證
網(wǎng)格搜索GridSearchCV
隨機(jī)搜索RandomizeSearchCV
機(jī)器學(xué)習(xí)常用庫

回歸任務(wù)算法
線性回歸模型
一元線性回歸
多元線性回歸
線性回歸算法
損失函數(shù)
普通最小二乘法OLS
欠擬合解決方法
多項式回歸
過擬合的優(yōu)化算法：正則化
嶺回歸（Ridge）
套索回歸Lasso
ElasticNet回歸
各種算法的適用場景
超參優(yōu)化
大規(guī)模數(shù)據(jù)集回歸：迭代算法
隨機(jī)梯度下降
批量梯度下降
小批量梯度下降
梯度算法的關(guān)鍵問題
邏輯回歸
邏輯回歸模型
邏輯回歸的算法
原理
數(shù)學(xué)推導(dǎo)
正則項處理
其它優(yōu)化：
迭代樣本的隨機(jī)選擇
變化的學(xué)習(xí)率
求解算法與懲罰項的關(guān)系
多分類處理
ovo
ovr
線性判別分析
判別分析簡介
基本思想
判別分析算法
數(shù)學(xué)推導(dǎo)
類間/類內(nèi)散度矩陣
多分類處理
迭代樣本的隨機(jī)選擇
變化的學(xué)習(xí)率
求解算法與懲罰項的關(guān)系

支持向量機(jī)
支持向量機(jī)簡介
作用：回歸、分類、異常檢測
適用場景
線性SVM分類
基本原理
支持向量
SMO算法
非線性SVM分類
常用核函數(shù)
線性核函數(shù)
多項式核
高斯RBF核
核函數(shù)的選擇原則
線性不可分處理：松弛系數(shù)
決策樹
決策樹模型
構(gòu)建決策樹的三個關(guān)鍵問題
決策樹的訓(xùn)練
決策樹的可視化
決策樹常用算法
ID5
CART
正則化參數(shù)
決策樹預(yù)測的基本步驟

神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)模型
工作原理：加法器、激活函數(shù)
適用場景
神經(jīng)網(wǎng)絡(luò)的建立步驟
BP算法實現(xiàn)
多層感知器MLP
隱藏層的數(shù)量
神經(jīng)元的個數(shù)
樸素貝葉斯
貝葉斯簡介
條件概率
常見貝葉斯網(wǎng)絡(luò)
樸素貝葉斯
算法實現(xiàn)
連續(xù)變量處理：高斯分布
拉普拉斯修正

集成算法
分類模型優(yōu)化思想
優(yōu)化框架
Bagging
Boosting
Bagging集成
原理
隨機(jī)森林
Boosting集成
原理
AdaBoost
無監(jiān)督算法

結(jié)束：課程總結(jié)與問題答疑。