scikit-learn 是機(jī)器學(xué)習(xí)領(lǐng)域非常熱門的一個開源庫，基于Python 語言寫成。可以免費(fèi)使用。

上面有很多的教程，編程實(shí)例。而且還做了很好的總結(jié)，下面這張圖基本概括了傳統(tǒng)機(jī)器學(xué)習(xí)領(lǐng)域的大多數(shù)理論與相關(guān)算法。

?

我們可以看到，機(jī)器學(xué)習(xí)分為四大塊，分別是 classification (分類)， clustering (聚類), regression (回歸), dimensionality reduction (降維)。

給定一個樣本特征 x, 我們希望預(yù)測其對應(yīng)的屬性值 y, 如果 y 是離散的, 那么這就是一個分類問題，反之，如果 y 是連續(xù)的實(shí)數(shù), 這就是一個回歸問題。

如果給定一組樣本特征, 我們沒有對應(yīng)的 y, 而是想發(fā)掘這組樣本在 D 維空間的分布, 比如分析哪些樣本靠的更近，哪些樣本之間離得很遠(yuǎn), 這就是屬于聚類問題。

如果我們想用維數(shù)更低的子空間來表示原來高維的特征空間, 那么這就是降維問題。

classification & regression

無論是分類還是回歸，都是想建立一個預(yù)測模型 H，給定一個輸入 x, 可以得到一個輸出 y:

不同的只是在分類問題中, y 是離散的; 而在回歸問題中 y 是連續(xù)的。所以總得來說，兩種問題的學(xué)習(xí)算法都很類似。所以在這個圖譜上，我們看到在分類問題中用到的學(xué)習(xí)算法，在回歸問題中也能使用。分類問題最常用的學(xué)習(xí)算法包括 SVM (支持向量機(jī)) , SGD (隨機(jī)梯度下降算法), Bayes (貝葉斯估計(jì)), Ensemble, KNN 等。而回歸問題也能使用 SVR, SGD, Ensemble 等算法，以及其它線性回歸算法。

clustering

聚類也是分析樣本的屬性, 有點(diǎn)類似classification, 不同的就是classification 在預(yù)測之前是知道 y 的范圍, 或者說知道到底有幾個類別, 而聚類是不知道屬性的范圍的。所以 classification 也常常被稱為 supervised learning, 而clustering就被稱為 unsupervised learning。
clustering 事先不知道樣本的屬性范圍，只能憑借樣本在特征空間的分布來分析樣本的屬性。這種問題一般更復(fù)雜。而常用的算法包括 k-means (K-均值), GMM (高斯混合模型) 等。

dimensionality reduction

降維是機(jī)器學(xué)習(xí)另一個重要的領(lǐng)域, 降維有很多重要的應(yīng)用, 特征的維數(shù)過高, 會增加訓(xùn)練的負(fù)擔(dān)與存儲空間, 降維就是希望去除特征的冗余, 用更加少的維數(shù)來表示特征. 降維算法最基礎(chǔ)的就是PCA了, 后面的很多算法都是以PCA為基礎(chǔ)演化而來。