使 SVM 在 python 中运行得更快-解网

问：

在 python 中对 svm 使用以下代码：

from sklearn import datasets
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC
iris = datasets.load_iris()
X, y = iris.data, iris.target
clf = OneVsRestClassifier(SVC(kernel='linear', probability=True, class_weight='auto'))
clf.fit(X, y)
proba = clf.predict_proba(X)

但这需要大量的时间。

实际数据维度：

train-set (1422392,29)
test-set (233081,29)

我怎样才能加快速度（并行或其他方式）？请帮忙。我已经尝试过 PCA 和下采样。

我有6个班级。编辑：找到 http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.SGDClassifier.html 但我希望进行概率估计，而 svm 似乎并非如此。

编辑：

from sklearn import datasets
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC,LinearSVC
from sklearn.linear_model import SGDClassifier
import joblib
import numpy as np
from sklearn import grid_search
import multiprocessing
import numpy as np
import math

def new_func(a):                              #converts array(x) elements to (1/(1 + e(-x)))
    a=1/(1 + math.exp(-a))
    return a

if __name__ == '__main__':
    iris = datasets.load_iris()
    cores=multiprocessing.cpu_count()-2
    X, y = iris.data, iris.target                       #loading dataset

    C_range = 10.0 ** np.arange(-4, 4);                  #c value range 
    param_grid = dict(estimator__C=C_range.tolist())              

    svr = OneVsRestClassifier(LinearSVC(class_weight='auto'),n_jobs=cores) ################LinearSVC Code faster        
    #svr = OneVsRestClassifier(SVC(kernel='linear', probability=True,  ##################SVC code slow
    #   class_weight='auto'),n_jobs=cores)

    clf = grid_search.GridSearchCV(svr, param_grid,n_jobs=cores,verbose=2)  #grid search
    clf.fit(X, y)                                                   #training svm model                                     

    decisions=clf.decision_function(X)                             #outputs decision functions
    #prob=clf.predict_proba(X)                                     #only for SVC outputs probablilites
    print decisions[:5,:]
    vecfunc = np.vectorize(new_func)
    prob=vecfunc(decisions)                                        #converts deicision to (1/(1 + e(-x)))
    print prob[:5,:]

编辑 2：user3914041 的答案产生了非常差的概率估计。

python scikit-learn SVM

尝试 Continuum 的 MKL 优化，请参阅 store.continuum.io/cshop/mkl-optimizations。他们提供 30 天免费试用，费用为 99 美元。我不是销售代表，但我使用他们的 Anaconda Python 发行版并喜欢它 - 它是在 Spark 峰会培训中推荐的。顺便说一句，Spark 支持 SVM，即使在小型 Spark 集群上运行它也会大大提高性能，请参见 spark.apache.org/docs/1.1.0/...。

1赞 yangjie 7/29/2015

@TrisNefzger Spark 将不起作用，因为它不支持 SVM 的概率估计

答：

23赞 ldirer 7/29/2015 #1

SVM 分类器不那么容易扩展。从文档中，关于 .sklearn.svm.SVC

拟合时间复杂度大于样本，这使得很难扩展到具有多个一对 10000 个样本。

在scikit-learn中，您可以更好地扩展。显然，它可以处理您的数据。svm.linearSVC

或者，您可以使用另一个分类器。如果你想要概率估计，我建议使用逻辑回归。逻辑回归的另一个优点是不需要概率校准来输出“正确”的概率。

编辑：

我不知道复杂性，最后我在用户指南中找到了信息：linearSVC

另请注意，对于线性情况，LinearSVC 中使用的算法由 lib线性实现比其效率高得多基于 libsvm 的 SVC 对应项，几乎可以线性扩展到数百万样本和/或特征。

要从中获取概率，请查看此链接。它与我上面链接的概率校准指南只有几个链接，并且包含一种估计概率的方法。即：linearSVC

    prob_pos = clf.decision_function(X_test)
    prob_pos = (prob_pos - prob_pos.min()) / (prob_pos.max() - prob_pos.min())

请注意，如果不进行校准，估计值可能会很差，如链接所示。

如果您想尽可能多地坚持使用 SVC 并在完整数据集上进行训练，则可以使用在数据子集上训练的 SVC 集成来减少每个分类器的记录数（这显然对复杂性有二次影响）。Scikit 通过包装器支持这一点。与单个分类器相比，这应该为您提供相似（如果不是更好）的准确性，并且训练时间要少得多。也可以使用该参数将各个分类器的训练设置为并行运行。BaggingClassifiern_jobs

或者，我也会考虑使用随机森林分类器 - 它本身支持多类分类，速度很快，并且在设置得当时给出了相当好的概率估计。min_samples_leaf

我对虹膜数据集进行了快速测试，该数据集使用 10 个 SVC 的集合进行了 100 次测试，每个 SVC 在 10% 的数据上进行了训练。它比单个分类器快 10 倍以上。这些是我在笔记本电脑上得到的数字：

单SVC：45s

Ensemble SVC：3 秒

随机森林分类器：0.5s

请参阅下面我用于生成数字的代码：

import time
import numpy as np
from sklearn.ensemble import BaggingClassifier, RandomForestClassifier
from sklearn import datasets
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC

iris = datasets.load_iris()
X, y = iris.data, iris.target

X = np.repeat(X, 100, axis=0)
y = np.repeat(y, 100, axis=0)
start = time.time()
clf = OneVsRestClassifier(SVC(kernel='linear', probability=True, class_weight='auto'))
clf.fit(X, y)
end = time.time()
print "Single SVC", end - start, clf.score(X,y)
proba = clf.predict_proba(X)

n_estimators = 10
start = time.time()
clf = OneVsRestClassifier(BaggingClassifier(SVC(kernel='linear', probability=True, class_weight='auto'), max_samples=1.0 / n_estimators, n_estimators=n_estimators))
clf.fit(X, y)
end = time.time()
print "Bagging SVC", end - start, clf.score(X,y)
proba = clf.predict_proba(X)

start = time.time()
clf = RandomForestClassifier(min_samples_leaf=20)
clf.fit(X, y)
end = time.time()
print "Random Forest", end - start, clf.score(X,y)
proba = clf.predict_proba(X)

如果要确保每条记录只用于训练一次，则可以将参数设置为 False。BaggingClassifierbootstrap

使 SVM 在 python 中运行得更快

Making SVM run faster in python

评论

评论

评论

评论