xgboost.plot_tree：二元特征解释

问：

我构建了一个 XGBoost 模型，并试图检查各个估计器。作为参考，这是一个具有离散和连续输入特征的二元分类任务。输入特征矩阵是 .scipy.sparse.csr_matrix

然而，当我去检查单个估计器时，我发现很难解释二进制输入特征，如下所示。最底部图表中的实值很容易解释 - 其标准在该特征的预期范围内。但是，对二进制特征进行的比较没有意义。这些特征中的每一个都是 1 或 0。 是一个非常小的负数，我想这只是 XGBoost 或其基础绘图库中的一些浮点特性，但是当功能始终为正时，使用这种比较是没有意义的。有人可以帮我了解哪个方向（即 与。 对应于这些二进制特征节点的哪一面是真/假的一面？f60150f60150<X> < -9.53674e-07-9.53674e-07yes, missingno

下面是一个可重现的例子：

import numpy as np
import scipy.sparse
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import CountVectorizer
from xgboost import plot_tree, XGBClassifier
import matplotlib.pyplot as plt

def booleanize_csr_matrix(mat):
    ''' Convert sparse matrix with positive integer elements to 1s '''
    nnz_inds = mat.nonzero()
    keep = np.where(mat.data > 0)[0]
    n_keep = len(keep)
    result = scipy.sparse.csr_matrix(
        (np.ones(n_keep), (nnz_inds[0][keep], nnz_inds[1][keep])),
        shape=mat.shape
    )
    return result

### Setup dataset
res = fetch_20newsgroups()

text = res.data
outcome = res.target

### Use default params from CountVectorizer to create initial count matrix
vec = CountVectorizer()
X = vec.fit_transform(text)

# Whether to "booleanize" the input matrix
booleanize = True

# Whether to, after "booleanizing", convert the data type to match what's returned by `vec.fit_transform(text)`
to_int = True

if booleanize and to_int:
    X = booleanize_csr_matrix(X)
    X = X.astype(np.int64)

# Make it a binary classification problem
y = np.where(outcome == 1, 1, 0)

# Random state ensures we will be able to compare trees and their features consistently
model = XGBClassifier(random_state=100)
model.fit(X, y)

plot_tree(model, rankdir='LR'); plt.show()

运行上述 with 并将 设置为 将生成以下图表：booleanizeto_intTrue

运行上述 with 并将 设置为 将生成以下图表：booleanizeto_intFalse

哎呀，即使我做了一个非常简单的例子，我也会得到“正确”的结果，无论是整数还是浮点类型。Xy

X = np.matrix(
    [
        [1,0],
        [1,0],
        [0,1],
        [0,1],
        [1,1],
        [1,0],
        [0,0],
        [0,0],
        [1,1],
        [0,1]
    ]
)

y = np.array([1,0,0,0,1,1,1,0,1,1])

model = XGBClassifier(random_state=100)
model.fit(X, y)

plot_tree(model, rankdir='LR'); plt.show()