在分类任务中解释 iml 的累积局部效应 （ALE） 值

问：

我正在使用 R 中的包提供的 ALE 实现。这个包附有通常的文档、一个小插图，甚至是一本非常好的书。iml

我研究了这三个方法，试图弄清楚分类任务中生成的ALE值的确切解释。我确实有一个高层次的理解，即：当从一个特征值移动到相邻的特征值时，增加ALE值意味着模型预测特定类别的概率增加了。

我无法弄清楚的是：不同情况下的确切 ALE 值是多少，它是使用从模型中提取的概率还是通过提取这些概率？我根据 iml 文档和插入符号文档将三种不同的分类模型混淆在一起：imltype

1. 基于RF的RF，它不显式提取类概率caret
2. 一个基于RF的RF，它显式提取类概率caret
3. 基于 DTrpart

然后，我以两种方式绘制了它们：iml

1. 使用 type=“prob”（根据文档，我可能应该为分类模型做些什么：“经典用例是说分类模型的 type=”prob“）iml
2. 不使用 type=“prob”，而是使用 “raw”（如果可能）或“class”

这给了我六个图（代码见下文），其中只有两个在质量和数量上是相同的（#3 和 #6），另一个至少在质量上是相同的 （#1），另外三个在质量上只是有点相似（#1、#2 和 #5）：

我了解到一个人不应该在一篇文章中提出多个问题，但这些问题是如此密切相关，以至于我觉得为每个问题创建一个单独的帖子会令人困惑。

• #1 和 #2 是否只是由于两者的随机性而略有不同 RF 模型，但是我是否从基于的 RF 模型中提取概率真的对 ALE 没有作用？caretiml
• 如果是，为什么 #4 和 #5 如此不同，因为它们也只是通过与 #1 和 #2 相同的两个射频模型的随机性而有所不同？
• 为什么 #3 看起来与 #4 和 #6 相似，尽管一个是“prob”（可能是正确的），一个是“prob”类型，一个是“class”类型（两者都可能不正确）？type

y 轴上真正放的是什么？它如何取决于我是否通过以下方式提取概率？为什么“错误”并不总是有所作为？carettype

library(rpart)
library(caret)
library(iml)

data(iris)
TrainData <- iris[,1:4]
TrainClasses <- iris[,5]

## Train three different models
# RF w/o extracting probabilities
cntrl_noprobs<-trainControl(method = "oob", number=5, sampling="up", search="grid", verboseIter=TRUE, savePredictions=TRUE, classProbs=FALSE)
rf_noprobs <- caret::train(TrainData, TrainClasses, method="rf", ntree=100, metric="Kappa", trControl=cntrl_noprobs)
# RF w/ extracting probabilities
cntrl_probs<-trainControl(method = "oob", number=5, sampling="up", search="grid", verboseIter=TRUE, savePredictions=TRUE, classProbs=TRUE)
rf_probs <- caret::train(TrainData, TrainClasses, method="rf", ntree=100, metric="Kappa", trControl=cntrl_probs)
# DT
dt <- rpart(Species ~ ., data = iris)

## Create ALE plots with type="prob"
mod_rf_noprobs_prob <- Predictor$new(rf_noprobs, data = iris, type = "prob")
plot(FeatureEffect$new(mod_rf_noprobs_prob, feature = "Petal.Width")) + ggtitle("caret classProbs=FALSE | iml type=prob")
mod_rf_probs_prob <- Predictor$new(rf_probs, data = iris, type = "prob")
plot(FeatureEffect$new(mod_rf_probs_prob, feature = "Petal.Width")) + ggtitle("caret classProbs=TRUE | iml type=prob")
mod_dt_prob <- Predictor$new(dt, data = iris, type = "prob")
plot(FeatureEffect$new(mod_dt_prob, feature = "Petal.Width")) + ggtitle("rpart | iml type=prob")

## Create ALE plots with type="raw" or "class"
mod_rf_noprobs_raw <- Predictor$new(rf_noprobs, data = iris, type = "raw")
plot(FeatureEffect$new(mod_rf_noprobs_raw, feature = "Petal.Width")) + ggtitle("caret classProbs=FALSE | iml type=raw")
mod_rf_probs_raw <- Predictor$new(rf_probs, data = iris, type = "raw")
plot(FeatureEffect$new(mod_rf_probs_raw, feature = "Petal.Width")) + ggtitle("caret classProbs=TRUE | iml type=raw")
mod_dt_class <- Predictor$new(dt, data = iris, type = "class")
plot(FeatureEffect$new(mod_dt_class, feature = "Petal.Width")) + ggtitle("rpart | iml type=class")