“最佳策略：在模型中设置分类阈值与在预测期间设置分类阈值”

问：

我正在处理二元分类任务，并希望了解将类阈值合并到我的模型中的最佳实践。具体来说，我希望确保模型不仅进行二元预测，而且还提供其在每个预测中的置信度的度量。 我正在考虑两种方法：

1. 模型中的阈值：将类阈值直接合并到模型体系结构中，以便根据概率是高于还是低于阈值进行二元预测。

import torch.nn as nn

class CustomBinaryClassifier(nn.Module):
    def __init__(self, in_features, threshold=0.5):
        super(CustomBinaryClassifier, self).__init()
        self.linear = nn.Linear(in_features, 1)
        self.sigmoid = nn.Sigmoid()
        self.threshold = threshold

    def forward(self, x):
        logits = self.linear(x)
        probabilities = self.sigmoid(logits)
        # Apply threshold for class assignment
        classes = (probabilities >= self.threshold).float()
        return classes

# Create an instance of the model with a specified threshold
threshold = 0.5
model = CustomBinaryClassifier(in_features=X.shape[1], threshold=threshold)

2. 阈值作为后处理步骤：根据模型的原始对数计算类概率，并将阈值作为后处理步骤应用，以确定二进制类分配。

import torch

# Assuming you have a trained model 'model' and input data 'X_test'
untrained_preds = model(X_test)
untrained_preds_probs = torch.sigmoid(untrained_preds)

threshold = 0.5
predicted_classes = (untrained_preds_probs >= threshold).float()

1. 每种方法的优缺点是什么，什么时候应该使用其中一种方法？此外，如果我在模型中使用阈值，它是否会影响模型的学习过程及其对预测的信心？

2. 还有一件事，如果我在模型中包含置信度计算（如概率）（如方法 1，即 sigmoid），它会改变我在训练时计算损失的方式吗？它是否使模型在估计其预测的置信度和提高其准确性方面做得更好？

我正在寻找有关如何以及何时在二元分类模型中设置类阈值的实用建议。