“lm”摘要未显示所有因子水平

这个问题一遍又一遍地被提出，但不幸的是，没有给出令人满意的答案，这可能是一个合适的重复目标。看来我需要写一个。

---

大多数人都知道这与“对比”有关，但并不是每个人都知道为什么需要它，以及如何理解它的结果。我们必须查看模型矩阵才能完全消化这一点。

假设我们对一个具有两个因素的模型感兴趣：（数值协变量无关紧要，所以我不包含任何因子;响应不会出现在模型矩阵中，所以也要删除它）。请考虑以下可重现的示例：~ f + g

set.seed(0)

f <- sample(gl(3, 4, labels = letters[1:3]))
# [1] c a a b b a c b c b a c
#Levels: a b c

g <- sample(gl(3, 4, labels = LETTERS[1:3]))
# [1] A B A B C B C A C C A B
#Levels: A B C

我们从完全没有对比的模型矩阵开始：

X0 <- model.matrix(~ f + g, contrasts.arg = list(
                   f = contr.treatment(n = 3, contrasts = FALSE),
                   g = contr.treatment(n = 3, contrasts = FALSE)))

#   (Intercept) f1 f2 f3 g1 g2 g3
#1            1  0  0  1  1  0  0
#2            1  1  0  0  0  1  0
#3            1  1  0  0  1  0  0
#4            1  0  1  0  0  1  0
#5            1  0  1  0  0  0  1
#6            1  1  0  0  0  1  0
#7            1  0  0  1  0  0  1
#8            1  0  1  0  1  0  0
#9            1  0  0  1  0  0  1
#10           1  0  1  0  0  0  1
#11           1  1  0  0  1  0  0
#12           1  0  0  1  0  1  0

请注意，我们有：

unname( rowSums(X0[, c("f1", "f2", "f3")]) )
# [1] 1 1 1 1 1 1 1 1 1 1 1 1

unname( rowSums(X0[, c("g1", "g2", "g3")]) ) 
# [1] 1 1 1 1 1 1 1 1 1 1 1 1

所以。在此完整规范中，有 2 列是不可识别的。X0 的列排名为 1 + 3 + 3 - 2 = 5：span{f1, f2, f3} = span{g1, g2, g3} = span{(Intercept)}

qr(X0)$rank
# [1] 5

因此，如果我们用这个拟合线性模型，则 7 个参数中的 2 个系数将为：X0NA

y <- rnorm(12)  ## random `y` as a response
lm(y ~ X - 1)  ## drop intercept as `X` has intercept already

#X0(Intercept)           X0f1           X0f2           X0f3           X0g1  
#      0.32118        0.05039       -0.22184             NA       -0.92868  
#         X0g2           X0g3  
#     -0.48809             NA  

这真正意味着，我们必须在 7 个参数上添加 2 个线性约束，才能获得完整的秩模型。这 2 个约束是什么并不重要，但必须有 2 个线性独立的约束。例如，我们可以执行以下任一操作：

• 从中删除任意 2 列X0;
• 在参数上添加两个和到零的约束，例如我们要求 的系数为 ，并且 和 的系数为 0，而 和 的系数相同。f1f2f3g1g2g3
• 使用正则化，例如，将 Ridge Penalty 添加到 和 。fg

请注意，这三种方法最终会得到三种不同的解决方案：

• 对比;
• 约束最小二乘法;
• 线性混合模型或惩罚最小二乘法。

前两个仍在固定效应建模的范围内。通过“对比”，我们减少参数的数量，直到得到一个完整的秩模型矩阵;而另外两个并没有减少参数的数量，而是有效地降低了有效自由度。

---

现在，你肯定是在追求“对比”的方式。所以，请记住，我们必须删除 2 列。它们可以是

• 一列从和一列从，给一个模型，与和对比;fg~ f + gfg
• 截距，并从 或 中给出一列给模型。fg~ f + g - 1

现在你应该清楚了，在删除列的框架内，你不可能得到你想要的东西，因为你期望只删除 1 列。生成的模型矩阵仍将存在秩缺陷。

如果你真的想把所有的系数都放在那里，请使用约束最小二乘法，或惩罚回归/线性混合模型。

---

现在，当我们有各种因素的相互作用时，事情会变得更加复杂，但想法仍然是一样的。但鉴于我的回答已经足够长了，我不想继续。