提问人：p.k 提问时间：11/1/2023 更新时间：11/1/2023 访问量：16
序列到序列预测转换器：需要归一化
Sequence to sequence prediction transformer : need for normalization
问：
我正在尝试使用结构化数据创建一个用于序列到序列预测的转换器模型。我们是否需要对输入数据进行规范化？作为标准，转换器架构已经实现了层规范化。
如果我们需要归一化，应该如何归一化？只有编码器的输入或解码器的输入也需要归一化？但是，解码器输入本质上是我们将要生成的输出。我怎样才能用它们的平均值和std对每个序列进行归一化（局部归一化）？
答： 暂无答案
评论