Transformer中的FFN为何先升维再降维？探究其背后的原因与机制

Transformer中的FFN（前馈神经网络）先进行升维再降维的原因在于，升维操作可以扩大模型的表示能力，增加特征维度以提高模型的复杂度和表达能力。而随后的降维操作则有助于筛选关键特征，降低模型复杂度并提高计算效率...

阅读全文 茹雪 479 次浏览 2025-03-27 新闻动态