Attention
/əˈtenʃən/注意力机制跟读一遍
厄·泰·申
点「跟读」听中文慢速念法——记住这一串，开口不慌。
模型读句子时决定「重点盯哪几个词」，就像你划重点。
人话解释
注意力机制解决的问题是「这句话里该重点看谁」。例如「小明养了一只猫，它很胖」，模型要判断「它」指猫还是小明——注意力会给相关的词分配更高权重，效果就像你阅读时用荧光笔划重点：分到的权重越高，这个词对当前这步计算的影响力就越大。正因为有了注意力，模型才能抓住长句中的远距离关系，它是 Transformer 地基里最核心的零件。
例读到「我把苹果给了妹妹，因为她饿了」，你自动知道「她」说的是妹妹——注意力机制干的正是这个划重点的活。