Transformer 理解

一、向量矩阵点积相乘可以表示相似度想像一个三维坐标轴将两个向量点积如果结果为正两向量方向一致相似度高结果为 0两向量垂直结果为负两向量背离相似度低二、注意力机制Q、K、V理解对应图中E 为 VQ询问谁与我相似展示自己的特征 K回答谁与我相似也展示自己的特征如上一点积是为了寻找相似度“谁与我更相似呢”点积越大代表相似度越高代表其互相注意度也高比如 fluffy 和 blue 与 creature归一化后