标签：注意力

2023-10-16剪映编辑阅读(232)评论(0)赞(0)

Ring Attention – 一种内存高效的方法 利用自注意力的分块计算将长序列分布到多个设备上，以克服 Transformer 架构固有的内存限制，从而能够在训练和推理过程中处理较长的序列；能够在保持性能的同时根据设备数量...