据站长之家报道，UC 伯克利研究人员提出了一项名为 RingAttention 的新方法，以解决深度学习模型中内存需求的挑战。在最新的研究中，研究人员探讨了 Transformer 模型在处理长序列时面临的问题，特别是由于自注意力机制引发的内存需求。RingAttention 通过将自注意力和前馈网络计算块块地分布在多个设备上，实现了内存高效，允许训练超过 500 倍长度的序列。

研究人员的实验证明，RingAttention 可以将 Transformer 模型的内存需求降低，使其能够训练比以前的内存高效方法长 500 倍以上的序列，而不需要对注意力机制进行近似。此外，RingAttention 还允许处理长度超过 1 亿的序列，为处理大规模数据提供了可能性。

原文链接