DeltaNet

基于线性注意力的一种变体，引入遗忘门和残差写入机制以增强对历史信息的动态管理能力。