(논문 요약) Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention (Paper)

핵심 내용

• 컨셉:
  • 이전 Key, Value 들을 compressive memory 형태로 유지.
  • 현재의 Query 를 통해서 원하는 부분 추출.
  • 현재의 Multi-Head-Attention 과 interpolation (head 당 interpolation weight 학습).

• Memory:
• Memory Retrieval:
  • $Q\in \mathbb{R}^{N\times d_{key}}$
  • $M_{s-1}\in \mathbb{R}^{d_{key}\times d_{value}}$
  • $A_{mem}\in \mathbb{R}^{N\times d_{value}}$ (N: input segment length)
  • $\sigma$: nonlinear activation (논문에서는 ELU+1)
  • $z_{s-1}\in \mathbb{R}^{d_{key}}$: normalization term
• Memory Update:
  • update linear:
  • update linear delta:

비교

실험