(논문 요약) Generative Representational Instruction Tuning (Paper)

핵심 내용

• Retrieval 과 generation 둘 다 학습.
  
• Contrastive loss ($\sigma$: mean-pooling 이후 cosine similarity, q:query, d:document, $\tau$: temperature hyperparam)
  

• Next-token prediction loss
  

• 결과: embedding, generation 둘 다 잘하게 할 수 있음.