(논문 요약) Generative Representational Instruction Tuning (Paper)

핵심 내용

  • Retrieval 과 generation 둘 다 학습.
  • Contrastive loss (σ: mean-pooling 이후 cosine similarity, q:query, d:document, τ: temperature hyperparam)
  • Next-token prediction loss

  • 결과: embedding, generation 둘 다 잘하게 할 수 있음.