(논문 요약) Generative Representational Instruction Tuning (Paper)
핵심 내용
- Retrieval 과 generation 둘 다 학습.
- Contrastive loss (σ: mean-pooling 이후 cosine similarity, q:query, d:document, τ: temperature hyperparam)
Next-token prediction loss
- 결과: embedding, generation 둘 다 잘하게 할 수 있음.