(논문 요약) Large Concept Models: Language Modeling in a Sentence Representation Space (Blog)

핵심 내용

• SONAR: sentence embedding space that supports up to 200 languages in both text and speech modalities.
  

• Large Concept Model: trained to perform autoregressive sentence prediction in an embedding space.
  

• Diffusion 으로 모델링 하는 부분 존재하나 motivation 에 대해서 파악하지 못함.

실험 결과

• 논문에서는 주로 요약 성능 측정