(논문 요약) Together MoA — collective intelligence of open-source models pushing the frontier of LLM capabilities (Paper)

핵심 내용

• Mixture of Agents
  • Proposers: 답변 생성 ($A_{1,1}, A_{1,2}, A_{1,3}$)
  • Aggregators: 답변들 요약
• aggregator prompt
  

실험 결과

• 다른 모델의 output 을 같이 쓰면 성능이 올라감
  
• Proposer 늘리면 성능 증가
  
• 모델 ablation
  
• cost-effectiveness