(논문 요약) Matryoshka Representation Learning (Paper)

핵심 내용

  • 다양한 길이의 feature 를 활용.

  • Risk minimization loss

    • F(xi;θF): 네트워크 feature
    • {(x1,y1),…,(xN,yN)}: 총 N 개의 (input, label)
    • Feature dimension 이 2048 인 경우, M={8, 16, …, 1024, 2048}
    • Network weight 와 linear weights 를 동시에 학습.
    • 실험에서는 cm=1 사용.

성능

  • 적은 dimension 으로도 좋은 feature 를 뽑을수 있어, 빠른 속도를 낼수 있음.