(논문 요약) Matryoshka Representation Learning (Paper)
핵심 내용
다양한 길이의 feature 를 활용.
Risk minimization loss
- F(xi;θF): 네트워크 feature
- {(x1,y1),…,(xN,yN)}: 총 N 개의 (input, label)
- Feature dimension 이 2048 인 경우, M={8, 16, …, 1024, 2048}
- Network weight 와 linear weights 를 동시에 학습.
- 실험에서는 cm=1 사용.
성능
- 적은 dimension 으로도 좋은 feature 를 뽑을수 있어, 빠른 속도를 낼수 있음.