(논문 요약) The Unreasonable Ineffectiveness of the Deeper Layers (Paper)

핵심 내용

• 컨셉: n 개 layer 를 자를때, 가장 영향이 적은 덩어리를 잘라냄. 이후 pretrain 혹은 finetuning 으로 상처를 healing 해줌.
  • intuition: residual 식에서, output 을 가장 적게 변화시키는 레이어들을 없애줌.
    인 경우
    여러 레이어에 걸쳐 차이가 미미한 경우,
• algorithm
  
  

실험