Learning Type-Aware Embeddings for Fashion Compatibility

[chullhwan-song]

https://arxiv.org/abs/1803.09196

[chullhwan-song]

abstract

• Outfits = 많은 다른 타입의 구성 > top, bottom, shoes
• similarity vs compatibility
• jointly learns notions of item similarity and compatibility

개념

구조

• image > 18-layer Deep Residual Network
• text > HGLMM Fisher vector encoding [17] of word2vec

Respecting Type in Embedding

• parametern theta를 학습 시키는 embedding feature > 학습 network
  
• compatibility pairt
• taxonomy(분류) 타입
• 이 조건에서, triplet를 구성하기 위해서, u, v 의 type의 개념을 삽입 > similairty 가 아니고 compatibility임을 인식
• image triplet로 구성 > 이 anchor 와 pos, neg는 그 타입(카테고리)이 다르다. 다만, 이때, pos==neg은 같은 타입
  
  • anchor image
  • positive image
  • negative image
• 정리하자면, anchor image 와 카테고리(items in outfit)가 다르지만, (anchor image, positive image) 는 compatible 하고, (anchor image, negative image) 는 non-compatible란 의미
• 이렇게 구성한 triplet를 이용한 loss를 다음과 같이
  

Constraints on the learned

• 부가적으로 similairty 와 mulit-modal visual semantic embedding 방법을 추가
• similairty
  
• visual semantic embedding > text와 image간의 embedding기법 > 이전 리뷰들 참고 예 - DeViSE: A Deep Visual-Semantic Embedding Model #1
  
• 최종 loss
  

Experiment

• 그냥 compatibility+ triplet loss가 가장 효과가 있고, visual semantic embedding & similarity는 그닥 도움이 안되는 것 같다.
• compatibility > 근데 패션에 대해 몰라서 그런지..잘 어울리는지 모르겠다.
  
  
  
• fill-in-the-blank task
  
• 예 결과