[Day 13 - 5/12] SOM-DST, Transformer-DST

[dkswndms4782]

SOM-DST

창우 : SOM-DST 발표.
문종 : 에서 의 의미는 concat인가요?
→ 네네
이 전체 state를 가지고 있는건가요?
→ 네네 압축적으로 표현하는 역할.
segment id는 어떻게 나눈걸까?
→ 턴별로 나눈 것? t-1과 t로 segment id가 나뉠 줄 알았는데 기준이 살짝 애매하다.
→ segment id를 잘 다루는 구현을 하는것도 좋을것같다.

---

Transformer-dst

재우 : Transformer-dst발표

Transformer-dst : som-dst로부터 파생된 느낌.

: masking하는 역할. 이게 왜 필요한지 의문.

문종 : hidden state를 re-use한다고 했는데 이게 parameter를 sharing한다는 의밍니가요?
→ 넵. 나왔던 output들을 sharing한다고 봐도 된다. (재우)
→ last hidden layer만 sharing하는건지, 전체 파라미터를 sharing하는 건지. (문종)
→ encoder에서 나온 그 turn에 대한 결과가 나왔으면 그 값을 그대로 attention에 써주는게 아닐까...(희석) 코드를 보거나 해야할거같아요

---

TRADE 모델 꿔=바로우 100프로 오답률의 비밀

[upstage 토론게시판 참조]http://boostcamp.stages.ai/competitions/25/discussion/post/307

---

학습시간 단축을 위한 방법

[upstage 토론게시판 참조]http://boostcamp.stages.ai/competitions/25/discussion/post/301

→ 이를 토대로 데이터셋의 pickle파일 만들기(희석님)
→ 만약 파일이 있으면 불러와서 사용, 없다면 만드는 함수를 argument로 불러와서 사용