[실험] Train_dials EDA

[JAEWOOSUN]

Train_dials EDA

Description: Train_dials 데이터 데이터 분석 및 시각화
시작일: 2021년 4월 28일
실험자: Moonjong Shin
제안자: HS J
종료일: 2021년 4월 29일
진행상황: 완료
카테고리: EDA

문제정의

Train, Eval 다이얼로그 분석을 통해 state, slot, value, domain에대한 분포를 알아보고

데이터의 이해를 높인다

---

해결 아이디어

1. 대화 텍스트 토크나이저 별( xlm-roberta, kobert, koelectra) UNK 토큰 비율 확인
2. Trun별 Domain, Slot, Value 등장 빈도수 확인 및 상위 20개 가 전체 state에서 차지하는 비율 확인
3. Train, Eval 도메인 분포 및 비율 유사성 확인

---

진행상황

1. 토크나이저별 UNK 토큰 확인

2. UNK 토큰 비율 및 갯수 확인

3. Turn기준 등장빈도가 높은 state, slot, value, domain 확인

상위 20개의 state가 전체 turn의 state중 차지하는 비율은 26.4% 정도로 나타난다.

4. Turn기준 하위 20개 state

적은 state들은 대체로 다양성이 높은 변수(시간)을 갖는다

5. Train과 Eval data의 Domain분포 비교

코드링크:

https://drive.google.com/file/d/19PRB2kBRpBn16GYyQp5E_LSPoaSfs4PT/view?usp=sharing

---

분석 및 평가

상위 20개 state를

1. 테마가 여행임에도 불구하고 가장 중요한 factor들 (식당, 숙소, 가격대)에서 don't care가 가장 많이 등장
2. 대화별 도메인 분포는 Train_set과 Eval_set이 거의 일치한다.
3. 등장빈도 상위권과 하위권의 imbalance가 심하다.