[피어세션] 2021-06-08

[nureesong]

제출용 모델 k-fold 돌리기

1. Swin_base : 제발 터지지 않기를🙏🏻
2. My_SATRN - EffNetv2
3. Deep ASTER : 앙상블 보조재료

---

실험결과 & 진행 상황

• gt 길이가 가장 긴 토큰 3개 제거(data_info_2.txt)하면 GPU 사용량 20% 감소해서 swin_base 돌릴 수 있다.
  SATRN도 outlier 제거하면 decode hidden_dim을 더 늘릴 수 있을 것이다.
• Deep ASTER → 형민이 꼬시는 데 성공ㅋㅋㅋㅋ
• 후처리 모델 고민
  → ground-truth 레이블링에 시간이 가장 많이 소요될 것으로 예상. 룰베이스로 후처리하는 게 강력할 것 같다. soft-masking은 불안하다.
  → BERT는 일단 안 하는 걸로....재생성하다가 잘못 건드릴 수도 있을 것 같다.

katex 문법을 파악하면 도움이 될 것이다.

---

멘토링 17:30 ~ 18:00

• 학습 중에 GPU 메모리 사용량이 점점 증가하는 이유가 궁금합니다. 에폭이 지날수록 점점 사용량이 증가해서 터집니다..😂
  패딩 사이즈의 영향이 크다. max_length가 늘어나면 메모리 사용량이 늘어날 수 있다.
  cuda가 정상적으로 flash가 되지 않을 때가 있다. 그래서 loss를 지워서 메모리를 안정적으로 확보한다.
• 서버 제출 방식으로 바뀌어서 궁금한 점이 있습니다. code/inference.py에 앙상블 코드를 추가한 뒤 서버를 저장해서 제출하는 게 맞을까요??
  (여러 개의 .pth 파일을 서버에 올리면 서버 저장이 안정적으로 될까요..?? 지금 .pth 파일 하나만 올려놔도 서버 저장이 잘 안 됩니다.)
  ⇒ inference.py에 앙상블 코드를 추가해도 되지만 서버는 불안정할 것이다...ㅎ
• 면접 준비에 필수적인 딥러닝 기본 지식?
  신입에게 중요한 점: 전반적인 프로젝트의 파이프라인 같은 프로세스는 확실히 알아야 한다.
  데이터 수집.정제 → 엔지니어링.모델링 → 서빙
  딥러닝.머신러닝 모델들만 공부하는 것보다 전반적인 프로세스를 이해하고 있는 사람이 되자!
  머신러닝은 feature engineering에 의해 성능이 많이 갈리기 때문.
  큰 흐름을 잡고 난 뒤, 본인의 관심 파트를 집중적으로 공부하자.
  ML ops도 공부해보면 취업 쪽에 도움이 된다. 데이터를 다루는 금융.의료 등 많은 회사들은 DB 구축 및 자동화, 데이터 다루는 사람이 많이 없다. 틈새 시장. 모델링할 줄 아는 사람은 너무 많다.
  실전에서는 성능을 쥐어짜는 것이 그렇게 중요하지는 않다. 어느 정도의 성능만 나오면 서빙 가능하기 때문.
• 7분이라는 짧은 시간 안에 효과적인 발표 방법??
  회사 입장 : 대부분의 경우 모델링보다도 실질적으로 어떻게 회사에 써먹을 수 있는지에 관심.
  비즈니스 모델을 구축하고 어떻게 수익을 낼 것인지 궁금해 함.
  교수님 : 모델링. 최신기술에 관심
  대회 운영진 : 대회 진행 구성. 짜임새 등을 중점적으로 봄.
  예) 신용카드 사기 탐지 대회 → 실제 현업에서 어떻게 사용할 수 있겠냐고 질문 받음. 어떤 데이터, 모델링, method가 있으면 어떤 결과를 예상할 수 있는지.
  예) [OCR] 메뉴판 사진을 찍으면 인식하는 어플 개발
• 회사에서 신입 개발자에게 기대하는 수준?
  시켰을 때 안 까먹고 잘 따라올 수 있는 사람을 원할 것이다. 부캠은 재교육하는 비용이나 시간을 줄이기 위해 준비된 인재를 영입하려는 목적. 빠른 러닝커브를 어필하는 것!!