NLP-блок курса "Современный анализ данных" (ФКН НИУ ВШЭ), 2020

Занятие 1: Введение в автоматическую обработку текстов. Частотный анализ. Морфологический анализ.

• Вводная лекция, препроцессинг текста
• Препроцессинг текста + анализ тональности
• Регулярные выражения

Занятие 2: Дистрибутивная семантика. Модели word2vec и fastText. Классификация текстов.

• Word embeddings
• Классификация с помощью CNN

ДЗ 1 Классификация новостей

Соревнование: https://www.kaggle.com/c/lenta-classification-2020/

Решение ДЗ

Занятие 3: Снижение размерности в NLP. Тематические моделирование. Синтаксический парсинг.

• Тематическое моделирование
• Синтаксический парсинг

Занятие 4: Языковые модели. Статистические и нейросетевые языковые модели.

• Языковые модели и генерация текста
• Transformer-based архитектуры