imported>Amshabalin: Migrated current public revision from wiki.cs.hse.ru

2023-12-06T21:55:31Z

Migrated current public revision from wiki.cs.hse.ru

Новая страница

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам.

В курсе мы постараемся дать вам понять и прочувствовать, что происходит в мире естественной обработки языка. Какие задачи бывают, какие проблемы встречаются в ходе их решения. Мы покажем, что NLP — это не набор пар (задача, решение), а общие идеи, которые применимы для решения множества задач и отражают некоторую общую концепцию.

== Расписание ==

Лекции: каждый четверг в 13:00. [https://us06web.zoom.us/j/82787261695?pwd=NMn5vbXnRMZyYUwWUupRt3fuku9dEI.1 Ссылка на зум.]

Семинары: каждый четверг в 14:40. [https://us06web.zoom.us/j/87691588564?pwd=sjjlq6PGnfytOblOabfCenyj3HeoHA.1 Сашин зум], [https://us06web.zoom.us/j/89472421221?pwd=KJSmLyd4tRD1EMkTTGOWYdBGSNDtvv.1 Славин зум].

== Полезные ссылки ==

Общий чат курса в telegram: https://t.me/+Nc5s_kMhUE44MWM6

Репозиторий курса на github: https://github.com/ashaba1in/hse-nlp

Плейлист с записями лекций: https://www.youtube.com/playlist?list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB

Ссылка на anytask: https://anytask.org/course/1053

Инвайты: Сашина группа - '''Vai3xuK''', Славина группа - '''Kutq97v'''

[https://docs.google.com/spreadsheets/d/1J7zVSrdglNnnVgoTmrgC1YlPBlY1M8LViqjRlLdC0MY/edit?usp=sharing Табличка] с оценками.

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/leksious Алексей Панков]
|-
| [https://t.me/meshchaninov01 Вячеслав Мещанинов] ||
|-
|}

== Темы курса ==

1. Методы получения эмбеддингов слов: Счетные методы, Word2vec, GLOVE. Записи: [https://www.youtube.com/watch?v=Ji68egxAWgw лекция], [https://www.youtube.com/watch?v=My80O5Vx6fs&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=2 семинар]

2. Классификация текста. Записи: [https://www.youtube.com/watch?v=mNs0_icYp4I лекция], [https://www.youtube.com/watch?v=FFmsejByamQ&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=4 семинар]

3. Токенизация, языковые модели. Записи: [https://www.youtube.com/watch?v=_WPXfEAsbTE лекция], [https://www.youtube.com/watch?v=RrdYiCs2-zI&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=6 семинар]

4. Рекуррентные нейронные сети. Записи: [https://www.youtube.com/watch?v=9BBGEMI50O8&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=7 лекция], [https://www.youtube.com/watch?v=6ojpRmCea0M&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=8 семинар]

5. Seq2seq задача, механизм внимания, трансформер. Записи: [https://www.youtube.com/watch?v=0_t0-uvihJ0&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=10 лекция], [https://www.youtube.com/watch?v=E1btQgjPt2o&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=9 семинар]

6. Трансформерные модели: GPT, BERT. Записи: [https://www.youtube.com/watch?v=rZFu1UoOejo&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=11 лекция], [https://www.youtube.com/watch?v=iMuqGlDyxLQ&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=12 семинар]

7. Как дообучать предобученные модели? Почему дообучать модель целиком не всегда хорошо? Parameter-Efficient Fine-Tunning (PEFT). Записи: [https://www.youtube.com/watch?v=Ylj9M_Ufy64&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=14 лекция], [https://www.youtube.com/watch?v=qlyTrdLMrKs&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=15 семинар]

8. Ускорение и сжатие модели. Дистилляция знаний, Квантизация. Записи: [https://www.youtube.com/watch?v=dUMZvLLtKPI&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=17 лекция], [https://www.youtube.com/watch?v=32IrfjUlp3U&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=17 семинар]

9. Трюки для обучения трансформеров, работа с длинным контекстом. Записи: [https://www.youtube.com/watch?v=gIya8SHsX2s&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=18 лекция], [https://www.youtube.com/watch?v=C8Rw99tdqqc&list=PLEwK9wdS5g0pc4NeOQqGLPcxmBHGUjnWB&index=19 семинар]

10. Text style transfer. Записи: лекция (будет), семинар не проводился.

== Домашние задания ==

'''Домашнее задание 1''': Задание посвящено обучению векторных представлений слов.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw1/hw1.ipynb ноутбук] с заданием.

'''Домашнее задание 2''': Задание посвящено обучению сверточных и рекуррентных нейронных сетей для задачи бинарной классификации.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw2/hw2.ipynb ноутбук] с заданием.

'''Домашнее задание 3''': Задание посвящено обучению моделей на основе архитектуры Трансформер для задачи генерации текста, а так же методам семплирования токенов.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw3/hw3.ipynb ноутбук] с заданием.

'''Домашнее задание 4''': Задание посвящено уменьшению размеров предобученной модели при дообучении на downstream задачу.

Ссылка на [https://github.com/ashaba1in/hse-nlp/blob/main/homeworks/hw4/hw4.ipynb ноутбук] с заданием.

== Контрольная работа ==
Контрольная работа пройдет 02.11.2023 на лекции в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 23/24 - История изменений

imported>Amshabalin: Migrated current public revision from wiki.cs.hse.ru