imported>Amshabalin: Migrated current public revision from wiki.cs.hse.ru

2024-12-18T12:57:51Z

Migrated current public revision from wiki.cs.hse.ru

Новая страница

== О курсе ==

NLP (Natural Language Processing) — это область машинного обучения, которая пытается научить компьютер понимать и обрабатывать текстовые данные. NLP лежит в основе множества технологий, таких как системы перевода и генерации текстов, голосовые помощники, суммаризаторы текстов, спам детекторы и так далее. В настоящее время такие технологии не только облегчают жизнь людям, решая несложные задачи быстрее них. Часто модели машинного обучения позволяют достигать более высокого качества и оказываются “умнее” многих людей. Примером такой модели может стать нашумевшая ChatGPT, способная корректно отвечать на вопросы по самым различным темам. В курсе мы пройдем весь путь развития подходов NLP от классического машинного обучения до современных больших языковых моделей и узнаем, какие задачи встречаются в NLP и как правильно подходить к их решению. Особое внимание мы уделим Трансформерным моделям и обсудим, как обучать их наиболее эффективно, а так же какими свойствами обладают предобученные модели.
Каждая тема будет сопровождаться домашним заданием, при решении которого студенты смогут лучше разобраться в тонкостях реализаций обсуждаемых подходов на практике.

== Расписание ==

'''Лекция:''' Вторник 16:20. Ссылка на [https://us06web.zoom.us/j/82583958930?pwd=ZuJXR3T1oo2SepCVtOFeOdWlgCGaF8.1 zoom].

'''Семинары:'''

* Группа 1 (Биршерт): Четверг 18:10. Ссылка на [https://us06web.zoom.us/j/83582653324?pwd=Q3o2FyGfRWOgZ5TNSBsvn5GjvyFjlC.1 zoom].
* Группа 2 (Панков): Вторник 18:10. Ссылка на [https://us06web.zoom.us/j/88476820471?pwd=EUglqWPrsLotvvWEFcNbWoUhOJBGDb.1 zoom].

== Полезные ссылки ==

* Общий чат курса в telegram: https://t.me/+y3lpNwqty_9iYjYy

* Github курса: https://github.com/ashaba1in/hse-nlp/tree/main/2024

* Таблица с оценками: https://docs.google.com/spreadsheets/d/1G8joZP-WQmrdbW1P6lpjdxceBPvuRQw_Q8RIROq8OBg/edit?usp=sharing

* anytask для сдачи домашних заданий: https://anytask.org/course/1141.

Инвайты:
* Первая группа: 4j9MpiI
* Вторая группа: DH8HCdZ

== Темы курса ==

1. Классификация текста. Записи: [https://disk.yandex.ru/i/VZBjWbskRzyDWg лекция], [https://disk.yandex.ru/i/NeZPJoCaLyfXTQ семинар]

2. Генерация текста. Методы токенизации. Записи: [https://disk.yandex.ru/i/QFKbGoLQaPgdQQ лекция], [https://disk.yandex.ru/i/FFTIFnsKRk9mnw семинар]

3. Рекуррентные нейронные сети. Трансформер. Записи: [https://disk.yandex.ru/i/EwiRHrE5k2tKKw лекция], [https://disk.yandex.ru/i/k6GLXCDISAPWyA семинар]

4. Декодирование текста. BERT. GPT. Записи: [https://disk.yandex.ru/d/UzOvSJo3wzwRfg лекция], [https://disk.yandex.ru/i/ESJGALwhHmpeFw семинар]

5. Современные языковые модели. Записи: [https://disk.yandex.ru/d/XxifHojvPcc11Q лекция], [https://disk.yandex.ru/i/uBlwwxeRLHm5pA семинар]

6. Transfer learning. Parameter-Efficient Fine-tuning. Записи: [https://disk.yandex.ru/i/Uu8kcbw-ylEX8Q лекция]

7. Уменьшение размера моделей. Записи: [https://disk.yandex.ru/i/_JAcNx3GDxFJ-Q лекция], [https://disk.yandex.ru/i/WvX6CeJV7NUp5g семинар]

8. Лекция от Тимофей Смирнова про Яндекс Нейро. Записи: [https://disk.yandex.ru/i/c8e73nUETfYhEg лекция]

9. Retrieval-augmented generation (RAG). Записи: [https://disk.yandex.ru/d/BQtK6z1vTYsD8w лекция]

10. Текстовые диффузионные модели. Записи: [https://disk.yandex.ru/i/Twt3WSxRODrxaA лекция]

11. Active Learning. Записи: [https://disk.yandex.ru/i/2M9SvLhYNn86KA лекция]

== Домашние задания ==

1. Text Suggestion: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week2_generation/homework/hw1.ipynb условие]

2. Рекуррентные нейронные сети: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week3_rnn_transformer/homework/hw2.ipynb условие]

3. LLaMA: [https://github.com/ashaba1in/hse-nlp/tree/main/2024/week5_modern_llms/homework условие]

4. Уменьшение размеров модели: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week7_size_reduction/homework/hw4.ipynb условие]

5. Retrieval-Augmented Generation: [https://github.com/ashaba1in/hse-nlp/blob/main/2024/week9_rag/homework/hw5.ipynb условие]

== Преподаватели и ассистенты ==

{| class="wikitable"
|-
! Преподаватели !! Ассистенты
|-
| [https://t.me/amshabalin Александр Шабалин] || [https://t.me/aishutin Андрей Ишутин]
|-
| [https://t.me/Birshert Алексей Биршерт] || [https://t.me/neyudin Николай Юдин]
|-
| [https://t.me/leksious Алексей Панков] || [https://t.me/kemmeritocracy Анастасия Кеммер]
|-
|}

== Контрольная работа ==

Контрольная работа пройдет 05.11.2024 на лекции в R207 в формате письменной работы на 80 минут. [https://docs.google.com/document/d/15jkjm8w-TaTSzztuOCLjOeIh2SaABh6a4t2J0Aho31I/edit?usp=sharing Вопросы для подготовки].

== Формула оценок ==

Определим накопленную оценку как ''Накоп'' = (0.4 * ДЗ + 0.3 * КР) / 0.7.

''Итог'' = ''Округление''(0.7 * Накоп + 0.3 * Э). Округление арифметическое.

* ДЗ — средняя оценка за домашние задания
* КР — оценка за контрольную работу
* Э — оценка за экзамен

Если ''Накоп'' >= 8, то студент может получить ''Округление''(''Накоп'') в качестве итоговой оценки, не приходя на экзамен.

'''Формат экзамена''': устный.

Глубинное обучение для текстовых данных 24/25 - История изменений

imported>Amshabalin: Migrated current public revision from wiki.cs.hse.ru