https://www.wikicshse.ru/index.php?action=history&feed=atom&title=%D0%9C%D0%9E%D0%92%D0%A1_%D0%A2%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B5%D1%80%D1%8B_%28%D0%9C%D0%9C%D0%9E%D0%92%D0%A123%2C_5_%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C%29МОВС Трансформеры (ММОВС23, 5 модуль) - История изменений2026-06-08T15:51:58ZИстория изменений этой страницы в викиMediaWiki 1.45.3https://www.wikicshse.ru/index.php?title=%D0%9C%D0%9E%D0%92%D0%A1_%D0%A2%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B5%D1%80%D1%8B_(%D0%9C%D0%9C%D0%9E%D0%92%D0%A123,_5_%D0%BC%D0%BE%D0%B4%D1%83%D0%BB%D1%8C)&diff=1247&oldid=previmported>Murrcha: Migrated current public revision from wiki.cs.hse.ru2024-09-04T09:23:55Z<p>Migrated current public revision from wiki.cs.hse.ru</p>
<p><b>Новая страница</b></p><div>==О курсе==<br />
<br />
Курс читается для студентов 2 курса магистратуры "Машинное обучение и высоконагруженные системы" в 1 модуле 2024/2025 учебного года (5 модуль).<br />
<br />
Разберём основные вехи развития трансформеров и механизмы их функционирования, рассмотрим разные концепции задач, решаемых с помощью трансформерных моделей, отдельно остановимся на предлагаемых в разное время модификациях «ванильной» архитектуры, сфокусируемся на decoder-only вариации вообще и современных LLM в частности.<br />
<br />
Время занятий: TBD<br />
<br />
==Контакты==<br />
<br />
Преподаватель: Валерий Терновский <br />
<br />
{| class="wikitable"<br />
|-<br />
! Ассистент !! Telegram<br />
|-<br />
| style="background:#eaecf0;" | Григорий Кузнецов || @growa<br />
|-<br />
| style="background:#eaecf0;" | Даниил Охотин || @danokil<br />
|}<br />
<br />
==Программа==<br />
<br />
1. The Transformer — «ванильная» архитектура, механизм внимания (attention), мотивация и импликации.<br />
<br />
2. Решение Sequence-to-sequence (seq2seq) задач с помощью трансформеров: машинный перевод, QA, диалоговые модели. ДЗ<br />
<br />
3. Энкодеры — Masked Language Modeling, BERT и его наиболее удачные модификации. решение NLU-задач с помощью трансформеров.<br />
<br />
4. Декодеры — causal language modeling, авторегрессионная генерация, GPT-архитектура. ДЗ сдача<br />
<br />
5. Pretraining — разбор этапа с точки зрения данных, функций потерь, валидации для трёх типов трансформеров (энкодеры, энкодер-декодеры, декодеры). Проект<br />
<br />
6. Post-Training: SFT, RLHF, DPO — разбор этапа, бенчмарки и оценивание моделей.<br />
<br />
7. Cutting-edge transformers research: модификации attention, эффективность обучения etc., разбор статей.<br />
<br />
8. Защита проектов, обсуждение<br />
<br />
==Материалы курса==<br />
Ссылка на плейлист курса на YouTube: TBD<br />
<br />
Ссылка на GitHub с материалами курса: TBD<br />
<br />
<br />
{| class="wikitable"<br />
|-<br />
! Занятие !! Тема !! Дата !! Ссылки<br />
|-<br />
| style="background:#eaecf0;" | '''1''' || ... <br />
|| ?.09.24 ||<br />
|-<br />
| style="background:#eaecf0;" | '''2''' || ...<br />
|| ?.09.24 ||<br />
|-<br />
|}<br />
<br />
=== Записи консультаций ===<br />
<br />
==Формула оценивания==<br />
<br />
Оценка = 0.3*О<sub>ДЗ</sub> +0.7*О<sub>Проект</sub><br />
<br />
<br />
== Домашние задания ==<br />
<br />
1. «Лабораторный мини-проект» на модификацию стандартного пайплайна обучения causal decoder — внедряем (как вариант) PrefixLM в стандартный код huggingface, настраиваем валидацию, делаем выводы. <br />
<br />
2. Проект — делимся на мини-группы, берём одну из задач/предлагаем свою заранее (список задач будет дан позднее), строим:<br />
* базовый пайплайн решения на open-source моделях<br />
* пайплайн SFT/RLHF на открытых данных<br />
* формулируем исследовательские гипотезы, готовим кодовую базу для их запуска и проверки (обучать или нет будет зависеть от гипотез).<br />
<br />
Цель проекта — получить представление о работе R&D-команды в условиях, приближенных к реальным, разобраться в нюансах построения исследовательских пайплайнов в ML-проектах, научиться формировать roadmap проекта и демонстрировать промежуточные результаты.<br />
<br />
== Литература ==</div>imported>Murrcha