imported>Amolojavenko: /* Лекции и семинары */

2024-12-24T15:09:57Z

Лекции и семинары

Новая страница

== О курсе ==

Курс читается для студентов 3-го и 4-го курса ПМИ.

'''Лектор:''' [https://t.me/mrakhuba Рахуба Максим Владимирович]

'''Семинарист:''' [https://t.me/MetaMelon Моложавенко Александр]

'''Учебные ассистенты:''' [https://t.me/elexunix Алексей Слизков], [https://t.me/neyudin Николай Юдин], [https://t.me/ir4kgL Ирина Голобородько]

== Полезные ссылки ==

'''[https://docs.google.com/spreadsheets/d/1dbcCbe3Q-DTp1swvg7UbM6EvP4ECvjf21WpQ1yQUvl0/edit?usp=sharing Ведомость]'''

[https://disk.yandex.ru/d/6uDAO7MIHsJnyQ Материалы курса]

[https://disk.yandex.ru/d/6uDAO7MIHsJnyQ/lecture%20videos Записи занятий]

[http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9_(2024/25) Ссылка на zoom]

[https://t.me/+ROTjopyuYYplMmEy Телеграм-канал курса]

== Лекции и семинары ==
* '''Лекция 1. Введение.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flecture%20notes%2Flecture1.pdf&name=lecture1.pdf Конспект], [https://disk.yandex.ru/d/6uDAO7MIHsJnyQ/lecture%20videos/RPReplay_Final1725967556.MP4 Zoom-запись]] Тензоры и тензорные произведения. Свёртки тензоров. Тензоры как мультилинейные отображения: нормы, сингулярные числа и векторы.
* '''Семинар 1.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminar%20notes%2Ftenscomp24_sem1.pdf&name=tenscomp24_sem1.pdf&nosw=1 Конспект], [https://disk.yandex.ru/i/LZND-fVJgMVhsA Zoom-запись 22-23 год]] Абстрактные тензоры. Универсальное свойство тензорного произведения. Тензорные диаграммы. Сингулярные числа и векторы (продолжение). P.S. Запись семинара отсутствует, но занятие было идентично соответствующему за 22-23 учебный год.
* '''Лекция 2. Каноническое разложение тензоров (CP).''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Flecture%20notes%2Flecture2.pdf&name=lecture2.pdf&nosw=1 Конспект], [https://disk.yandex.ru/d/6uDAO7MIHsJnyQ/lecture%20videos/RPReplay_Final1726572146.MP4 Zoom-запись]] Определение. Канонический ранг тензоров. Произведение Хатри-Рао. Оценки на ранг. Единственность разложения.
* '''Семинар 2.''' [[https://docs.yandex.ru/docs/view?url=ya-disk-public%3A%2F%2Fudwj5oGt9BtTjjwvlFQcRtCOvtZjPAafrKDVdohNKTiGCqEhkqZRTQs9BO9Lk2Ecq%2FJ6bpmRyOJonT3VoXnDag%3D%3D%3A%2Fseminar%20notes%2Ftenscomp24_sem2.pdf&name=tenscomp24_sem2.pdf&nosw=1 Конспект], [http://wiki.cs.hse.ru/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D1%8B_%D1%82%D0%B5%D0%BD%D0%B7%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B5%D0%BD%D0%B8%D0%B9_(2024/25) Zoom-запись]] Тензорные диаграммы (продолжение). Каноническое разложение: пример вычисления, комплексный вариант. Приближение тензорами меньшего ранга.
* '''Лекция 3. Алгоритмы вычисления CP-разложения.''' [[https://disk.yandex.ru/i/KurgURgPuhNq3w Конспект], [https://disk.yandex.ru/i/-OL1POsxub-_nA Zoom-запись]] Единственность разложения (продолжение). Алгоритм Дженриха. ALS. Гаусс-Ньютон.
* '''Семинар 3.''' [[https://disk.yandex.ru/i/avQOfvfFjOu85Q Конспект], [https://disk.yandex.ru/i/BBkQGrw9PdKDnQ Zoom-запись]] Построение канонического разложения: метод Ньютона, метод Гаусса-Ньютона.
* '''Лекция 4. Обобщение SVD на многомерный случай.''' [[https://disk.yandex.ru/i/2k96JP1NZjBILA Конспект], [https://disk.yandex.ru/i/EalgAgy_oTWuoQ Запись]] Разложение Таккера. Higher-order SVD (HOSVD). Приближение тензора тензором меньшего ранга, T-HOSVD (truncated HOSVD).
* '''Семинар 4.''' [[https://disk.yandex.ru/i/HS_egipt6mWjlA Конспект], [https://disk.yandex.ru/d/thPqahvLWZDJ_A Jupyter-журнал], [https://disk.yandex.ru/i/ubbxh3cIYPGd8Q Запись]] Эффективное вычисление тензорных операций. T-HOSVD (продолжение). Переход к новому базису в тензорном произведении пространств.
* '''Лекция 5. Обобщение SVD на многомерный случай — 2.''' [[https://disk.yandex.ru/i/B_UkwxISmsg-vw Конспект] [https://disk.yandex.ru/i/IXRPZVe7j4cvAg Запись]] Квазиоптимальность T-HOSVD. Алгоритмы поиска разложения Таккера: HOSVD, HOOI. "Арифметика" малоранговых тензоров.
* '''Семинар 5.''' [[https://disk.yandex.ru/i/XjGdOip63lZC-g Конспект], [https://disk.yandex.ru/i/z5f4Gh6GjGjeXA Запись]] (Не)Единственность разложения Таккера. Приведение разложения Таккера к HOSVD. T-HOSVD (продолжение).
* '''Лекция 6. Приложения тензорных вычислений.''' [[https://disk.yandex.ru/i/sNFhp9uvEKlhjg Конспект], [https://disk.yandex.ru/i/x_JgcMqCjhVCmg Zoom-запись]] "Арифметика" малоранговых тензоров (продолжение). Некоторые приложения: мультилинейный PCA, задача коллаборативной фильтрации, графы знаний, сжатие слоёв нейросетей. Проклятье размерности.
* '''Семинар 6.''' [[https://disk.yandex.ru/i/_RP6sDU8BMNz6Q Конспект], [https://disk.yandex.ru/d/p_nstVm5j21o6g Jupyter-журнал], [https://disk.yandex.ru/i/Ck8B0Hy-Zk7VTw Zoom-запись]] ST-HOSVD. HOOI vs ALS. Сложность алгоритмов. Поэлементное умножение тензоров. Поэлементное обращение тензора. Разбор практического задания.
* '''Лекция 7. Разложение тензорного поезда (TT).''' [[https://disk.yandex.ru/i/10x97f6f85ZlbA Конспект], [https://disk.yandex.ru/i/iEnTgg-1E8W3Lg Zoom-запись]] Определение, формы записи. Сильное кронекерово произведение. TT-ранги. Ортогонализация ядер.
* '''Семинар 7.''' [[https://disk.yandex.ru/i/567ScV-SSMyXiw Конспект], [https://disk.yandex.ru/d/gNJtWRHl8IxU5A Jupyter-журнал], [https://disk.yandex.ru/i/TWADWzhkidW8zA Zoom-запись]] Разреженные тензоры. Numba. Демонстрация сжатия данных тензорными структурами.
* '''Лекция 8. TT-разложение (продолжение).''' [[https://disk.yandex.ru/i/zUNLPRX-JKNmQw Конспект], [https://disk.yandex.ru/i/ewx6kEgfsgTnfA Zoom-запись]] Ортогонализация ядер (продолжение). Алгоритм TT-SVD. Эффективная рекомпрессия TT-разложения. Арифметика в TT-формате.
* '''Семинар 8.''' [[https://disk.yandex.ru/i/7DF22QQWFTeIDA Конспект], [https://disk.yandex.ru/i/YMxbE_R1Zmn-sQ Zoom-запись]] TT-SVD в виде псевдокода. Почему ошибка в TT-SVD не накапливается экспоненциально?
* '''Лекция 9. Линейные операторы в TT-формате.''' [[https://disk.yandex.ru/i/-9FJ0Pp4CsNQFg Конспект], [https://disk.yandex.ru/i/b9nfbzVCEK8Ddw Запись]] Введение, формулировка, где встречаются. ALS для TT. DMRG. Крестовая аппроксимация матриц.
* '''Семинар 9.''' [[https://disk.yandex.ru/i/8X86xZdpPmt0Wg Конспект], [https://disk.yandex.ru/i/4i97ZyaVUQGeeA Zoom-запись]] TT-SVD с округлением. TT-матрицы (продолжение).
* '''Лекция 10. Риманова оптимизация.''' [[https://disk.yandex.ru/i/y1WPxi9KRjnw1Q Конспект], [https://disk.yandex.ru/i/tj8kP9pTyGQAGg Zoom-запись]] Методы римановой оптимизации.
* '''Семинар 10.''' [[https://disk.yandex.ru/i/n_YS27WRce_KEw Конспект], [https://disk.yandex.ru/i/cjeBaBB-MvWjPg Zoom-запись]] Примеры приведения операторов к TT-формату. Переход от канонического разложения к TT-разложению. ALS для TT (продолжение). Оптимизация на многообразиях (начало).
* '''Лекция 11. Крестовая аппроксимация тензоров. Иерархический Таккер.''' [[https://disk.yandex.ru/i/G4a5ruVUjO5voA Конспект], [https://disk.yandex.ru/i/fRNG51-B51L0RQ Слайды], [https://disk.yandex.ru/i/PVLhAWExvCqtzw Zoom-запись]] Крестовая аппроксимация матриц. Крестовая аппроксимация тензоров, TT-cross. Интегрирование многомерных функций. Разложение иерархического Таккера (HT): определение, ранги, ортогонализация, сложение. Замкнутость множеств тензоров ограниченного ранга.
* '''Семинар 11.''' [[https://disk.yandex.ru/i/tdX3fOoZWm8Wnw Конспект], [https://disk.yandex.ru/i/aU3HlXdK_c8Vlg Zoom-запись]] . Касательное пространство к S^{n-1}. Ретракция на сферу. Многообразие матриц фиксированного ранга, касательное пространство к нему.
* '''Лекция 12. Обзор тензорных сетей.''' [[https://disk.yandex.ru/i/zqkVjWVLdWWNpA Конспект], [https://disk.yandex.ru/i/gch2L_W9uJ8Jvw Zoom-запись]] Замкнутость тензорных сетей: теорема Ландсберга. Популярные тензорные сети: тензорное кольцо (TR), PEPS, MERA. Ранги произвольных развёрток. Канонические формы тензорных сетей. Тензоризация в ML. Приближение функций по сетке.
* '''Семинар 12.''' [[https://disk.yandex.ru/i/03Pe1vwNKH_FfQ Конспект], [https://disk.yandex.ru/d/XLL-MkHlGKc8XA Jupyter-журнал], [https://disk.yandex.ru/i/NsCNLkf4cicLvA Zoom-запись]]. Является ли TT частным случаем HT? Степени свободы в HT и TT. Пример HT-разложения. Библиотека ttpy.
* '''Лекция 13. Обзор тензорных сетей.''' [[https://disk.yandex.ru/i/ahzbf7V7KaWprg Конспект], [https://disk.yandex.ru/i/YkW7YDK8ON1Z8g Zoom-запись]]. Тензоризация (продолжение). Билинейные алгоритмы и каноническое разложение.
* '''Семинар 13.''' [[https://disk.yandex.ru/i/L2HE2PJyuSfDKA Конспект], [https://disk.yandex.ru/i/7yXeQt8L9FBj9w Zoom-запись]]. Пример HT-разложения. Теорема Ландсберга: пример незамкнутого множества. TR-разложение (продолжение). MERA (продолжение), PEPS (продолжение)
* '''Лекция 14. Вычисление свёрток.''' [[https://disk.yandex.ru/i/uyI67zR32eJ4QQ Конспект], [https://disk.yandex.ru/i/kY9H2eXYXYwttA Zoom-запись]]. Билинейные алгоритмы и каноническое разложение. Одномерная свёртка: виды свёрток, алгоритм Тоома-Кука, малоранговый случай.Алгоритм Винограда. Вычисление многомерных свёрток. Свёрточный слой, его сингулярные числа. Тензорные разложения ядра свёртки.
* '''Семинар 14.''' [[https://disk.yandex.ru/i/BSE0Yr_gV2aN6A Конспект], [https://disk.yandex.ru/d/2h3ILfOE9pT15A Jupyter-журнал], [https://disk.yandex.ru/i/8QvPAHOPrtUouQ Zoom-запись]]. Тензоризация многочленов. Библиотека TensorNetwork. Билинейные алгоритмы: алгоритм Карацубы.

== Домашние задания ==

Теоретические ДЗ выдаются каждые 2 или 3 недели.

Также планируется 3-4 практических ДЗ.

* '''Теоретическое ДЗ-1.''' [[https://disk.yandex.ru/i/oG4IaImpaT_ynQ PDF], [https://disk.yandex.ru/d/a2gSrypBBDPc6w TEX]] Дедлайн: 04.10.24 в 23:59.
* '''Практическое ДЗ-1.''' [[https://disk.yandex.ru/d/Pn0h1NChVyjnsA Материалы]] Дедлайн: 21.10.24 в 23:59.
* '''Теоретическое ДЗ-2.''' [[https://disk.yandex.ru/i/frtBIkx1nLM2og PDF], [https://disk.yandex.ru/d/KOVlSS2XEQG0eA TEX]] Дедлайн: 08.11.24 в 23:59.
* '''Практическое ДЗ-2.''' [[https://disk.yandex.ru/d/rvY4mHwB-AXY6w Материалы]] Дедлайн: 19.11.24 в 23:59.
* '''Теоретическое ДЗ-3.''' [[https://disk.yandex.ru/i/AH_wPmJokZdEVw PDF]] Дедлайн: 05.12.24 в 23:59.
* '''Практическое ДЗ-3.''' [[https://disk.yandex.ru/d/XTbQul62KX4bCA Материалы]] Дедлайн: 17.12.24 в 23:59.
* '''Теоретическое ДЗ-4.''' [[https://disk.yandex.ru/i/JHfKHVS683KnCA PDF], [https://disk.yandex.ru/d/wvF17OzV6J1aNg TEX]] Дедлайн: 19.12.24 в 23:59.
== Итоговая оценка за курс ==

Итог = Округление(min(10, 0.2 * ДЗ_Теор + 0.15 * ДЗ_Практ + 0.1 * Б + 0.15 * ПР + 0.2 * К + 0.3 * Э))

ДЗ_Теор –– средняя оценка за теоретические домашние задания

ДЗ_Практ –– средняя оценка за практические домашние задания

Б –– средняя оценка за бонусные задачи в ДЗ

ПР — средняя оценка за самостоятельные работы на семинарах

К –– оценка за устный коллоквиум (проводится в начале 2-го модуля)

Э –– письменный экзамен.

Округление арифметическое.

Основы тензорных вычислений (2024/25) - История изменений

imported>Amolojavenko: /* Лекции и семинары */