https://www.wikicshse.ru/index.php?action=history&feed=atom&title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2_%D0%BD%D0%B0_Python_%D0%B4%D0%BB%D1%8F_%D0%A4%D0%93%D0%9D
Введение в анализ текстов на Python для ФГН - История изменений
2026-06-07T08:30:19Z
История изменений этой страницы в вики
MediaWiki 1.45.3
https://www.wikicshse.ru/index.php?title=%D0%92%D0%B2%D0%B5%D0%B4%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B2_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2_%D0%BD%D0%B0_Python_%D0%B4%D0%BB%D1%8F_%D0%A4%D0%93%D0%9D&diff=2081&oldid=prev
imported>Sggpls: Migrated current public revision from wiki.cs.hse.ru
2018-06-28T08:06:40Z
<p>Migrated current public revision from wiki.cs.hse.ru</p>
<p><b>Новая страница</b></p><div>== Описание курса ==<br />
=== О курсе ===<br />
Курс читается на 3 курсе факультета гуманитарных наук для групп БКЛ151 и БКЛ152 в 1, 3 и 4 модулях.<br />
<br />
'''Семинарист:''' Сергей Кабанов<br />
<br />
'''Ассистенты:''' Алие Тефикова и Анастасия Родыгина<br />
<br />
Семинары проходят по субботам, 3-я и 4-я пары, ауд. 509. <br />
<br />
'''Просьба, по возможности, приходить со своими ноутбуками.'''<br />
=== Полезные ссылки ===<br />
<br />
[https://www.hse.ru/ba/ling/courses/207398318.html Карточка курса и программа]<br />
<br />
Почта курса: [http://lingvo-python-ml@yandex.ru lingvo-python-ml@yandex.ru]<br />
<br />
Чат курса в телеграм: [https://t.me/joinchat/C3XPaw39FpiCBNJKwmqw-g LingvoX]<br />
<br />
== 1 модуль ==<br />
=== Семинары ===<br />
'''02.09.17 Ознакомительный семинар''' Краткое описание курса. Повторение основ программирования на Python: функции и области видимости, встроенные типы данных, модули и пространство имен. Среда разработки IDLE PyCharm. Разработка через тестирование TDD (модули doctest, pytest). Стиль кодирования (PEP8).<br />
<br />
'''09.09.17 Введение в ООП-0''' Абстракция данных, инкапсуляция, наследование, полиморфизм. Класс, объект. Конструктор и деструктор. Перегрузка операторов-0.<br />
<br />
'''16.09.17 Продолжение ООП-1''' Передача аргументов в функцию (args, kwargs). Перегрузка операторов-1. Итераторы и генераторы.<br />
<br />
'''23.09.17 Замыкания''' Декораторы.<br />
<br />
'''30.09.17 Алгоритмы-0''' RAM-модель. Сложность алгоритмов и нотация Big-O. Бинарный поиск. Задача сортировки массива: quick-sort, merge-sort, timsort. <br />
<br />
'''30.09.17 Структуры данных''' Ассоциативный массив. Хэш-таблицы. Обзор модуля collections.<br />
<br />
'''07.10.17 Алгоритмы-1''' Графовые алгоритмы: Дейкстры, Прима, Крускала. Обзор модуля networkx.<br />
<br />
'''14.10.17 Продолжение ООП-2''' Метапрограммирование. Паттерны проектирования. Модуль abc.<br />
<br />
'''14.10.17 Работа с Web''' XML и HTML как деревья. Парсинг XML (модуль lxml).<br />
<br />
'''21.10.17 Обзор полезных модулей''' Некоторые полезные модули.<br />
<br />
'''28.10.17 Экзамен''' Финальный тест. Последний срок сдачи финального проекта.<br />
<br />
=== Правила оценивания ===<br />
<br />
В модуле 10 семинаров.<br />
<br />
'''10 домашних''' лабораторных '''работ''' стоимостью '''10 баллов каждая'''.<br />
<br />
'''Домашний мини-проект''' с ревью кода стоимостью '''40 баллов'''.<br />
<br />
'''Финальный тест''' в классе стоимостью '''40 баллов'''.<br />
<br />
По желанию: '''индивидуальное домашнее задание''' стоимостью '''20 баллов'''.<br />
<br />
Шкала перевода баллов в итоговую оценку представлена в таблице.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Итоговая оценка !! Суммарные баллы<br />
|-<br />
| Отлично (10) || 140+<br />
|-<br />
| Отлично (9) || 130+<br />
|-<br />
| Отлично (8) || 120+<br />
|-<br />
| Хорошо (7) || 100+<br />
|-<br />
| Хорошо (6) || 90+<br />
|-<br />
| Удовлетворительно (5) || 70+<br />
|-<br />
| Удовлетворительно (4) || 60+<br />
|-<br />
| Незачет || менее 60<br />
|}<br />
<br />
'''Лабораторные''' работы '''отправлять''' на почту курса '''не позднее начала следующего семинара''', если не оговорено иное. '''Правила формления:''' надо упаковать в архив все решения и тесты задач, решения называть solution''номер''.py, архив назвать lab''номер''-''имя''-''фамилия''-''номер группы''.rar, тема письма lab''номер''-''имя''-''фамилия''-''номер группы''<br />
<br />
=== Полезные литература и ссылки ===<br />
<br />
# [https://www.shashkovs.ru/_prog/Lutc_M._-_Izuchaem_Python_(4-e_izdanie)-_2011.pdf Лутц, Изучаем Python, 4-е издание, 2011]<br />
# [https://www.cs.auckland.ac.nz/courses/compsci105ssc/resources/ProblemSolvingwithAlgorithmsandDataStructures.pdf Brad Miller, David Ranum, Problem Solving with Algorithms and Data Structures, Release 3.0, 2013 ]<br />
# [https://doc.lagout.org/programmation/python/Data%20Structures%20and%20Algorithms%20in%20Python%20%5BGoodrich%2C%20Tamassia%20%26%20Goldwasser%202013-03-18%5D.pdf Michael T. Goodrich, Data Structures and Algorithms in Python, 1st edition, 2013]<br />
# [https://vk.com/wall-54530371_2325 Т.Кормен, Ч.Лейзерсон, Р.Ривест, К.Штайн - Алгоритмы. Построение и анализ. Издание 3-е, 2013]<br />
# [https://www.youtube.com/watch?v=VP2wRhwlg6c&t=1s Умнов, Видиолекции ШАДа по Python]<br />
# [http://defpython.ru/pep8 PEP8, коротко, на русском]<br />
# [http://python.net/~goodger/projects/pycon/2007/idiomatic/handout.html Code Like a Pythonista: Idiomatic Python]<br />
# [http://www.dabeaz.com/coroutines/Coroutines.pdf A Curious Course on Coroutines and Concurrency]<br />
# [https://github.com/faif/python-patterns Python patterns OOP]<br />
# [https://github.com/vinta/awesome-python Awesome Python, Много разных библиотек]<br />
== 3 - 4 модули ==<br />
=== Семинары ===<br />
'''13.01.18 Ознакомительный семинар.''' Правила игры (правила оценивая курса). Постановки и примеры задач машинного обучения. Основные понятия. Задача классификации.<br />
<br />
'''20.01.18 Метрические классификаторы-0.''' Метод ближайших соседей. Метрики качества: recall, precision, accuracy, f1-score. Скользящий контроль (k-fold CV).<br />
<br />
'''27.01.18 Метрические классификаторы-1.''' Метод потенциальных функций. Метод окна Парзена.<br />
<br />
'''03.02.18 Отбор признаков-0.''' Разбор 1-ой лабораторной работы. Метод Монте-Карло. Переборные алгоритмы отбора признаков: full search, add, del, add-del.<br />
<br />
'''10.02.18 Линейный модели-0.''' Общий подход к построению линейных моделей. Линейная регрессия. Градиентный спуск.<br />
<br />
'''17.02.18 Линейный модели-1.''' Логистическая регрессия. Метрики качества: roc-auc, pr-auc, log-loss.<br />
<br />
'''24.02.18 Линейный модели-2.''' Переход в спрямляющее пространство. Метод опорных векторов. Kernel trick.<br />
<br />
'''03.03.18 Векторные модели текста''' Разбор 2-ой лабораторной работы. Обзор векторных моделей текста. Расстояние между строками.<br />
<br />
'''10.03.18 Байесовский классификатор''' Задача восстановления плотностей классов. Линейный дискриминант Фишера. Байесовский наивный классификатор.<br />
<br />
'''17.03.18 Логические модели-0''' Логические модели. Деревья решений.<br />
<br />
'''24.03.18 Композиции моделей-0''' Bias and variance tradeoff. Bootstrap aggregating. Случайный лес.<br />
<br />
'''26.03.18 Композиции моделей-1''' Разбор 3-ей и 4-ой лабораторных работ. Стекинг и блендинг моделей.<br />
<br />
'''31.03.18 Отбор признаков-1''' Статистические критерии. Регуляризация. Отбор на основе важности признаков.<br />
<br />
'''07.03.18 Извлечение признаков''' Сингулярное разложение. Метод главных компонент.<br />
<br />
'''14.04.18 Большие данные''' Визуализация больших данных. Алгоритм t-SNE. Разряженные матрицы. Библиотека Vowpal Wabbit.<br />
<br />
'''21.04.18 Multi-label классификация''' Разбор 5-ой лабораторной работы. Методы решения multi label задач.<br />
<br />
'''28.04.18 Композиции моделей-2 ''' Градиентный бустинг.<br />
<br />
'''07.05.18 Композиции моделей-2''' xgboost vs. lightgbm vs. catboost<br />
<br />
'''05.05.18 Разбор лаб. работ''' Разбор 6-ой и 7-ой лабораторных работ. Задача ранжирования поисковой выдачи.<br />
<br />
'''12.05.18 Кластеризация-0''' Постановка задач кластеризации. Алгоритмы: k-means, x-means, c-means, EM. Метрики качества.<br />
<br />
'''19.05.18 Кластеризация-1''' Алгоритмы: DBSCAN, спектральная кластеризация, графовые алгоритмы.<br />
<br />
'''26.05.18 Полезные модули-0''' Модули: hyperopt, scikit-optimize.<br />
<br />
'''02.06.18 Полезные модули-1''' Модули: scikit-multilearn, imbalanced-learn.<br />
<br />
'''07.06.18''' Разбор 8-ой лабораторной работы. Разбор финальных решений первого конкурса. Позные трюки при решении конкурсов.<br />
<br />
'''14.06.18 Повторение пройденного''' Коллективный тест "Собеседование на позицию junior data scientist" :)<br />
<br />
'''23.06.18 Экзамен''' Разбор финальных решений второго конкурса. Выставление оценок.<br />
<br />
=== Правила оценивания ===<br />
<br />
В 3 - 4 модулях ~20 семинаров.<br />
<br />
'''~8 домашних''' лабораторных '''работ''' стоимостью '''20 баллов каждая'''.<br />
<br />
[https://www.kaggle.com/c/competition-1-lingvo-hse-2018-spam-detection/ '''Конкурсное задание'''] в конце 3-го модуля стоимостью '''30 баллов'''.<br />
<br />
[https://www.kaggle.com/c/competition-2-lingvo-hse-2018-toxic-comment/ '''Конкурсное задание'''] в середине 4-го модуля стоимостью '''30 баллов'''.<br />
<br />
По желанию: в конце 4-го модуля можно будет увеличить оценку на 1 балл по десятибалльной шкале, доделав часть несданных лаб. работ.<br />
<br />
Шкала перевода баллов в итоговую оценку представлена в таблице.<br />
<br />
{| class="wikitable"<br />
|-<br />
! Итоговая оценка !! Суммарные баллы<br />
|-<br />
| Отлично (10) || 160+<br />
|-<br />
| Отлично (9) || 150+<br />
|-<br />
| Отлично (8) || 140+<br />
|-<br />
| Хорошо (7) || 120+<br />
|-<br />
| Хорошо (6) || 110+<br />
|-<br />
| Удовлетворительно (5) || 90+<br />
|-<br />
| Удовлетворительно (4) || 70+<br />
|-<br />
| Незачет || менее 70<br />
|}<br />
<br />
=== Полезные литература и ссылки ===<br />
<br />
# [https://www.dataquest.io/blog/jupyter-notebook-tips-tricks-shortcuts/ 28 jupyter-notebook tips and tricks]<br />
# [https://www.youtube.com/watch?v=qLBkB4sMztk, Видеолекции Воронцова от ШАД]<br />
# [https://www.datacamp.com/community/tutorials/seaborn-python-tutorial, Seabor vizualization tutorial]<br />
# [http://www2.compute.dtu.dk/pubdb/views/edoc_download.php/6814/pdf/imm6814.pdf, 100 страничная брошюра кратко описывающая принципы работы с основные библиотеками курса (numpy, pandas, scipy, sklearn, nltk etc)]</div>
imported>Sggpls