imported>GalinaKaleeva: Migrated current public revision from wiki.cs.hse.ru

2017-07-28T13:13:32Z

Migrated current public revision from wiki.cs.hse.ru

Новая страница

{{Карточка_проекта
|name=Набор для корпуса "Сделай сам"
|mentor=Дмитрий Фролов
|mentor_login={{URLENCODE:Dmitry|WIKI}}
|semester=Весна 2016
|course=1
|summer=
|number_of_students=5
|categorize=yes
}}

=== Что это за проект? ===
На факультете филологии НИУ ВШЭ имеется проект по сбору всех текстов, которые есть в Интернете (в том числе в соцсетях) на языках народов России. То есть получаются отдельные коллекции для башкирского, удмуртского, чувашского и т.д. Разного размера. В той части, которая вытянута из соцсетей, известно много об авторе: пол, возраст, дата рождения, город.
Необходим веб-сервис, который позволял бы не просто скачать все тексты архивом, а умел реагировать на такие, например, запросы от пользователя: "хочу коллекцию текстов на ингушском языке объёмом 100 000 слов, чтобы она состояла из записей в соцсетях людей из Назрани от 20 до 38 лет". В запросной форме пользователь отмечает галочки, посылает запрос к серверу, а он позволяет скачать архив с набором файлов (в XML) и метатаблицей.

=== Функциональность интерфейса ===

# сначала выбирается язык (один из имеющихся), а потом всё остальное.
# пользователь может выбрать, хочет он корпус текстов только из соц.сети, только из интернета, просто N (захардкоженное число) токенов текста на одном из имеющихся у нас языков или всё целиком
# только текст на этом языке или с вкраплениями русского
# выбор по всяким параметрам авторов в соц.сети (пол, возраст, город говорящего).
# сохранять или не сохранять диалоговую структуру ВК-стены

Примеры запросов:

# хочу получить все тексты только на этом языке, написанные мужчинами до 24 лет
# хочу получить тексты из соц.сетей с сохранением структуры диалога и с русским текстом
# тоже самое, только без русского текста
# хочу получить тексты из интернета с 5 доменов.

=== Чему вы научитесь? ===
# Основы проектирования и разработки клиент-серверных приложений
# Базовые знания Unix Shell
# Работа с нереляционными базами данных

=== Какие начальные требования? ===
# Представление о технологиях создания веб-страниц
# Основы языка программирования Python

=== Какие будут использоваться технологии? ===
# HTML/CSS, JavaScript, JQuery
# Python 2.7
# WebPy/Web2Py/Django
# Ubuntu Linux/OpenSUSE/FreeBSD, GNU Emacs или Vim - на выбор
# MongoDB
# git, github/bitbucket
# http-сервер Nginx/Apache (возможно - в связке с WSGI-сервером (Gunicorn))

=== Темы вводных занятий ===
# Архитектура клиент-серверных приложений и основные принципы разработки. Средства разработки клиентской и серверной частей.
# Нереляционные базы данных, преимущества, недостатки, особенности использования

=== Ориентировочное расписание занятий ===
СР 18.30-20.30

=== Формат данных для скачанных файлов ===

json в таком формате:

<pre>
{
"downloaded_by": "Tester",
"download_date": "2016-01-25 10:28:15.197639",
"url": "http://www.abazashta.com/club/forum/forum2/topic2/messages/?PAGEN_1=2",
"domain": "www.abazashta.com",
"language": "abq",
"header": "",
"text": {
"85": {
"language": "abq",
"text": "Адац-ач1выйа йг1аныпщтуа сахща?"
},
…
}
</pre>

Пример: https://yadi.sk/d/uU8n-O9XoxR5q (адыгейский)

Нам бы хотелось, чтобы был вариант выгрузки в XML.

=== Все данные из VK ===

https://yadi.sk/d/BHF4aMU-ozyJz

=== Списки доменов для крупных языков ===

# Башкирский: https://yadi.sk/d/kxWvlU_Wm7gAT
# Татарский: https://yadi.sk/d/KLfAB1ulm7gbG
# Якутский: https://yadi.sk/d/J9xKQjPKm7ghi

Отсюда для обработки нужны: url_type1_by_folders.txt и url_type2.txt

Набор для корпуса "Сделай сам" - История изменений

imported>GalinaKaleeva: Migrated current public revision from wiki.cs.hse.ru