Просмотр кода страницы Сервис хранения аннотированных разноформатных данных “Large Data Inventory”

{{Карточка_проекта
|name=Сервис хранения аннотированных разноформатных данных “Large Data Inventory”
|mentor=Космачев Алексей
|mentor_login={{URLENCODE:akosmachev|WIKI}}
|semester=Осень 2018
|course=3-4
|number_of_students=2-3
|categorize=yes
}}
===Что за проект?===
Биоинформатические алгоритмы анализа данных пациента генерируют огромное количество различных файлов (порядка 50-100 Гб на каждого пациента). Для хранения таких объемов информации используются различные облачные хранилища, такие как  Rackspace Cloud Files, Amazon S3 и тд. 
Основная проблема - это понять принадлежность того или иного объекта в хранилищах: к какому пациенту относится, к какому dataset, когда и кто данный объект загрузил, какой биоинформатический инструмент сгенерировал файл (название, версия и прочие метаданные), какие данные (мутации, экспрессии и т.п.) и какой формат данных, как долго нужно хранить данный объект и так далее.
Важно отметить, что в хранилище помещаются данные пациентов из госпиталей, которая является PHI-информацией. Это означает, что необходим гибкий и надежный механизм разграничения прав доступа к распределенному хранилищу.
Помимо этого, необходимо обеспечивать консистентность данных, хранимых в системе - не должно быть фантомных объектов, которых на самом деле не существует, не должно оставаться файлов в реальном хранилище после удаления и тд. 
Каждый объект, помещаемый в LDI (Large Data Inventory), снабжается минимально необходимым набором атрибутов и мета-данных. Атрибуты могут быть заданы как пользователем, так и встроенными в систему. Атрибуты и значения будут использоваться при выборке и отображении хранимым в системе объектов. Метаданные - некоторый системный набор атрибутов, например, кто загрузил объект, когда, какой размер объекта, mime-тип данных и т.п.
Необходимо разработать прототип компоненты, которая на основе облачного хранилища общего назначения предоставит RESTful API для интеграции в платформу, CLI для доступа пользователя к хранилищу. 
===Начальные требования===
* Умение работать с англоязычной технической литературой
* Базовое знание Python
* Готовность изучать новые технологии
===Чему вы научитесь===
* Обеспечивать гибкий авторизованный доступ к данным в распределенной системе
* Реализовывать свой язык запросов и производить эффективный поиск по нему
* Реализовывать клиентское приложение для работы с системой
* Разворачивать самостоятельно и работать с существующими облачными решениями для хранения больших данных
===Какие будут использоваться технологии===
* Python, Golang
* Amazon S3 (Minio)
* MongoDB
* Yacc\Lex
===Критерии оценивания===
* 4 - Реализован сервис, предоставляющий RESTApi с возможностью добавления записи о файле и его поиска
* +2 - Реализован domain-specific language запросов
* +3 - Реализован CLI c возможностью загружать реальные данные
* +3 - Реализована авторизация
===Контакты===
Космачев Алексей	adkosmachev@edu.hse.ru‎