Матрица задач, TODO, Критерии

Совещание отменяется.

Просьба проголосовать за даты совещания в Иркутске весной 2019г.

Следующее совещание - 6.12.2018 в 11:00.

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов

• Отчет 2018г.
  • Опубликовано 2 статьи. Направлено в печать - 6.
    • Просьба ответственных за публикации в трудах ARENA (Ю.Казарина) и Барнаул (Е.Постников) запросить оргкомитеты конференций прислать подписанный скан письма с указанием того, что статья принята, где она будет опубликована и примерно когда.
    • Для статей в трудах конференции GRID-2018 в Дубне такие письма получены.
    • Все статьи надо выложить в http://arXiv.org, предварительно убрав из текста указания на выходные данные статей, если такие имеются.
      • Отразить статус публикации на wiki в разделе “публикации”.
  • Отчет содержит 3 раздела
    1. Выполненные работы - до 10 стр.
    2. Полученные результаты - до 5 стр.
    3. План работ и ожидаемые результаты на 2019г - до 5 стр.
    • Просьба подготовить материалы для отчета (3 страницы)
      • Распределенное хранилище данных - А.Крюков, Нгуен
      • Машинное обучение - Е.Постников
      • Бинарные форматы - А.Шигаров
      • Открытые данные (Hubzero) - Ю.Казарина.
        • Прислать исправленный отчет по договору с ИГУ
    • Все материалы помещать в redmine (DMS → Otchet-2018)
  • Конференции 2019г.
    • Прислать в каких конференциях Вы хотели бы участвовать. Примерную тему доклада.
      • Конференции без доклада или труды которой на индексируются в WoS или Scopus, не рассматриваются.
      • ACAT-2019. Срок подачи абстракта до 1 декабря 2018г. Можем послать 2-3 человека.
• Отчет по договору с Бычковым подписан
• Сервер с ГПУ
  • CentOS-7.5, CUDA toolkit 10.
  • В начале следующей неделе будут заведены учетные записи.
• Прочее.
  • Выложить заявку в redmine. - сделано

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов

• Публикации
  • Труды конференции GRID-2018 в Дубне. Срок подачи до 06.11.2018.
    • Есть изменения в требованиях по подготовке статей. Подробности в письме оргкомитета.
    • Выложены в Redmine: Нгуеи, Токарева, Шигаров. Отсутствует - Постников (срок 21.10.18)
      • Проверить наличие ссылки на грант (кроме В.Т.)
      • Внести в список автором всех. Список участников для публикаций здесь.
• Ю.Казарина - обновить отчет по Hubzero. Срок - 5.11.18 25.10.2018.
• Отчет по договору с Бычковым - 20.10.18
• Face-to-face совещание в Карлсруэ 29-30 октября 2018г.
  • Участники, которые едут в Германию: А.Крюков, Ю.Казарина, Е.Постников.
  • Названия докладов и аннотации к ним. Срок - 15.10.18
    • Шигаров - Бинарные данные. Презентация в redmine
    • Крюков - Статус работ по гранту.
    • Казарина - Hubzero
    • Постников - ML
    • Нгуен - распределенное хранилище.
    • ???? - KCDC
  • Все материалы помещать в redmine (DMS → F2F-2018)
  • Подготовить драфт программы - А.Хонгс.
  • Оргвопросы (проход на территорию, место проведения, контакты) - отв. Виктория.
• Прочее
  • Выплаты надбавок.
    • Приказ о выплате выпущен. Деньги должны поступить вначеле ноября

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов

• Публикации
  • Трудов конференции GRID-2018 в Дубне. Срок подачи до 14.10.2018. Отв. Е.Постников. Драфт, срок - 1.11.18
  • Е.Постников, Барнаул, JoP
  • Журнал DATA. Драфт - 5.10.18. Отв. Шигаров.
    • Просьба добавить рисунки по разделам.
  • Драфты статей до 01.10.18 в Redmine (DMS→Papers→_название конференции_)
  • Туда же поместить уже опубликованные работы (WoS, Scopus!), в которых есть ссылки на грант.
• Подготовка отчета за 2018г.
  • Ю.Казарина - обновить отчет по Hubzero. Срок - 5.11.18.
  • Отчет по договору с Бычковым - 20.10.18
• Face-to-face совещание в Карлсруэ 29-30 октября 2018г.
  • Участники, которые едут в Германию:
    • А.Крюков
    • Ю.Казарина
    • Е.Постников.
  • Прислать сканы билетов для оформления командировок.
  • Прислать названия докладов и аннотации к ним. Срок - 15.10.18
    • Шигаров - Бинарные данные
    • Крюков - Статус работ по гранту.
    • Казарина - Hubzero
    • Постников - ML
    • Нгуен - распределенное хранилище.
    • ???? - KCDC
  • Все материалы помещать в redmine (DMS → F2F-2018)
• Прочее
  • Готовятся выплаты надбавок. Постараемся в сентябре оформить.
  • Унифицировать сайт проекта.
    • Тем не менее, российская чать останется на русском.

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов

• Публикативная активность
  • Публикации трудов конференции GRID-2018 в Дубне. Срок подачи до 14.10.2018
    • Драфты статей - 01.10.2018
  • Подготовка убликаций к печати
    • Е.Постников, Барнаул, JoP
    • A.Shigarov - журнал DATA
      • Просьба добавить рисунки по разделам.
• Формирование списка требований для системы хранения данных.
  • Прислать акты.
• Подготовка отчета за 2018г.
  • Ю.Казарина - обновить отчет по Hubzero
• Face-to-face совещание в Карлсруэ 29-30 октября 2018г.
  • Участники:
    • А.Крюков
    • Ю.Казарина
    • ???
  • Прилать приглашения!
• Годовое совещание по гранту в Моске (ноябрь-декабрь)
• Прочее
  • Готовятся выплаты надбавок. Постараемся в сентябре оформить.
  • Унифицировать сайт проекта.
    • Тем не менее, российская чать останется на русском.

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов

• Публикативная активность
  • Доклады на конференция GRID-2018 в Дубне
    • D.Shipilov, Application of Hubzero platform for the educational process in astroparticle physics
    • M.D.Nguyen, A distributed data warehouse system for astroparticle physics.
    • A.Kryukov, USING BINARY FILE FORMAT DESCRIPTION LANGUAGES FOR VERIFYING RAW DATA IN ASTROPARTICLE PHYSICS EXPERIMENTS (Poster)
    • E.Postnikov, Particle identification in ground-based gamma-ray astronomy using convolutional neural networks
  • Подготовка убликаций к печати
    • Е.Постников, Барнаул - Gamma/Hadron Separation in Imaging Air Cherenkov Telescopes Using Deep Learning Libraries TensorFlow and PyTorch, JoP
    • A.Shigarov - журнал DATA
• Формирование списка требований для системы хранения данных.
  • Просьба либо прислать по почте, либо внести самостоятельно в раздел сайта Критерии
• Алгоритмы агрегации данных, постановка задачи.
• Подготовка отчета за 2018г.
• Прочее
  • Договор с ИГУ. Акты должны быть подписаны (и присланы нам сканы) до 10 сентября.
    • Сразу после этого деньги будут переведены в ИГУ.
  • План командировок.
    • Face-to-face совещание в Карлсруэ в октябре.
      • Зафиксировать даты на этой неделе.
      • Кто поедет в командировку.
      • Сформировать список докладов, в т.ч .дистанционных
    • Годовое совещание по гранту в Моске (ноябрь-декабрь)
  • Готовятся выплаты надбавок. Постараемся в сентябре оформить.

Следующий митинг состоится в четверг, 12 июля в 11:00 МСК.

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов

• Публикативная активность
  • Доклады на конференция GRID-2018 в Дубне (срок подачи аннотаций - 29 июня!)
    • J.Kazarina, Application of Hubzero platform for the educational process in astroparticle physics
    • M.D.Nguyen, A distributed data warehouse system for astroparticle physics.
    • A.Shigarov, USING BINARY FILE FORMAT DESCRIPTION LANGUAGES FOR VERIFYING RAW DATA IN ASTROPARTICLE PHYSICS EXPERIMENTS
    • A.Kryukov, Architecture of distributed storage for multi-messenger analyses in astroparticle physics
    • Создан репозиторий papers (git@theory.sinp.msu.ru:papers), предназначенный для совместной разработки статей в Техе.
      • Т.к. мастер - это что-то не понятное, а делать для каждой статьи свое репозиторий не очень хорошая идея, то каждая статья - это отдельный branch, который никогда не будет сливаться с другими бранчами.
      • Если кого забыл внести в список пользователейй репозитория, то просьба прислать письмо об этом.
• Прочее
  • План командировок.
    • Face-to-face совещание в Карлсруэ осенью?
    • Годовое совещание по гранту в Моске (ноябрь-декабрь)
  • О следующем совещании будет объявлено дополнительно.

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов

• Новости
  • Совещание коллаборации ТАЙГА в Дубне.
    • Были сделаны сообщения по ML И работе с бинарными данными.
    • Положительно восприняты сообществом.
• Публикативная активность
  • Доклады на конференции в Барнауле
    • Постер по бинарным данным представит Д.Ж.
  • Доклады на конференция GRID-2018 в Дубне (срок подачи аннотаций - 29 июня!)
    • Использование Hubzero как образовательный ресурс в астрофизике частиц.
    • Автоматический разбор бинарных данных экспериментов TAIGA/TUNKA
      • Использование для генерации метаданных
    • Распознование типа частиц в астрофизическом эксперименте с помощью ML
    • Принципы организации распределенного хранилища экспериментальных данных в астрофизике частиц.
  • Обязательно: благодарность гранту!
• Прочее
  • План командировок.
    • Face-to-face совещание в Карлсруэ осенью?
    • Годовое совещание по гранту в Моске (ноябрь-декабрь)
  • Следующее регулярное совещание состоится 21 июня, четверг в 11:00 по Москве.

10:30 Karlsruhe
11:30 Moscow
16:30 Irkutsk

Demichev, Dubenskaya, Haungs, Kazarina, Korosteleva, Kostunin, Kryukov, Nguyen, Mikhailov, Polyakov, Postnikov, Shigarov, Shipilov, Tokareva, Zhurov.

• Introduction new PhD student - V.Tokareva from 01/07/18
• Status of datacenter and joint KG/Tunka analysis Slides
  • Test: http://kcdc.icc.ru
• Serialization and deserialization of binary data Slides
  • O.Fedorov check a lot of files.
  • A.K. This tool can use for automatic form metadata of primary data.
• Hubzero (static data + community) Slides
  • A.K. Use Let's encrypt CA for the sute.
• Identification of particles with ML
  • A.K. It is necessary to make a conclusion of the first stage.
• Publication in Special issue of "Data" journal Slides
  • Deadline is 16/09/18. Responsible person - A.Shigarov.
• The TAIGA collaboration meeting in Dubna
  • A.K.: E.Korosteleva must prepare the report about binary data on .
    E.Postnikiv Must prepare the report about ML.
• ECRS contributions
• Name of the project
  • astroparticle,online
• AOB
  • Next regular meeting of Russian team - 14.06.18
  • Please, send me (A.K.) the information about publications, reports and so on where we say thank's to the RSF.

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов

• Новости
• Установка KCDC. Текущий статус. Отв. Ю.К., Д.К.
  • Д.К. Разрабатотчики готовят новый релиз под VMWare.
• Hubzero. Отв. Ю.К.
  • Предложения по использованию ресурса и его контента. - Ю.К.
    • Использования ресурса для студентов, участвующих в летней школе на Байкале.
  • Д.К. Используется устаревший движок.
• Методы машинного обучения. Текущее состояние - Е.П.
  • Сравнение на выборках после клининга.
    • Е.П. Есть вопрос об уровне шумов
  • А.К. Описать методику работы с PyTorch и TF.
• Чтение бинарных данных. Текущий статус. - А.Михайлов
  • Библиотеки под популярные языки (С/С++, Fortran, Python), а также тестовые программы, которые делают следующее:
    • читают бинарный файл
    • пишут бинарный файл
    • по хешу можно убелиться, что входной и выходные файлы идентичны.
    • Цель: дать пример использования и быть уверенным, что все работает правильно.
    • А.М. Федоров провел тесты на примере файлов TUNKA-Rex
    • Д.К. Можно использовать GRANDE
• Прочее
  • Договор с ИГУ - сегодня будетнаправлен на подпись в Иркутск
    • А.К. К сожалению, потребовали сделать ряд доработок.
  • Совместный митинг с немецкими коллегами в мае - 30 мая.
    • С нашей стороны предлагаю следующие сообщения (10 мин, 3-4 слайда)
      • Распознование типа частиц метоом ML - How to
      • Серилизация и десерилизация бинарных астрофизических данных - How to
      • HubZero - Ю.К.
      • KCDC - сроки релиза?

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитирий Нгуен, Поляков, Постников, Шигаров, Шипилов

• Новости
• Совместный митинг с немецкими коллегами в мае - Д.К.
  • Дата совещания - 24 мая. Запасной день - 30 мая.
• Предложения по названию проекта
  • Результаты голосования будут подведены на совместном совещании в мае.
• Договор с ИГУ пока на утверждении.
• Установка KCDC. Отв. Ю.К., Д.К.
  • Должен получить образ под VMWare.
• Установка Hubzero. Отв. Ю.К.
  • Предложения по использованию ресурса и его контента.
    • Подготовить на 2-3 стр. предложения - Ю.К.
  • План использования ресурса для студентов, участвующих в летней школе на Байкале.
    • ISAPP-Baikal Summer School "Exploring the Universe through multiple messengers"
    • The deadline for applications is APRIL 30, 2018.
• Методы машинного обучения. Модератор - Е.П.
  • Уточненная процедура сравнения.
    • Открыть тестовую выборку, чтобы самостоятельно проанализировать результаты.
  • Сравнение на выборках после клининга.
    • Подготовлена соответствующая выборка.
    • Провести сравнение качества традиционных методов и нейронных сетей.
  • Вопрос шумов.
    • Шумы моделируется реальные, насколько это возможно в используемой модели.
    • Нет зависимости от времени года и т.п.
      • А.К. - Это медленная зависимость, которой не этом этапе можно и нужно пренебречь.
      • Отклики детектора моделируются по Пуассону.
• Описание бинарных данных. Обсуждение.
  • А.К. Необходимо сделать для 2-3 наиболее популярных языков (С/С++, Fortran, Python) библиотеки, а также тестовые программы, которые делают следующее:
    • читают бинарный файл
    • пишут бинарный файл
    • по хешу можно убелиться, что входной и выходные файлы идентичны.
    • Цель: дать пример использования и быть уверенным, что все работает правильно.
• Прочее
  • О выделении вычислительного сервера для целей проекта. - А.К.
  • О плане совещаний на май.
    • Следующее совещание 17 мая. Будет дополнительно сообщено по почте.

• Предложения по контенту Hubzero для летней школы на Байкале. Отв. - Ю.К., срок - 17.05.18
• Подготовить примеры использования читалок бинарных файлов для C/C++, Fortran, Python. Отв. - А.М., срок - 17.05.18.
• Сделать очищенный набор телескопных событий и провести сравнение традиционного подхода и NN. Отв. - Е.П., Д.Ж., С.П.б срок - 17.05.18
• Выделить место для файлов с телескопными событиями. Отв. А.К., срок - 5.05.18.

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Михайлов, Поляков

• Новости
• Совместный митинг с немецкими коллегами в мае - Д.К.
  • Проголосовать за дату совещания - Doodle
• Предложения по названию проекта
  • Результаты голосования.
• Договор с ИГУ пока на утверждении.
  • Дело сдвинулось. Жду подписания на следующей неделе.
• Установка KCDC. Отв. Ю.К., Д.К.: Должен быть предоставлен доступ к серверу.
  • Сейчас готовится образ WMWare c KCDC с ограниченной БД.
• Установка Hubzero. Отв. Ю.К.
  • Кто-нибуль пробовал зайти? – А.К.
  • Надо сформулировать что мы хотим от этого ресурса и содержание контента.
  • Есть задумка сделать что-то для студентов, участвующих в летней школе на Байкале.
• Методы машинного обучения.
  • Предварительные результаты качества распознования PyTorch, TensorFlow и традиционные методы - Е.П.
    • Презентация
  • С.Поляков. Необходимо уточнить процедуру сравнения.
  • А.К. Сделать сравнение на выборках после клининга.
  • Открыть тестовую выборку, чтобы самостоятельно проанализировать результаты.
• Участие а конференции в Барнауле.
• Прочее
  • Напомню о том, что надо регулярно выкладывать программы, разрабатываемые в проекте, в репозитории. - А.К.

10:30 Karlsruhe
11:30 Moscow
16:30 Irkutsk

• Haungs, Kazarina, Kostunin, Kryukov, Mikhailov, Polyakov, Postnikov, Shigarov, Nguyen

• The technical implementation of KCDC and which parts we will use (D. Kostunin) kostunin-cordus-skype20180406.pdf
• Name of the project
• Topics for new PhD student in KIT
• Tunka data
• Author list
• Hubzero content

• PyTotch. April phreliminary results - Polyakov
• ML. First results - Postnikov
• Hubzero. Current status - Kazarina
• TensorFlow - Zhurov

• New PhD student in KIT: Viktoria Tokareva. Second affiliation: LNP JINR? Tkachev group?
• KCDC: coherent development, further improvements
• Hubzero: brainstorm with ideas, public release before ECRS2018 (ask for poster there?), beta-testing on Baikal-ISAPP school
• Tunka data: has to be discussed
• ANN: Tensorflow vs pyTorch: same number of epochs for fair test, increase training dataset in 10-100 times
• Name of the project: second round
• Check KIT participants in appds mail list

Совещание отменяется.

Совместное совещание участников проекта. Ссылка на программу

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Поляков, Михайлов.

• Новости
• Собрать заявки на публикации по проекту. - Все
• Матрица задач. - А.К. Обновленная матрица
  • Дополнений не поступило.
• Договориться о совместном митинге с немецкими коллегами в апреде - Д.К.
  • Проголосовать за дату совещания - Doodle
  • Результаты голосования: 6 апреля, 11:30 МСК.
  • Резервный день - 9 апреля.
• Предложения по названию проекта (можно несколько).
  • Сегодня открою голосование.
• Гражданско-правовое соглашение с Бычковым. Подписано.
  • Передан с Будневым.
  • Договор с ИГУ пока на утверждении.
• Выложить все программы, разрабатываемые в проекте, в репозитории. - А.К.
  • Нет фалов: simm, astropm, kcdc, hubzero, tflow, astrods, dataformat
  • Есть файлы: torch
• Установка KCDC. Отв. Ю.К., Д.К.: Должен быть предоставлен доступ к серверу.
  • Это plugin to Dgango. Пока это не работает.
  • Надо настроить морду.
  • Пока нет данных.
• Установка Hubzero. Отв. Ю.К.
  • Можно зайти на сайт и зарегистрироваться.
  • Сделать “морду” в соответствии с проектом.
  • Начать наполнение сайта учебно-научными материалами.
• Методы машинного обучения.
  • Разослано предложение по топологии сетки и обучающему набору.
  • В качестве алгоритма перехода от гексагональной структуры к прямоугольной используем косоугольные координаты.
    • Все эти алгоритмы - просто порядок нумерации ячеек.
  • Критерии качества распознования?
  • 6 марта - мини отчет по сравнению инструментария.
• Прочее

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Поляков, Михайлов.

• Новости
• Собрать заявки на публикации по проекту. - Все
• Провести ревизию матрицы задач. - А.К. Обновленная матрица
• Договориться о совместном митинге с немецкими коллегами в апреде - Д.К.
  • Проголосовать за дату совещания - Doodle
• Предложения по названию проекта (можно несколько).
• Гражданско-правовое соглашение с Бычковым. Подписано.
  • Передан с Будневым.
• Завести страницу со списком компьютеров, используемых в проекте.
  • Hardware
• Выложить все программы, разрабатываемые в проекте, в репозитории. - А.К.
  • Нет фалов: simm, astropm, kcdc, hubzero, tflow, astrods, dataformat
  • Есть файлы: torch
• Установка KCDC. Отв. Ю.К., Д.К.: Должен быть предоставлен доступ к серверу.
• Установка Hubzero. Отв. Ю.К.
  • Первисная установка была произведена. См. ссылку.
• Методы машинного обучения.
  • Согласовать топологию сетки и обучающий набор.
    • Поляков должен разослать через список начальное предложение.
  • В качестве алгоритма перехода от гексагональной структуры к прямоугольной используем косоугольные координаты.
  • Критерии качества распознования?
• Билеты.

  114	Task	New	Normal	Подготовить доклад по Katai Strcut	A. Mikhailov	03/19/2018 02:59 PM
  108	Task	New	Normal	Спецификация формата данных Grande	A. Mikhailov	03/17/2018 10:44 AM
  107	Task	New	Normal	Спецификация формата данных Tunka-133	A. Mikhailov	03/17/2018 10:43 AM
  106	Task	New	Normal	Спецификация формата данных IACT	A. Mikhailov	03/17/2018 10:43 AM
  103	Task	New	Normal	Metadata format version 1.0	D. Kostunin	03/16/2018 12:04 PM
  89	Task	New	Normal	digital object approach	D. Kostunin	02/21/2018 11:46 AM
  60	Task	New	Normal	Assign astroparticle.online to hubzero virtual server	D. Kostunin	03/17/2018 09:46 AM
  51	Task	New	Normal	Add H.-related author list to wiki	D. Kostunin	03/20/2018 09:04 AM
  50	Task	New	Normal	Add H.-related aknowledgements to wiki page	A. Haungs	02/05/2018 02:20 PM
  23	Task	New	Normal	Сравнение пакетов Torch и TensorFlow	J. Dubenskaya	03/20/2018 12:08 PM
  12	Task	New	Normal	Исследовательский стенд	J. Dubenskaya	02/13/2018 12:49 PM
  11	Task	New	Normal	Установка HubZERO	J. Kazarina	03/15/2018 08:32 AM

• Прочее

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Поляков.

• Новости
  • Russian Supercomputing Days. Conference and Exhibition Working Days: September 24-25, 2018. Important days: April 1 - abstract submission
  • Grid'2018. 10-14 Sep. 2018, JINR, Dubna. Important days: June 29 - abstract submission
• Итоги Kick-off совещание по проекту в Москве: week of 5-9 March 2018.
  • Согласование программ исследований российской и немецеой сторон.
    • Уточнение групп, выполняющие те или иные задачи.
  • Уточненная архитектура распределенного хранилища астрофизических данных.
  • Метаданные и работа с ними.
    • Обсудить возможность/необходимость выборки событий из файлов, а не только выборка файлов.
  • Машинное обучение: Torch, TensorFlow - применение в астрофизике частиц, первый опыт развертывания и использования.
  • Форматы данных KASCADE и TUNKA: проблемы объединения для совместного анализа.
• Организация работ по гранту
  • Гражданско-правовые соглашение. Должно быть подписано сегодня.
  • Договор с ИГУ пока на согласовании в ректорате.
• Инфраструктура проекта
  • Git. Репозитории созданы. Требуется уточнение списков участников, имеющих право на запись.
    • Все программы, которые разрабатываются в проекте должны быть выложенв в git!
  • Milestones. К сожалению, нужный для нашей версии плагин пока не готов.
• Установка KCDC. Отв. Ю.К., Д.К. Текущий статус.
• Установка Hubzero. Отв. Ю.К. Текущий статус.
• Методы машинного обучения.
  • Пакет Torch - С.П. Текущий статус.
  • Пакет TensorFlow - Д.Ш. и Д.Ж. Текущий статус.
  • Следующий этап: сравнение двух инт=струментариев.
    • Согласовать топологию сетки и обучающий набор.
    • В качестве алгоритма перехода от гексагональной структуры к прямоугольной используем косоугольные координаты.
• Билеты.

  #	Tracker	Status	Priority	Subject	Assignee	Updated
  89	Task	New	Normal	digital object approach	D. Kostunin	02/21/2018 11:46 AM
  78	Task	New	Normal	Конференция 26th E+CRS / 35th RCRC.	D. Shipilov	02/11/2018 11:10 PM
  65	Task	New	Low	Translate main wiki page to English	D. Kostunin	02/06/2018 03:25 PM
  60	Task	New	Normal	Assign astroparticle.online to hubzero virtual server	D. Kostunin	02/22/2018 10:08 PM
  52	Task	New	Normal	Add H.-related people to mail list	A. Haungs	02/05/2018 02:20 PM
  51	Task	New	Normal	Add H.-related author list to wiki		02/05/2018 02:20 PM
  50	Task	New	Normal	Add H.-related aknowledgements to wiki page	A. Haungs	02/05/2018 02:20 PM
  23	Task	New	Normal	Сравнение пакетов Tourch и TensorFlow	J. Dubenskaya	02/28/2018 06:13 AM
  21	Task	New	Normal	ОсвоенИе пакета ML Tourch	J. Dubenskaya	02/08/2018 11:12 PM
  20	Task	New	Normal	Алгоритмы агрегации данных	A. Shigarov	01/29/2018 11:50 PM
  19	Task	New	Normal	Формат данных KASCADE	D. Kostunin	02/06/2018 03:26 PM
  12	Task	New	Normal	Исследовательский стенд	J. Dubenskaya	02/13/2018 12:49 PM
  11	Task	New	Normal	Установка HubZERO	J. Kazarina	03/15/2018 08:32 AM
  76	Task	In progress	Normal	Установка KCDC	J. Kazarina	02/23/2018 03:25 PM
  75	Task	In progress	Normal	HubZero	J. Kazarina	02/22/2018 08:50 AM
  73	Task	In progress	High	Договор с Бычковым	A. Kryukov	03/04/2018 08:48 AM
  72	Task	In progress	High	Договор с ИГУ	A. Kryukov	03/04/2018 08:53 AM
  64	Task	In progress	Normal	Install KCDC on virtual server	D. Kostunin	02/22/2018 10:09 PM
  61	Task	In progress	Normal	Install hubzero to virtual server	D. Shipilov	02/23/2018 05:42 AM
  28	Task	In progress	High	Управление проектом	A. Kryukov	03/04/2018 08:53 AM
  25	Task	In progress	Normal	Инфраструктура проекта	D. Nguyen	03/05/2018 12:11 AM
  24	Task	In progress	Normal	Критерии функционирования APPDS	A. Shigarov	03/14/2018 04:29 AM
  18	Task	In progress	Normal	Формат данных в TAIGA	A. Shigarov	03/01/2018 07:47 AM
  17	Task	In progress	Normal	Формат данных экспериментов	A. Shigarov	03/14/2018 04:31 AM
  16	Task	In progress	Normal	Формат описания МД	A. Kryukov	02/10/2018 10:25 AM
  15	Task	In progress	Normal	Алгоритм идентификации частиц	E. Korosteleva	03/15/2018 09:37 AM
  14	Task	In progress	Normal	Rest API	A. Kryukov	02/22/2018 08:46 AM
  13	Task	In progress	Normal	Архитектура APPDS	A. Kryukov	02/22/2018 08:47 AM
  100	Support	Solved	Normal	Как сделать видимыми в redmine новые репозитории?	D. Nguyen	03/05/2018 12:11 AM
  43	Task	Solved	Normal	Git in redmine	D. Nguyen	03/05/2018 12:11 AM
  22	Task	Solved	Normal	Освоение пакета ML TensorFlow	D. Zhurov	03/15/2018 09:37 AM
  74	Task	Feedback	Normal	обеспечить доступ на git (c правами создания репозитория) для Костюнина	D. Kostunin	02/22/2018 08:39 AM
  27	Task	Feedback	Normal	Развертывание репозитория для ПО	D. Nguyen	02/13/2018 12:50 PM
      

• Прочее

• A.Haungs, KRAD
• L. Kuzmichev, TAIGA. Status report
• A.Heiss, GridKA-KRAD
• A.Streit, DLC
• E.Postnikov, Deep learning for IACT
• S.Polyakov, Torch framework
• D.Shipilov, Overview of the Tensorflow library for machine learning tasks
• D.Kostunin, AstroPM
• Minh Duc Nguyen, SDDS – an automated system for space experiment data processing, storage, and distribution

• A.Kryukov, Architecture of distributed storage for astroparticle physics
• A.Haungs, KCDC and future Analysis & Data Centre
• A.Kryukov, Metadata
• D.Kostunin, Physical aspects of Data Format
• D.Kostunin, SiMM
• J.Kazarina, Hubzero

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская,
Костюнин, Демичев, Поляков.

• Новости
  • Russian Supercomputing Days. Conference and Exhibition Working Days: September 24-25, 2018. Important days: April 1 - abstract submission
  • Kick-off совещание по проекту в Москве: week of 5-9 March 2018
    • Даты: 5-6 марта.
    • Приглашение для А.Хонгса - Отослано.
    • Командировки из Иркутска. - Возможно. Срочно надо прислать темы докладов.
    • Основные вопросы:
      • Согласование программ исследований российской и немецеой сторон.
      • Уточненная архитектура распределенного хранилища астрофизических данных.
      • Метаданные и работа с ними.
      • Torch - применение в астрофизике частиц, первый опыт развертывания и использования.
      • TensorFlow - применение в астрофизике частиц, первый опыт развертывания и использования.
      • Форматы данных KASCADE и TUNKA: проблемы объединения для совместного анализа.
      • ???
• Организация работ по гранту
  • Формирование научной группы
    • Оформление трудовых и гражданско-правовых договоров
      • Все зачислены на 0.25% ставки в НИИЯФ. В ближайшее время будут начислены первые надбавки.
      • Напоминаю о счетах в сбербанке для перечисления зарплат.
        • Это либо самый обычный счет, непривязанный к какой-либо карте, либо счте привязванный к карте МИР.
        • Прислать реквизиты счета.
    • Гражданско-правовые соглашения
      • На согласовании в ректорате
      • Пока все застопорилось.
• Инфраструктура проекта
  • Git - установленю Работает в режиме RO.
    • Жду заявки на репозитории (название, цель, кто участник)
  • Milestones. К сожалению, нужный для нашей версии плагин пока не готов.
• Задачи на 2018г. Мини отчеты
  • Установка KCDC. Отв. Ю.К., Д.К.
    • Подготовлено заявление в ИДСТУ для получения ВМ.
    • Есть проблемы с деплойментом, т.к. это не законченный проект.
  • Установка Hubzero. Отв. Ю.К.
  • Пакет Torch - С.П.. Перенесено на Kick-off митинг.
  • Пакет TensorFlow - Д.Ш. и Д.Ж.
    Ничего удобного и правильного для сверток на изображении с гексагональными пикселями для TensorFlow найти не удалось.
    Пока предположительно при использовании TensorFlow придется реализовать алгоритм из библиотеки, предложной Димой Костюниным (https://github.com/ai4iacts/hexagdly). Т.е. сделать форк и реализовать вариант для TensorFlow. Дополнительные подробности здесь.
• Прочее
  • Провести ревизию билетов. Не забывать о статусе билета. Если статус держится New, то это означает что на билет не реагирует тот, кому он назначен!
    • В состоянии NEW - 20 билетов!
    • 1 билет (#51) не назначен никому!

Присутствуют: Журов, Казарина, Коростелева, Костюнин, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Демичев, Поляков.

• Новости
  • Граты РНФ для молодых ученых.
    • Подробности на сайте РНФ
• Конференции
  • Конференция 26th E+CRS / 35th RCRC.
    20th Feb 2018. Deadline for Abstract Submission
    • Д.Журов и Д.Шипилов - Название и абстракт.
  • Kick-off совещание по проекту в Москве: week of 5-9 March 2018
    • Даты: 5-6 марта.
      • Срочно подготовить приглашение для А.Хонгса - в работе. Возможно сегодня будет.
      • Уточнить возможность командировок из Иркутска. - в работе
• Организация работ по гранту
  • Формирование научной группы
    • Оформление трудовых и гражданско-правовых договоров
      • Д.Шипилову - срочно прислать необходимые документы.
      • Напоминаю о счетах в сбербанке для перечисления зарплат.
    • Утресаются последние вопросы по гражданско-правовому соглашению
      • На согласовании в ректорате
  • Подготовлен договор на выполнение НИР с ИГУ на сумму 495 тыс.
    • На согласовании в ректорате
• Инфраструктура проекта
  • Управление проектом - Redmine - установлен.
    • Git - установленю Работает в режиме RO.
      • На этой неделе будет предоставлена возможность исполььзования репозиториев.
      • Прислать заявки на репозитории (название, цель, кто участник)
      • Кто еще на выложил свои ключи в РМ, просьба сделать это.
    • Milestones. К сожалению, нужный для нашей версии плагин пока не готов.
      • Насколько я понял, нужная версия проходит тестирование.
  • CI tool Jenkins - пока нет - Отложено на неопределенный срок.
• Задачи на 2018г. Мини отчеты
  • Установка KCDC. Отв. Ю.К., Д.К.
    • Подготовлено заявление в ИДСТУ для получения ВМ.
    • Есть проблемы с деплойментом, т.к. это не законченный проект.
  • Установка Hubzero. Отв. Ю.К.
    • На ноутбуке.
  • Пакет Torch - С.П.
  • Пакет TensorFlow - Д.Ш. и Д.Ж.
    • Идет освоение пакетов.
    • Производительность сильно падает при использовании OpenCL.
    • Д.К. Есть проблемы с обработкой шестиугольных матриц.
    • Е.П. Есть работы по использованию TF для косоугольных матриц (сотовых) в телескопе.
  • Архитектура системы (уточнение) - А.К.
    • См. документ (PDF)
  • Метаданные и работа с ними - А.К. (в Формате мини-семинара). Перенесено на совещание в марте
• Публикации
  • Запущено голосование (требуется регистрация).
  • Просьба проголосовать.
  • А.К.: Пока нет окончательного решения, действуем по упрощенной схеме.
• Подгтовка трех статей с результатами работ: * Д.Костюнин, SiMulation manager (30мин)

• Архитектура распределенного сервиса хранения данных для астрофизики частицт- А.К.
• Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения - Е.К.
• Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA
• Жду предложений. У нас обязательства на этот год - 3 статьи в WoS или Scopus.
• Прочее

Предложения по программе прошу присылать на мою почту - А.К.

Присутствуют: Журов, Казарина, Коростелева, Костюнин, Крюков, Дмитирий Нгуен, Шигаров, Шипилов, Демичев.

• Новости
  • Конференция 26th E+CRS / 35th RCRC.
    20th Feb 2018. Deadline for Abstract Submission
    • Д.Журов и Д.Шипилов - Название и абстракт.
  • Kick-off совещание по проекту в Москве: week of 5-9 March 2018
    • Уточнить даты. Подготовить программу.
      • Даты: 5-6 марта.
      • Срочно подготовить приглашение для А.Хонгса
      • Уточнить возможность командировок из Иркутска.
  • Russian Supercomputing Days. Conference and Exhibition Working Days: September 24-25, 2018.
    Important days: April 1 - abstract submission
• Организация работ по гранту
  • Формирование научной группы
    • Идет оформление трудовых и гражданско-правовых договоров
      • А.Шипилову - срочно прислать необходимые документы.
    • Утресаются последние вопросы по гражданско-правовому соглашению
  • Подготовлен договор на выполнение НИР с ИГУ на сумму 495 тыс.
• Инфраструктура проекта
  • Управление проектом - Redmine - установлен.
    • Git - установленю Работает в режиме RO.
    • Milestones. К сожалению, нужный для нашей версии плагин пока не готов.
  • CI tool Jenkins - пока нет - Отложено на неопределенный срок.
• Задачи на 2018г. Мини отчеты
  • Установка KCDC. Отв. Ю.К.
  • Установка Hubzero. Отв. Ю.К.
    

     
    Сделано: 
    1. Изучение документации системы KCDC и платформы HUBzero. 
    2. Собраны технические требования для установки системы 
       KCDC и платформы HUBzero. 
    3. Заключен устный договор с ИДСТУ для создания на их базе 
       двух виртуальных машин для установки системы KCDC и 
       платформы HUBzero. 
    
    План на ближайшую неделю: 
    1. Отправить в ИДСТУ официальное заявление для получения доступа. 
    2. Продолжение изучения документации 
    3. Тестовая установка платформы HUBzero на ноутбук.

  • Исследовательский стенд в НИИЯФ. Отв. Ю.Д., перенесено на следующее совещание.
  • Алгоритм индентификации типа частиц.Сделано:

1. Изучение документации системы KCDC и платформы HUBzero. 2. Собраны технические требования для установки системы KCDC и платформы HUBzero. 3. Заключен устный договор с ИДСТУ для создания на их базе двух виртуальных машин для установки системы KCDC и платформы HUBzero.

План на ближайшую неделю: 1. Отправить в ИДСТУ официальное заявление для получения доступа. 2. Продолжение изучения документации 3. Тестовая установка платформы HUBzero на ноутбук.</code> Отв. Е.К.

• МС генерация событий.
  • Составить список главных параметров, к которым чуствительна задача идентификации.
  • Составить список выходных параметров.
• Освоение пакета TensorFlow - Д.Ж.
• Освоение пакета Torch - Ю.Д., перенесено на следующее совещание.
• На следующем совещании
• Архитектура системы (уточнение) - А.К.
• Метаданные и работа с ними - А.К. (в Формате мини-семинара)
• Публикации
• О порядке публикования
  1. Предложение Д.К.
     • Сильно формлизованная схема, которая применима для больших коллабораций с очень длительным сроком работы. Например, коллаборации в ЦЕРНе.
  2. Я бы сейчас не усложнял процедуру. Во всяком случае на этот год. Мое предложение:
     • Работа публикуется той группой авторов, которая делала данную задачу.
     • Публикуются “титульные” статьи с участием всего кллектива.
     • Все работы обсуждаются/утверждаются на семинарах группы.
  • Запущено голосование (требуется регистрация).
  • А.К.: Пока нет окончательного решения, действуем по упрощенной схеме.
• Подгтовка трех статей с результатами работ:
• Архитектура распределенного сервиса хранения данных для астрофизики частиц
  • В работе
• Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения - Е.К.
• Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA
• Жду предложений. У нас обязательства на этот год - 3 статьи в WoS или Scopus.
• Прочее
• Д.Костюнин, SiMulation manager (30мин)

Предложения по программе прошу присылать на мою почту - А.К.

• Организация работ по гранту
  • Формирование научной группы
    • Оформлен приказ НИИЯФ об организации научной группы.
    • Идет оформление трудовых и гражданско-правовых договоров
      • Приках о зачислении по совместительству проходит экпертизу юристов.
      • Кажется можно будет ездить в командировки из Иркутска. Уточняем.
    • Утресаются последние вопросы по гражданско-правовому соглашению
  • Подготовлен договор на выполнение НИР с ИГУ на сумму 495 тыс.
  • План командировок на 2018г.
    • Никто пока не выразил никаких пожеланий.
    • Д.Костюнин предложил посмотреть на конференцию E+CRS, дедлайн по абстрактам 20.02.2018
      • Я не знаю что это за конференция. Запросил Диму.
  • Закупки в 2018г. (Из заявки)
    • Готовятся котировки на сервер для ML
      • 1 сервер и 1 GPU NVIDIA P100
    • Уточняютется вопрос по ЖД
    • Готовятся котировки на оборудование для аудио и видео конференций
      • Logitech
• Инфраструктура проекта
  • Списки рассылки (APPDS) - запущен
  • Dokuwiki - запущена
  • Управление проектом - Redmine - установлен.
    • Git - установленю Работает в режиме RO.
  • CI tool Jenkins - пока нет
• Задачи на 2018г.
  • Смотри Матрицу задач
  • Со следующего соывещания ответственные по задачам будут делать краткие отчеты.
    • Сегодня остановимся на некоторых.
  • Установка KCDC. Отв. Ю.К.
  • Установка Hubzero. Отв. Ю.К.
  • Исследовательский стенд в НИИЯФ. Отв. Ю.Д.
    • Выделены необходимые червера. Установлена ОС. Настраивается ПО работы с контейнерами.
  • Алгоритм индентификации типа частиц. Отв. Е.К.
  • Д.Костюнин предложил следующие задачи
    • Package manager
    • Simulation manager
• Публикации
  • Подгтовка трех статей с результатами работ:
    • Архитектура распределенного сервиса хранения данных для астрофизики частиц
      • В работе
    • Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения - Е.К.
    • Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA
    • Жду предложений. У нас обязательства на этот год - 3 статьи в WoS или Scopus.
• Прочее

Предварительная программа соещания

Основная цель совещания - это расказать о ходе подготовки к началу работ и сформировать группы по задачам.

Предложения по программе прошу присылать на мою почту - А.К.

• Организация начала работ по гранту
  • Формирование научной группы
    • оформление трудовых и гражданско-правовых договоров
    • бюджет 2018г (Органиченный доступ)
  • Взаимодействие с немецкой группой
  • План командировок на 2018г. (Из заявки)
    • ECRS-2018).июль 2018. Россия, Барнаул. ( 2чел)
    • RICAP-18). Июнь 2018, Марсель, Франция
    • Москва-Карлсруэ - 2 поездки
    • Москва-Иркутск - 2 поездки
      • Совещание в Москве совместное с коллегами из KIT
    • Финансирование возможно только поездок из Москвы!
  • Закупки в 2018г. (Из заявки)
    • 2 вычислительных сервера
      • 1 сервер с GPU для ML
    • ЖД на 80ТБ
    • 2 ноутбука
    • оборудование для аудио и видео конференций
    • материалы
    • прочие закупки
  • Оплата сторонних организаций.
• Инфраструктура проекта
  • Списки рассылки (APPDS)
  • Dokuwiki
  • Управление проектом - Redmine
  • Git
  • CI tool Jenkins
• Программный стек
  • Общий инструментарий: Python, JavaScript
  • Веб-сервисы (микросервисны): REST/HTTP(s)/JSON, WebDAV
  • Веб-интерфейсы: Django, Node.js, JavaScript
  • СУБД: SQLite, MySQL, Postgresql
  • ML: Torch (Python), TensorFlow
• Задачи на 2018г.
  • Смотри Матрицу задач ниже
  • Подгтовка трех статей с результатами работ:
    • Архитектура распределенного сервиса хранения данных для астрофизики частиц
    • Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения
    • Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA
  • Задел на 2019 год
• Прочее