User Tools

Site Tools


appds:arch18

2018

13/12/2018 Отменяется

Совещание отменяется.

6/12/2018

Просьба проголосовать за даты совещания в Иркутске весной 2019г.

29/11/2018 - ОТМЕНЯЕТСЯ

Следующее совещание - 6.12.2018 в 11:00.

22.11.2018

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов

  • Отчет 2018г.
    • Опубликовано 2 статьи. Направлено в печать - 6.
      • Просьба ответственных за публикации в трудах ARENA (Ю.Казарина) и Барнаул (Е.Постников) запросить оргкомитеты конференций прислать подписанный скан письма с указанием того, что статья принята, где она будет опубликована и примерно когда.
      • Для статей в трудах конференции GRID-2018 в Дубне такие письма получены.
      • Все статьи надо выложить в http://arXiv.org, предварительно убрав из текста указания на выходные данные статей, если такие имеются.
        • Отразить статус публикации на wiki в разделе “публикации”.
    • Отчет содержит 3 раздела
      1. Выполненные работы - до 10 стр.
      2. Полученные результаты - до 5 стр.
      3. План работ и ожидаемые результаты на 2019г - до 5 стр.
      • Просьба подготовить материалы для отчета (3 страницы)
        • Распределенное хранилище данных - А.Крюков, Нгуен
        • Машинное обучение - Е.Постников
        • Бинарные форматы - А.Шигаров
        • Открытые данные (Hubzero) - Ю.Казарина.
          • Прислать исправленный отчет по договору с ИГУ
      • Все материалы помещать в redmine (DMS → Otchet-2018)
    • Конференции 2019г.
      • Прислать в каких конференциях Вы хотели бы участвовать. Примерную тему доклада.
        • Конференции без доклада или труды которой на индексируются в WoS или Scopus, не рассматриваются.
        • ACAT-2019. Срок подачи абстракта до 1 декабря 2018г. Можем послать 2-3 человека.
  • Отчет по договору с Бычковым подписан
  • Сервер с ГПУ
    • CentOS-7.5, CUDA toolkit 10.
    • В начале следующей неделе будут заведены учетные записи.
  • Прочее.
    • Выложить заявку в redmine. - сделано

18.10.2018

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов

  • Публикации
    • Труды конференции GRID-2018 в Дубне. Срок подачи до 06.11.2018.
      • Есть изменения в требованиях по подготовке статей. Подробности в письме оргкомитета.
      • Выложены в Redmine: Нгуеи, Токарева, Шигаров. Отсутствует - Постников (срок 21.10.18)
        • Проверить наличие ссылки на грант (кроме В.Т.)
        • Внести в список автором всех. Список участников для публикаций здесь.
  • Ю.Казарина - обновить отчет по Hubzero. Срок - 5.11.18 25.10.2018.
  • Отчет по договору с Бычковым - 20.10.18
  • Face-to-face совещание в Карлсруэ 29-30 октября 2018г.
    • Участники, которые едут в Германию: А.Крюков, Ю.Казарина, Е.Постников.
    • Названия докладов и аннотации к ним. Срок - 15.10.18
      • Шигаров - Бинарные данные. Презентация в redmine
      • Крюков - Статус работ по гранту.
      • Казарина - Hubzero
      • Постников - ML
      • Нгуен - распределенное хранилище.
      • ???? - KCDC
    • Все материалы помещать в redmine (DMS → F2F-2018)
    • Подготовить драфт программы - А.Хонгс.
    • Оргвопросы (проход на территорию, место проведения, контакты) - отв. Виктория.
  • Прочее
    • Выплаты надбавок.
      • Приказ о выплате выпущен. Деньги должны поступить вначеле ноября

27.09.2018

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов

  • Публикации
    • Трудов конференции GRID-2018 в Дубне. Срок подачи до 14.10.2018. Отв. Е.Постников. Драфт, срок - 1.11.18
    • Е.Постников, Барнаул, JoP
    • Журнал DATA. Драфт - 5.10.18. Отв. Шигаров.
      • Просьба добавить рисунки по разделам.
    • Драфты статей до 01.10.18 в Redmine (DMS→Papers→_название конференции_)
    • Туда же поместить уже опубликованные работы (WoS, Scopus!), в которых есть ссылки на грант.
  • Подготовка отчета за 2018г.
    • Ю.Казарина - обновить отчет по Hubzero. Срок - 5.11.18.
    • Отчет по договору с Бычковым - 20.10.18
  • Face-to-face совещание в Карлсруэ 29-30 октября 2018г.
    • Участники, которые едут в Германию:
      • А.Крюков
      • Ю.Казарина
      • Е.Постников.
    • Прислать сканы билетов для оформления командировок.
    • Прислать названия докладов и аннотации к ним. Срок - 15.10.18
      • Шигаров - Бинарные данные
      • Крюков - Статус работ по гранту.
      • Казарина - Hubzero
      • Постников - ML
      • Нгуен - распределенное хранилище.
      • ???? - KCDC
    • Все материалы помещать в redmine (DMS → F2F-2018)
  • Прочее
    • Готовятся выплаты надбавок. Постараемся в сентябре оформить.
    • Унифицировать сайт проекта.
      • Тем не менее, российская чать останется на русском.

21.09.2018

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Токарева, Шигаров, Шипилов

  • Публикативная активность
    • Публикации трудов конференции GRID-2018 в Дубне. Срок подачи до 14.10.2018
      • Драфты статей - 01.10.2018
    • Подготовка убликаций к печати
      • Е.Постников, Барнаул, JoP
      • A.Shigarov - журнал DATA
        • Просьба добавить рисунки по разделам.
  • Формирование списка требований для системы хранения данных.
    • Прислать акты.
  • Подготовка отчета за 2018г.
    • Ю.Казарина - обновить отчет по Hubzero
  • Face-to-face совещание в Карлсруэ 29-30 октября 2018г.
    • Участники:
      • А.Крюков
      • Ю.Казарина
      • ???
    • Прилать приглашения!
  • Годовое совещание по гранту в Моске (ноябрь-декабрь)
  • Прочее
    • Готовятся выплаты надбавок. Постараемся в сентябре оформить.
    • Унифицировать сайт проекта.
      • Тем не менее, российская чать останется на русском.

06.09.2018

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов

  • Публикативная активность
    • Доклады на конференция GRID-2018 в Дубне
      • D.Shipilov, Application of Hubzero platform for the educational process in astroparticle physics
      • M.D.Nguyen, A distributed data warehouse system for astroparticle physics.
      • A.Kryukov, USING BINARY FILE FORMAT DESCRIPTION LANGUAGES FOR VERIFYING RAW DATA IN ASTROPARTICLE PHYSICS EXPERIMENTS (Poster)
      • E.Postnikov, Particle identification in ground-based gamma-ray astronomy using convolutional neural networks
    • Подготовка убликаций к печати
      • Е.Постников, Барнаул - Gamma/Hadron Separation in Imaging Air Cherenkov Telescopes Using Deep Learning Libraries TensorFlow and PyTorch, JoP
      • A.Shigarov - журнал DATA
  • Формирование списка требований для системы хранения данных.
    • Просьба либо прислать по почте, либо внести самостоятельно в раздел сайта Критерии
  • Алгоритмы агрегации данных, постановка задачи.
  • Подготовка отчета за 2018г.
  • Прочее
    • Договор с ИГУ. Акты должны быть подписаны (и присланы нам сканы) до 10 сентября.
      • Сразу после этого деньги будут переведены в ИГУ.
    • План командировок.
      • Face-to-face совещание в Карлсруэ в октябре.
        • Зафиксировать даты на этой неделе.
        • Кто поедет в командировку.
        • Сформировать список докладов, в т.ч .дистанционных
      • Годовое совещание по гранту в Моске (ноябрь-декабрь)
    • Готовятся выплаты надбавок. Постараемся в сентябре оформить.

05/07/2018: ОТМЕНЕН

Следующий митинг состоится в четверг, 12 июля в 11:00 МСК.

28.06.2018

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов

  • Публикативная активность
    • Доклады на конференция GRID-2018 в Дубне (срок подачи аннотаций - 29 июня!)
      • J.Kazarina, Application of Hubzero platform for the educational process in astroparticle physics
      • M.D.Nguyen, A distributed data warehouse system for astroparticle physics.
      • A.Shigarov, USING BINARY FILE FORMAT DESCRIPTION LANGUAGES FOR VERIFYING RAW DATA IN ASTROPARTICLE PHYSICS EXPERIMENTS
      • A.Kryukov, Architecture of distributed storage for multi-messenger analyses in astroparticle physics
      • Создан репозиторий papers (git@theory.sinp.msu.ru:papers), предназначенный для совместной разработки статей в Техе.
        • Т.к. мастер - это что-то не понятное, а делать для каждой статьи свое репозиторий не очень хорошая идея, то каждая статья - это отдельный branch, который никогда не будет сливаться с другими бранчами.
        • Если кого забыл внести в список пользователейй репозитория, то просьба прислать письмо об этом.
  • Прочее
    • План командировок.
      • Face-to-face совещание в Карлсруэ осенью?
      • Годовое совещание по гранту в Моске (ноябрь-декабрь)
    • О следующем совещании будет объявлено дополнительно.

14/06/2018

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов

  • Новости
    • Совещание коллаборации ТАЙГА в Дубне.
      • Были сделаны сообщения по ML И работе с бинарными данными.
      • Положительно восприняты сообществом.
  • Публикативная активность
    • Доклады на конференции в Барнауле
      • Постер по бинарным данным представит Д.Ж.
    • Доклады на конференция GRID-2018 в Дубне (срок подачи аннотаций - 29 июня!)
      • Использование Hubzero как образовательный ресурс в астрофизике частиц.
      • Автоматический разбор бинарных данных экспериментов TAIGA/TUNKA
        • Использование для генерации метаданных
      • Распознование типа частиц в астрофизическом эксперименте с помощью ML
      • Принципы организации распределенного хранилища экспериментальных данных в астрофизике частиц.
    • Обязательно: благодарность гранту!
  • Прочее
    • План командировок.
      • Face-to-face совещание в Карлсруэ осенью?
      • Годовое совещание по гранту в Моске (ноябрь-декабрь)
    • Следующее регулярное совещание состоится 21 июня, четверг в 11:00 по Москве.

Объединенное совещание 30.05.18

2018.05.30 8:30 GMT (Skype)

10:30 Karlsruhe
11:30 Moscow
16:30 Irkutsk

Participants

Demichev, Dubenskaya, Haungs, Kazarina, Korosteleva, Kostunin, Kryukov, Nguyen, Mikhailov, Polyakov, Postnikov, Shigarov, Shipilov, Tokareva, Zhurov.

Topics

  • Introduction new PhD student - V.Tokareva from 01/07/18
  • Status of datacenter and joint KG/Tunka analysis Slides
  • Serialization and deserialization of binary data Slides
    • O.Fedorov check a lot of files.
    • A.K. This tool can use for automatic form metadata of primary data.
  • Hubzero (static data + community) Slides
    • A.K. Use Let's encrypt CA for the sute.
  • Identification of particles with ML
    • A.K. It is necessary to make a conclusion of the first stage.
    • Deadline is 16/09/18. Responsible person - A.Shigarov.
  • The TAIGA collaboration meeting in Dubna
    • A.K.: E.Korosteleva must prepare the report about binary data on .
      E.Postnikiv Must prepare the report about ML.
  • ECRS contributions
  • Name of the project
    • astroparticle,online
  • AOB
    • Next regular meeting of Russian team - 14.06.18
    • Please, send me (A.K.) the information about publications, reports and so on where we say thank's to the RSF.

17/05/2018

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитрий Нгуен, Поляков, Постников, Шигаров, Шипилов

  • Новости
  • Установка KCDC. Текущий статус. Отв. Ю.К., Д.К.
    • Д.К. Разрабатотчики готовят новый релиз под VMWare.
  • Hubzero. Отв. Ю.К.
    • Предложения по использованию ресурса и его контента. - Ю.К.
      • Использования ресурса для студентов, участвующих в летней школе на Байкале.
    • Д.К. Используется устаревший движок.
  • Методы машинного обучения. Текущее состояние - Е.П.
    • Сравнение на выборках после клининга.
      • Е.П. Есть вопрос об уровне шумов
    • А.К. Описать методику работы с PyTorch и TF.
  • Чтение бинарных данных. Текущий статус. - А.Михайлов
    • Библиотеки под популярные языки (С/С++, Fortran, Python), а также тестовые программы, которые делают следующее:
      • читают бинарный файл
      • пишут бинарный файл
      • по хешу можно убелиться, что входной и выходные файлы идентичны.
      • Цель: дать пример использования и быть уверенным, что все работает правильно.
      • А.М. Федоров провел тесты на примере файлов TUNKA-Rex
      • Д.К. Можно использовать GRANDE
  • Прочее
    • Договор с ИГУ - сегодня будетнаправлен на подпись в Иркутск
      • А.К. К сожалению, потребовали сделать ряд доработок.
    • Совместный митинг с немецкими коллегами в мае - 30 мая.
      • С нашей стороны предлагаю следующие сообщения (10 мин, 3-4 слайда)
        • Распознование типа частиц метоом ML - How to
        • Серилизация и десерилизация бинарных астрофизических данных - How to
        • HubZero - Ю.К.
        • KCDC - сроки релиза?

26/04/2018

Присутствуют:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Дмитирий Нгуен, Поляков, Постников, Шигаров, Шипилов

  • Новости
  • Совместный митинг с немецкими коллегами в мае - Д.К.
    • Дата совещания - 24 мая. Запасной день - 30 мая.
    • Результаты голосования будут подведены на совместном совещании в мае.
  • Договор с ИГУ пока на утверждении.
  • Установка KCDC. Отв. Ю.К., Д.К.
    • Должен получить образ под VMWare.
  • Установка Hubzero. Отв. Ю.К.
    • Предложения по использованию ресурса и его контента.
      • Подготовить на 2-3 стр. предложения - Ю.К.
    • План использования ресурса для студентов, участвующих в летней школе на Байкале.
  • Методы машинного обучения. Модератор - Е.П.
    • Уточненная процедура сравнения.
      • Открыть тестовую выборку, чтобы самостоятельно проанализировать результаты.
    • Сравнение на выборках после клининга.
      • Подготовлена соответствующая выборка.
      • Провести сравнение качества традиционных методов и нейронных сетей.
    • Вопрос шумов.
      • Шумы моделируется реальные, насколько это возможно в используемой модели.
      • Нет зависимости от времени года и т.п.
        • А.К. - Это медленная зависимость, которой не этом этапе можно и нужно пренебречь.
        • Отклики детектора моделируются по Пуассону.
  • Описание бинарных данных. Обсуждение.
    • А.К. Необходимо сделать для 2-3 наиболее популярных языков (С/С++, Fortran, Python) библиотеки, а также тестовые программы, которые делают следующее:
      • читают бинарный файл
      • пишут бинарный файл
      • по хешу можно убелиться, что входной и выходные файлы идентичны.
      • Цель: дать пример использования и быть уверенным, что все работает правильно.
  • Прочее
    • О выделении вычислительного сервера для целей проекта. - А.К.
    • О плане совещаний на май.
      • Следующее совещание 17 мая. Будет дополнительно сообщено по почте.

Решения

  • Предложения по контенту Hubzero для летней школы на Байкале. Отв. - Ю.К., срок - 17.05.18
  • Подготовить примеры использования читалок бинарных файлов для C/C++, Fortran, Python. Отв. - А.М., срок - 17.05.18.
  • Сделать очищенный набор телескопных событий и провести сравнение традиционного подхода и NN. Отв. - Е.П., Д.Ж., С.П.б срок - 17.05.18
  • Выделить место для файлов с телескопными событиями. Отв. А.К., срок - 5.05.18.

19/04/2018

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Михайлов, Поляков

  • Новости
  • Совместный митинг с немецкими коллегами в мае - Д.К.
    • Проголосовать за дату совещания - Doodle
    • Результаты голосования.
  • Договор с ИГУ пока на утверждении.
    • Дело сдвинулось. Жду подписания на следующей неделе.
  • Установка KCDC. Отв. Ю.К., Д.К.: Должен быть предоставлен доступ к серверу.
    • Сейчас готовится образ WMWare c KCDC с ограниченной БД.
  • Установка Hubzero. Отв. Ю.К.
    • Кто-нибуль пробовал зайти? – А.К.
    • Надо сформулировать что мы хотим от этого ресурса и содержание контента.
    • Есть задумка сделать что-то для студентов, участвующих в летней школе на Байкале.
  • Методы машинного обучения.
    • Предварительные результаты качества распознования PyTorch, TensorFlow и традиционные методы - Е.П.
    • С.Поляков. Необходимо уточнить процедуру сравнения.
    • А.К. Сделать сравнение на выборках после клининга.
    • Открыть тестовую выборку, чтобы самостоятельно проанализировать результаты.
  • Участие а конференции в Барнауле.
  • Прочее
    • Напомню о том, что надо регулярно выкладывать программы, разрабатываемые в проекте, в репозитории. - А.К.

2018.04.06 8:30 GMT (Skype)

10:30 Karlsruhe
11:30 Moscow
16:30 Irkutsk

Participants

  • Haungs, Kazarina, Kostunin, Kryukov, Mikhailov, Polyakov, Postnikov, Shigarov, Nguyen

Topics

Slides

Protocol

  • New PhD student in KIT: Viktoria Tokareva. Second affiliation: LNP JINR? Tkachev group?
  • KCDC: coherent development, further improvements
  • Hubzero: brainstorm with ideas, public release before ECRS2018 (ask for poster there?), beta-testing on Baikal-ISAPP school
  • Tunka data: has to be discussed
  • ANN: Tensorflow vs pyTorch: same number of epochs for fair test, increase training dataset in 10-100 times
  • Name of the project: second round
  • Check KIT participants in appds mail list

12 марта 2018

Совещание отменяется.

6 марта 2018

Совместное совещание участников проекта. Ссылка на программу

29/03/2018

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Поляков, Михайлов.

  • Новости
  • Собрать заявки на публикации по проекту. - Все
  • Матрица задач. - А.К. Обновленная матрица
    • Дополнений не поступило.
  • Договориться о совместном митинге с немецкими коллегами в апреде - Д.К.
    • Проголосовать за дату совещания - Doodle
    • Результаты голосования: 6 апреля, 11:30 МСК.
    • Резервный день - 9 апреля.
    • Сегодня открою голосование.
  • Гражданско-правовое соглашение с Бычковым. Подписано.
    • Передан с Будневым.
    • Договор с ИГУ пока на утверждении.
  • Выложить все программы, разрабатываемые в проекте, в репозитории. - А.К.
    • Нет фалов: simm, astropm, kcdc, hubzero, tflow, astrods, dataformat
    • Есть файлы: torch
  • Установка KCDC. Отв. Ю.К., Д.К.: Должен быть предоставлен доступ к серверу.
    • Это plugin to Dgango. Пока это не работает.
    • Надо настроить морду.
    • Пока нет данных.
  • Установка Hubzero. Отв. Ю.К.
    • Можно зайти на сайт и зарегистрироваться.
    • Сделать “морду” в соответствии с проектом.
    • Начать наполнение сайта учебно-научными материалами.
  • Методы машинного обучения.
    • Разослано предложение по топологии сетки и обучающему набору.
    • В качестве алгоритма перехода от гексагональной структуры к прямоугольной используем косоугольные координаты.
      • Все эти алгоритмы - просто порядок нумерации ячеек.
    • Критерии качества распознования?
    • 6 марта - мини отчет по сравнению инструментария.
  • Прочее

22/03/2018

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Поляков, Михайлов.

  • Новости
  • Собрать заявки на публикации по проекту. - Все
  • Провести ревизию матрицы задач. - А.К. Обновленная матрица
  • Договориться о совместном митинге с немецкими коллегами в апреде - Д.К.
    • Проголосовать за дату совещания - Doodle
  • Гражданско-правовое соглашение с Бычковым. Подписано.
    • Передан с Будневым.
  • Завести страницу со списком компьютеров, используемых в проекте.
  • Выложить все программы, разрабатываемые в проекте, в репозитории. - А.К.
    • Нет фалов: simm, astropm, kcdc, hubzero, tflow, astrods, dataformat
    • Есть файлы: torch
  • Установка KCDC. Отв. Ю.К., Д.К.: Должен быть предоставлен доступ к серверу.
  • Установка Hubzero. Отв. Ю.К.
    • Первисная установка была произведена. См. ссылку.
  • Методы машинного обучения.
    • Согласовать топологию сетки и обучающий набор.
      • Поляков должен разослать через список начальное предложение.
    • В качестве алгоритма перехода от гексагональной структуры к прямоугольной используем косоугольные координаты.
    • Критерии качества распознования?
  • Билеты.
    114	Task	New	Normal	Подготовить доклад по Katai Strcut	A. Mikhailov	03/19/2018 02:59 PM
    108	Task	New	Normal	Спецификация формата данных Grande	A. Mikhailov	03/17/2018 10:44 AM
    107	Task	New	Normal	Спецификация формата данных Tunka-133	A. Mikhailov	03/17/2018 10:43 AM
    106	Task	New	Normal	Спецификация формата данных IACT	A. Mikhailov	03/17/2018 10:43 AM
    103	Task	New	Normal	Metadata format version 1.0	D. Kostunin	03/16/2018 12:04 PM
    89	Task	New	Normal	digital object approach	D. Kostunin	02/21/2018 11:46 AM
    60	Task	New	Normal	Assign astroparticle.online to hubzero virtual server	D. Kostunin	03/17/2018 09:46 AM
    51	Task	New	Normal	Add H.-related author list to wiki	D. Kostunin	03/20/2018 09:04 AM
    50	Task	New	Normal	Add H.-related aknowledgements to wiki page	A. Haungs	02/05/2018 02:20 PM
    23	Task	New	Normal	Сравнение пакетов Torch и TensorFlow	J. Dubenskaya	03/20/2018 12:08 PM
    12	Task	New	Normal	Исследовательский стенд	J. Dubenskaya	02/13/2018 12:49 PM
    11	Task	New	Normal	Установка HubZERO	J. Kazarina	03/15/2018 08:32 AM
  • Прочее

15/03/2018

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Костюнин, Демичев, Поляков.

  • Новости
    • Russian Supercomputing Days. Conference and Exhibition Working Days: September 24-25, 2018. Important days: April 1 - abstract submission
    • Grid'2018. 10-14 Sep. 2018, JINR, Dubna. Important days: June 29 - abstract submission
  • Итоги Kick-off совещание по проекту в Москве: week of 5-9 March 2018.
    • Согласование программ исследований российской и немецеой сторон.
      • Уточнение групп, выполняющие те или иные задачи.
    • Уточненная архитектура распределенного хранилища астрофизических данных.
    • Метаданные и работа с ними.
      • Обсудить возможность/необходимость выборки событий из файлов, а не только выборка файлов.
    • Машинное обучение: Torch, TensorFlow - применение в астрофизике частиц, первый опыт развертывания и использования.
    • Форматы данных KASCADE и TUNKA: проблемы объединения для совместного анализа.
  • Организация работ по гранту
    • Гражданско-правовые соглашение. Должно быть подписано сегодня.
    • Договор с ИГУ пока на согласовании в ректорате.
  • Инфраструктура проекта
    • Git. Репозитории созданы. Требуется уточнение списков участников, имеющих право на запись.
      • Все программы, которые разрабатываются в проекте должны быть выложенв в git!
    • Milestones. К сожалению, нужный для нашей версии плагин пока не готов.
  • Установка KCDC. Отв. Ю.К., Д.К. Текущий статус.
  • Установка Hubzero. Отв. Ю.К. Текущий статус.
  • Методы машинного обучения.
    • Пакет Torch - С.П. Текущий статус.
    • Пакет TensorFlow - Д.Ш. и Д.Ж. Текущий статус.
    • Следующий этап: сравнение двух инт=струментариев.
      • Согласовать топологию сетки и обучающий набор.
      • В качестве алгоритма перехода от гексагональной структуры к прямоугольной используем косоугольные координаты.
  • Билеты.
    #	Tracker	Status	Priority	Subject	Assignee	Updated
    89	Task	New	Normal	digital object approach	D. Kostunin	02/21/2018 11:46 AM
    78	Task	New	Normal	Конференция 26th E+CRS / 35th RCRC.	D. Shipilov	02/11/2018 11:10 PM
    65	Task	New	Low	Translate main wiki page to English	D. Kostunin	02/06/2018 03:25 PM
    60	Task	New	Normal	Assign astroparticle.online to hubzero virtual server	D. Kostunin	02/22/2018 10:08 PM
    52	Task	New	Normal	Add H.-related people to mail list	A. Haungs	02/05/2018 02:20 PM
    51	Task	New	Normal	Add H.-related author list to wiki		02/05/2018 02:20 PM
    50	Task	New	Normal	Add H.-related aknowledgements to wiki page	A. Haungs	02/05/2018 02:20 PM
    23	Task	New	Normal	Сравнение пакетов Tourch и TensorFlow	J. Dubenskaya	02/28/2018 06:13 AM
    21	Task	New	Normal	ОсвоенИе пакета ML Tourch	J. Dubenskaya	02/08/2018 11:12 PM
    20	Task	New	Normal	Алгоритмы агрегации данных	A. Shigarov	01/29/2018 11:50 PM
    19	Task	New	Normal	Формат данных KASCADE	D. Kostunin	02/06/2018 03:26 PM
    12	Task	New	Normal	Исследовательский стенд	J. Dubenskaya	02/13/2018 12:49 PM
    11	Task	New	Normal	Установка HubZERO	J. Kazarina	03/15/2018 08:32 AM
    76	Task	In progress	Normal	Установка KCDC	J. Kazarina	02/23/2018 03:25 PM
    75	Task	In progress	Normal	HubZero	J. Kazarina	02/22/2018 08:50 AM
    73	Task	In progress	High	Договор с Бычковым	A. Kryukov	03/04/2018 08:48 AM
    72	Task	In progress	High	Договор с ИГУ	A. Kryukov	03/04/2018 08:53 AM
    64	Task	In progress	Normal	Install KCDC on virtual server	D. Kostunin	02/22/2018 10:09 PM
    61	Task	In progress	Normal	Install hubzero to virtual server	D. Shipilov	02/23/2018 05:42 AM
    28	Task	In progress	High	Управление проектом	A. Kryukov	03/04/2018 08:53 AM
    25	Task	In progress	Normal	Инфраструктура проекта	D. Nguyen	03/05/2018 12:11 AM
    24	Task	In progress	Normal	Критерии функционирования APPDS	A. Shigarov	03/14/2018 04:29 AM
    18	Task	In progress	Normal	Формат данных в TAIGA	A. Shigarov	03/01/2018 07:47 AM
    17	Task	In progress	Normal	Формат данных экспериментов	A. Shigarov	03/14/2018 04:31 AM
    16	Task	In progress	Normal	Формат описания МД	A. Kryukov	02/10/2018 10:25 AM
    15	Task	In progress	Normal	Алгоритм идентификации частиц	E. Korosteleva	03/15/2018 09:37 AM
    14	Task	In progress	Normal	Rest API	A. Kryukov	02/22/2018 08:46 AM
    13	Task	In progress	Normal	Архитектура APPDS	A. Kryukov	02/22/2018 08:47 AM
    100	Support	Solved	Normal	Как сделать видимыми в redmine новые репозитории?	D. Nguyen	03/05/2018 12:11 AM
    43	Task	Solved	Normal	Git in redmine	D. Nguyen	03/05/2018 12:11 AM
    22	Task	Solved	Normal	Освоение пакета ML TensorFlow	D. Zhurov	03/15/2018 09:37 AM
    74	Task	Feedback	Normal	обеспечить доступ на git (c правами создания репозитория) для Костюнина	D. Kostunin	02/22/2018 08:39 AM
    27	Task	Feedback	Normal	Развертывание репозитория для ПО	D. Nguyen	02/13/2018 12:50 PM
        
  • Прочее

Kick-off meeting. Presentations

05/03/2018

06/03/2018

22/02/2018

Присутствуют:
Журов, Казарина, Коростелева, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская,
Костюнин, Демичев, Поляков.

  • Новости
    • Russian Supercomputing Days. Conference and Exhibition Working Days: September 24-25, 2018. Important days: April 1 - abstract submission
    • Kick-off совещание по проекту в Москве: week of 5-9 March 2018
      • Даты: 5-6 марта.
      • Приглашение для А.Хонгса - Отослано.
      • Командировки из Иркутска. - Возможно. Срочно надо прислать темы докладов.
      • Основные вопросы:
        • Согласование программ исследований российской и немецеой сторон.
        • Уточненная архитектура распределенного хранилища астрофизических данных.
        • Метаданные и работа с ними.
        • Torch - применение в астрофизике частиц, первый опыт развертывания и использования.
        • TensorFlow - применение в астрофизике частиц, первый опыт развертывания и использования.
        • Форматы данных KASCADE и TUNKA: проблемы объединения для совместного анализа.
        • ???
  • Организация работ по гранту
    • Формирование научной группы
      • Оформление трудовых и гражданско-правовых договоров
        • Все зачислены на 0.25% ставки в НИИЯФ. В ближайшее время будут начислены первые надбавки.
        • Напоминаю о счетах в сбербанке для перечисления зарплат.
          • Это либо самый обычный счет, непривязанный к какой-либо карте, либо счте привязванный к карте МИР.
          • Прислать реквизиты счета.
      • Гражданско-правовые соглашения
        • На согласовании в ректорате
        • Пока все застопорилось.
  • Инфраструктура проекта
    • Git - установленю Работает в режиме RO.
      • Жду заявки на репозитории (название, цель, кто участник)
    • Milestones. К сожалению, нужный для нашей версии плагин пока не готов.
  • Задачи на 2018г. Мини отчеты
    • Установка KCDC. Отв. Ю.К., Д.К.
      • Подготовлено заявление в ИДСТУ для получения ВМ.
      • Есть проблемы с деплойментом, т.к. это не законченный проект.
    • Установка Hubzero. Отв. Ю.К.
    • Пакет Torch - С.П.. Перенесено на Kick-off митинг.
    • Пакет TensorFlow - Д.Ш. и Д.Ж.
      Ничего удобного и правильного для сверток на изображении с гексагональными пикселями для TensorFlow найти не удалось.
      Пока предположительно при использовании TensorFlow придется реализовать алгоритм из библиотеки, предложной Димой Костюниным (https://github.com/ai4iacts/hexagdly). Т.е. сделать форк и реализовать вариант для TensorFlow. Дополнительные подробности здесь.
  • Прочее
    • Провести ревизию билетов. Не забывать о статусе билета. Если статус держится New, то это означает что на билет не реагирует тот, кому он назначен!
      • В состоянии NEW - 20 билетов!
      • 1 билет (#51) не назначен никому!

15/02/2018

Присутствуют: Журов, Казарина, Коростелева, Костюнин, Крюков, Дмитирий Нгуен, Постников, Шигаров, Шипилов, Дубенская, Демичев, Поляков.

  • Новости
    • Граты РНФ для молодых ученых.
      • Подробности на сайте РНФ
  • Конференции
    • Конференция 26th E+CRS / 35th RCRC.
      20th Feb 2018. Deadline for Abstract Submission
      • Д.Журов и Д.Шипилов - Название и абстракт.
    • Kick-off совещание по проекту в Москве: week of 5-9 March 2018
      • Даты: 5-6 марта.
        • Срочно подготовить приглашение для А.Хонгса - в работе. Возможно сегодня будет.
        • Уточнить возможность командировок из Иркутска. - в работе
  • Организация работ по гранту
    • Формирование научной группы
      • Оформление трудовых и гражданско-правовых договоров
        • Д.Шипилову - срочно прислать необходимые документы.
        • Напоминаю о счетах в сбербанке для перечисления зарплат.
      • Утресаются последние вопросы по гражданско-правовому соглашению
        • На согласовании в ректорате
    • Подготовлен договор на выполнение НИР с ИГУ на сумму 495 тыс.
      • На согласовании в ректорате
  • Инфраструктура проекта
    • Управление проектом - Redmine - установлен.
      • Git - установленю Работает в режиме RO.
        • На этой неделе будет предоставлена возможность исполььзования репозиториев.
        • Прислать заявки на репозитории (название, цель, кто участник)
        • Кто еще на выложил свои ключи в РМ, просьба сделать это.
      • Milestones. К сожалению, нужный для нашей версии плагин пока не готов.
        • Насколько я понял, нужная версия проходит тестирование.
    • CI tool Jenkins - пока нет - Отложено на неопределенный срок.
  • Задачи на 2018г. Мини отчеты
    • Установка KCDC. Отв. Ю.К., Д.К.
      • Подготовлено заявление в ИДСТУ для получения ВМ.
      • Есть проблемы с деплойментом, т.к. это не законченный проект.
    • Установка Hubzero. Отв. Ю.К.
      • На ноутбуке.
    • Пакет Torch - С.П.
    • Пакет TensorFlow - Д.Ш. и Д.Ж.
      • Идет освоение пакетов.
      • Производительность сильно падает при использовании OpenCL.
      • Д.К. Есть проблемы с обработкой шестиугольных матриц.
      • Е.П. Есть работы по использованию TF для косоугольных матриц (сотовых) в телескопе.
    • Архитектура системы (уточнение) - А.К.
    • Метаданные и работа с ними - А.К. (в Формате мини-семинара). Перенесено на совещание в марте
  • Публикации
    • Запущено голосование (требуется регистрация).
    • Просьба проголосовать.
    • А.К.: Пока нет окончательного решения, действуем по упрощенной схеме.
  • Подгтовка трех статей с результатами работ: * Д.Костюнин, SiMulation manager (30мин)
  • Архитектура распределенного сервиса хранения данных для астрофизики частицт- А.К.
  • Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения - Е.К.
  • Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA
  • Жду предложений. У нас обязательства на этот год - 3 статьи в WoS или Scopus.
  • Прочее

08/02/2018

Предложения по программе прошу присылать на мою почту - А.К.

Присутствуют: Журов, Казарина, Коростелева, Костюнин, Крюков, Дмитирий Нгуен, Шигаров, Шипилов, Демичев.

  • Новости
    • Конференция 26th E+CRS / 35th RCRC.
      20th Feb 2018. Deadline for Abstract Submission
      • Д.Журов и Д.Шипилов - Название и абстракт.
    • Kick-off совещание по проекту в Москве: week of 5-9 March 2018
      • Уточнить даты. Подготовить программу.
        • Даты: 5-6 марта.
        • Срочно подготовить приглашение для А.Хонгса
        • Уточнить возможность командировок из Иркутска.
    • Russian Supercomputing Days. Conference and Exhibition Working Days: September 24-25, 2018.
      Important days: April 1 - abstract submission
  • Организация работ по гранту
    • Формирование научной группы
      • Идет оформление трудовых и гражданско-правовых договоров
        • А.Шипилову - срочно прислать необходимые документы.
      • Утресаются последние вопросы по гражданско-правовому соглашению
    • Подготовлен договор на выполнение НИР с ИГУ на сумму 495 тыс.
  • Инфраструктура проекта
    • Управление проектом - Redmine - установлен.
      • Git - установленю Работает в режиме RO.
      • Milestones. К сожалению, нужный для нашей версии плагин пока не готов.
    • CI tool Jenkins - пока нет - Отложено на неопределенный срок.
  • Задачи на 2018г. Мини отчеты
    • Установка KCDC. Отв. Ю.К.
    • Установка Hubzero. Отв. Ю.К.
       
      Сделано: 
      1. Изучение документации системы KCDC и платформы HUBzero. 
      2. Собраны технические требования для установки системы 
         KCDC и платформы HUBzero. 
      3. Заключен устный договор с ИДСТУ для создания на их базе 
         двух виртуальных машин для установки системы KCDC и 
         платформы HUBzero. 
      
      План на ближайшую неделю: 
      1. Отправить в ИДСТУ официальное заявление для получения доступа. 
      2. Продолжение изучения документации 
      3. Тестовая установка платформы HUBzero на ноутбук.
    • Исследовательский стенд в НИИЯФ. Отв. Ю.Д., перенесено на следующее совещание.
    • Алгоритм индентификации типа частиц.Сделано:

1. Изучение документации системы KCDC и платформы HUBzero. 2. Собраны технические требования для установки системы KCDC и платформы HUBzero. 3. Заключен устный договор с ИДСТУ для создания на их базе двух виртуальных машин для установки системы KCDC и платформы HUBzero.

План на ближайшую неделю: 1. Отправить в ИДСТУ официальное заявление для получения доступа. 2. Продолжение изучения документации 3. Тестовая установка платформы HUBzero на ноутбук.</code> Отв. Е.К.

  • МС генерация событий.
    • Составить список главных параметров, к которым чуствительна задача идентификации.
    • Составить список выходных параметров.
  • Освоение пакета TensorFlow - Д.Ж.
  • Освоение пакета Torch - Ю.Д., перенесено на следующее совещание.
  • На следующем совещании
  • Архитектура системы (уточнение) - А.К.
  • Метаданные и работа с ними - А.К. (в Формате мини-семинара)
  • Публикации
  • О порядке публикования
      • Сильно формлизованная схема, которая применима для больших коллабораций с очень длительным сроком работы. Например, коллаборации в ЦЕРНе.
    1. Я бы сейчас не усложнял процедуру. Во всяком случае на этот год. Мое предложение:
      • Работа публикуется той группой авторов, которая делала данную задачу.
      • Публикуются “титульные” статьи с участием всего кллектива.
      • Все работы обсуждаются/утверждаются на семинарах группы.
    • Запущено голосование (требуется регистрация).
    • А.К.: Пока нет окончательного решения, действуем по упрощенной схеме.
  • Подгтовка трех статей с результатами работ:
  • Архитектура распределенного сервиса хранения данных для астрофизики частиц
    • В работе
  • Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения - Е.К.
  • Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA
  • Жду предложений. У нас обязательства на этот год - 3 статьи в WoS или Scopus.
  • Прочее
  • Д.Костюнин, SiMulation manager (30мин)

Голосование

Порядок опубликования статей в 2018г
Real name Формализованная схема (Д.К.) Упрощенная схема (А.К.) Предлагаю свою схему
Alexander Kryukov (admin)   
Dmitriy Kostunin (kostunin)   
Count: 1 1 0

01/02/2018

Предложения по программе прошу присылать на мою почту - А.К.

  • Организация работ по гранту
    • Формирование научной группы
      • Оформлен приказ НИИЯФ об организации научной группы.
      • Идет оформление трудовых и гражданско-правовых договоров
        • Приках о зачислении по совместительству проходит экпертизу юристов.
        • Кажется можно будет ездить в командировки из Иркутска. Уточняем.
      • Утресаются последние вопросы по гражданско-правовому соглашению
    • Подготовлен договор на выполнение НИР с ИГУ на сумму 495 тыс.
    • План командировок на 2018г.
      • Никто пока не выразил никаких пожеланий.
      • Д.Костюнин предложил посмотреть на конференцию E+CRS, дедлайн по абстрактам 20.02.2018
        • Я не знаю что это за конференция. Запросил Диму.
    • Закупки в 2018г. (Из заявки)
      • Готовятся котировки на сервер для ML
        • 1 сервер и 1 GPU NVIDIA P100
      • Уточняютется вопрос по ЖД
      • Готовятся котировки на оборудование для аудио и видео конференций
        • Logitech
  • Инфраструктура проекта
    • Списки рассылки (APPDS) - запущен
    • Dokuwiki - запущена
    • Управление проектом - Redmine - установлен.
      • Git - установленю Работает в режиме RO.
    • CI tool Jenkins - пока нет
  • Задачи на 2018г.
    • Со следующего соывещания ответственные по задачам будут делать краткие отчеты.
      • Сегодня остановимся на некоторых.
    • Установка KCDC. Отв. Ю.К.
    • Установка Hubzero. Отв. Ю.К.
    • Исследовательский стенд в НИИЯФ. Отв. Ю.Д.
      • Выделены необходимые червера. Установлена ОС. Настраивается ПО работы с контейнерами.
    • Алгоритм индентификации типа частиц. Отв. Е.К.
    • Д.Костюнин предложил следующие задачи
      • Package manager
      • Simulation manager
  • Публикации
    • Подгтовка трех статей с результатами работ:
      • Архитектура распределенного сервиса хранения данных для астрофизики частиц
        • В работе
      • Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения - Е.К.
      • Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA
      • Жду предложений. У нас обязательства на этот год - 3 статьи в WoS или Scopus.
  • Прочее

18/01/2018

Предварительная программа соещания

Основная цель совещания - это расказать о ходе подготовки к началу работ и сформировать группы по задачам.

Предложения по программе прошу присылать на мою почту - А.К.

  • Организация начала работ по гранту
    • Формирование научной группы
      • оформление трудовых и гражданско-правовых договоров
      • бюджет 2018г (Органиченный доступ)
    • Взаимодействие с немецкой группой
    • План командировок на 2018г. (Из заявки)
      • ECRS-2018).июль 2018. Россия, Барнаул. ( 2чел)
      • RICAP-18). Июнь 2018, Марсель, Франция
      • Москва-Карлсруэ - 2 поездки
      • Москва-Иркутск - 2 поездки
        • Совещание в Москве совместное с коллегами из KIT
      • Финансирование возможно только поездок из Москвы!
    • Закупки в 2018г. (Из заявки)
      • 2 вычислительных сервера
        • 1 сервер с GPU для ML
      • ЖД на 80ТБ
      • 2 ноутбука
      • оборудование для аудио и видео конференций
      • материалы
      • прочие закупки
    • Оплата сторонних организаций.
  • Инфраструктура проекта
    • Списки рассылки (APPDS)
    • Dokuwiki
    • Управление проектом - Redmine
    • Git
    • CI tool Jenkins
  • Программный стек
    • Общий инструментарий: Python, JavaScript
    • Веб-сервисы (микросервисны): REST/HTTP(s)/JSON, WebDAV
    • Веб-интерфейсы: Django, Node.js, JavaScript
    • СУБД: SQLite, MySQL, Postgresql
    • ML: Torch (Python), TensorFlow
  • Задачи на 2018г.
    • Смотри Матрицу задач ниже
    • Подгтовка трех статей с результатами работ:
      • Архитектура распределенного сервиса хранения данных для астрофизики частиц
      • Monte-Carlo генерация событий для установки ТУНКА для задач машинного бучения
      • Формат описания данных экспериментов в астрофизике частиц на примере экспериментов KASCADE и TUNKA
    • Задел на 2019 год
  • Прочее
appds/arch18.txt · Last modified: 12/04/2019 13:53 by admin