Матрица задач(New!)
Архив:2018, 2017
Video conference room

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Е.Коростелева, М.-Д. Нгуен, С.Поляков, Е.Постников, Ю.Казарина, Д.Журов, А.Михайлов, А.Шигаров.

• DLC-2020
  • Будет проводиться on-line
  • Примерные даты: 2-3 июня. Сделать голосовалку - А.К.
  • 5-6 докладов от членов гранта и примерно столько же от сторонних участников.
  • Сделать страницу конференции на indico в KIT - В.Т.
    • В качестве прототипа взять информацию из предыдущей конференции.
  • Подготовить информационное письмо - А.К.
    • Поговорить с Кореньковым - А.К.
    • Посмотреть когда будет GRID-2020
• Astroparticle.online
  • Обновлены новости.
  • Анализ данных
    • сделать кнопку upload - А.М.
    • в процессе “угадайки” должен вестись текущий счет, а в конце показываться результат. - А.М.
    • кнопка возврата на основную страницу - А.М.
    • добавить краткую информацию радом с каждым изображением - Ю.К.
• AstroDS
  • Организовать скачивание данных с KCDC.- Д.Н.
    • Проверить возможность получения данных из нескольких источников.
      • Сделать тестовый источник с нужными МД. - А.М.
  • Добавить фильтры: погода, источник, прямые измерения/калибровка.
    • Специальный запрос (API) к MDC, по которому будут отдаваться возможные параметры выбора с их типом (интервал, перечисление, т.п.), а также совместимость их с другими параметрами.
    • Между параметрами логика выбора “и”. Если нужно “или”, то два запроса.
    • Внутри одного параметра логика “или”. Например выбор нескольких источников одновременно.
  • Neural network
    • Поляков - прогресса нет
    • Журов - прогресса нет
    • Постников. Сделал набор для сдвинутых изображений со случайным положением на окружности 1.3 и 0.3 градуса.
    • А.К. Провести обучение на этой выборке и проверить качество идентификации по сравнению с прямым наблюдением.

Присутствовали: А.Крюков, А.Демичев, Ю.Дубенская, Е.Коростелева, М.-Д. Нгуен, С.Поляков, Е.Постников, Ю.Казарина, Д.Журов, А.Михайлов, А.Шигаров, В.Христюк, В.Токарева, Д.Костюнин.

• Astroparticle.online
  • Добавлены фото на титульную страницу.
  • В разделе “анализ данных” будет сделана возможность выгрузки своих данных для анализа.
• AstroDS
  • Организовать скачивание данных с KCDC.
    • А.М. - проверить что данные можно скачать.
  • Добавить фильтры: погода, источник, прямые измерения/калибровка.
    • А.К. - Восстановить монтировку k1, k2, k12(?) на lcg86
  • Выбор данных по МД.
    • Сделать специальный запрос (API) к MDC, по которому будут отдаваться возможные параметры выбора с их типом (интервал, перечисление, т.п.), а также совместимость их с другими параметрами.
    • Логика выбора “и”. Если нужно “или”, то два запроса.
  • Neural network
    • Поляков - прогресса нет
    • Журов - прогресса нет
    • Постников. Сделал набор для сдвинутых изображений со случайным положением на окружности 1.3 и 0.3 градуса.
    • А.К. Провести обучение на этой выборке и проверить качество идентификации по сравнению с прямым наблюдением.

Присутствовали: Ю.Дубенская, Д.Журов, Ю.Казарина, Е.Коростелева, А.Крюков, А.Михайлов, Д.Нгуен, Е.Постников, А.Шигаров, А.Демичев, С.Поляков, В.Токарева.

• А.К.
  • Написать письмо-напоминание о близком сроке подачи статей.
  • Все статьи надо пареллельно разместить в ArcXiv. Сделать крос-ссылки из автрофизики и компьютинга.

• А.М.
  • Есть схема МД на уровне файлов
  • Пока есть проблема с портами на lcg86.
    • А.К. Порты открыты. Надо чтобы этот порт кто-нибудь “слушал”.
• Д.Н.
  • Отсутствует официальный контейнер с CVMFS
    • Пытаюсь собрать контейнер.
  • По сервису агрегации пока прогресса нет.
• А.К. Полигон для AstoDS состоит из 1 дискового сервера и 2-х вычислительных серверов (реальные машины!).
  • Дисковый сервер предназначен для симуляции локальных хранилищ (не менее 2-х). Там же будут располагаться программы “обработки” и экстракторы MD.
  • 1 вычислительный сервер - это сервис агрегации.
  • 2-ой вычислительный сервис - это MDC.
  • Если надо дополнительные сервисы (в сетевом смысле) то используем docker-контейнеры для их моделирования. А так все можно ставить прямо на железные хосты.
  • Для точки входа пользователей и других сервисов зарегистрирован домен astrods.ru
    • Сообщите не какой IP сделать запись в DNS.
• В.Т. О application service
  • А.К.
    • Данный сервис является внешним по отношению к распределенному хранилищу. Его можно включить, если будут (1) выделены ресурсы, (2) выделен человек, котрый будет его менеджировать.
    • После этого можно обсудить как организовать связт это ресурса с хранилищем (API и т.п.).
• А.К.
  • Для программ MDC и технической документации сделан репозиторий astromd

• С.П. Прогресса пока нет. Недостаточно данных для обучения. Ждем новые семплы от Е.П.
  • Е.П. Новые семплы будут готовы к 25 апреля.
• Д.Ж.
  • Программа переписана на Keras.
  • Есть некоторые результаты, но не сильно тличные от того, что было.
• Е.П.
  • До клининга имеется 150 тыс. событий с фотонами и 250-300 тыс с гамма.
  • Сегодня к вечеру подготовлю семплы.
• А.К. Договорились подробнее обсудить результаты с участием Е,П. в 14:00 в МГУ.

• А.М.
  • Установлен и настроен WordPress.
• А.К.
  • Предлагаю исползовать для работы домен astroparticle.ru, который зарегистрирован для этих целей.
  • Сообщите не какой IP сделать запись в DNS.

• А.К. В связи праздниками, следующее совещание состоится 16 мая 2019г.

См. сайт конференции https://indico.scc.kit.edu/event/526/

Присутствовали: Ю.Дубенская, Д.Журов, Ю.Казарина, Е.Коростелева, А.Крюков, А.Михайлов, Д.Нгуен, С.Поляков, Е.Постников, А.Шигаров, А.Демичев, С.Поляков, В.Токарева.

• Ю.К. Пока прогресса нет.

• А.К.
  • Если надо запустить несколько сервисов на одном физическом сервисе, то использовать docker-контейнеры и микросервисы.
  • Необходим API для доступа к MDC
  • А.М.
    • Открыть порты на lcg86
    • Создать репозиторий asdtromd

• С.П. Прогресса пока нет.
• Е.П.
  • Кроме сайза (яркость) используются расстояние до центра шала.

• Ю.К.
  • Будем использовать WordPress.

• А.К. В связи праздниками, следующее совещание состоится 16 мая 2019г.

Присутствовали: Ю.Дубенская, Д.Журов, Ю.Казарина, Е.Коростелева, А.Крюков, А.Михайлов, Д.Нгуен, Е.Постников, А.Шигаров, А.Демичев, С.Поляков.

• А.К. Основной вопрос - это подготовка трудов.
  • Основное внимание будем уделять качеству английского. Объем статей от6 до 9 стр. Срок - 30 апреля 2019г.
  • Все работы должны быть также размещены в Archive.

• А.К. В redmine выложен предварительный план работ по реализации прототипа. План рассчитан на развертывание прототипа к конце июня. Просьба к Д.Н, А.Ш. и А.М. конкретизировать план. А именно уточнить список задач, сроки их выполнения, внести, если необходимо, подзадачи и т.д.

• Д.Н. Прогресс в разработке пока отсутствует.
• А.Ш. Прогресс в разработке пока отсутствует.

• С.П. Прогресса пока нет. Недостаточно данных для обучения. Ждем новые семплы от Е.П.
  • Е.П. Новые семплы будут готовы к 25 апреля.
• Д.Ж. Прогресса пока нет. Надеюсь что-то сообщить на совещании 18 апреля.

• Ю.К. На совещании 18 апреля будет доложено о выборе платформы и плане переноса работ на нее. Подбираем администратора, который будет приглядывать за платформой.
  • А.К. План надо будет внести в redmine в виде списка связанных задач.

• А.К. Выплаты за первое полугодие будут проведены в 20-х числах апреля. Все документы подписана. Договор согласован и проходит регистраци. Оплата по договору - конец октября.

См. сайт конференции https://indico.scc.kit.edu/event/526/

Присутствовали:
Демичев, Дубенская, Журов, Казарина, Коростелева, Костюнин, Крюков, Михайлов, Нгуен, Поляков, Постников, Токарева, Шигаров.

• А.К. Некоторые принципы.
  • Распределенное хранилище ориентировано на хранение файлов.
  • Поиск данных происходит только на сервере МД
  • МД делятся на 2 уровня
    • уровень файла, т.е. те МД, которые относятся ко всему файлу, без анализа содержимого файла.
    • уровень “события”. Этот тип МД получается в результате вторичной обработки.

• Д.Н. На входе поток объектов, которыми могут быть
  • файлы, запросы (например, MongoDB в KCDC)
  • задача экстракторов - извлечение МД, ассоциированных с этим потоком объектов.
  • иерархия: установка –> кластер –> детектор –> канал

• Е.К. Примеры
  • HiScore –> Cluster1 –> st033(станция) –> канал*8. В одном файле со станции все 8 каналов.
  • Т133 –> Cluster –> станция*8 –> канал*2
  • 1 физическое событие может быть зарегистрировано несколькими детекторами.
  • Проблема с наличием битых событий, а также событий, которые не должны быть учтены.

• А.К. Вопросы:
  • Запросы на уровне файлов. Фактически в полном пути+имени хранится МД
  • Как интегрироваться с KCDC.
    • Один из вариантов, это сделать запрос в виде URI, который будет содержать фактически SQL запрос.
  • Разные установки имеют разные структуры.
    • API должен включать запрос на предоставление структуры, которая соответствует данным установки.
  • Создать тезаурус, чтобы во всем проекте была единая терминология.
  • Визуализировать структруы для пилотных установок (T133, IACT, KASCADE)
  • Все объекты (файлы, события и т.д.) должны иметь уникальные номера.
  • В МД для событий надо предусмотреть специальные маркеры (битые события и т.п.)
  • Предусмотреть возможность регистрации одного физического события несколькими установками.