Системы анализа больших данных (САБД)

Август 11, 2022

Главная
Информатика
Системы анализа больших данных (САБД)

Содержание

2. Осенний семестр В осеннем семестре были выполнены 4 лабораторные работы выбран инструмент анализа данных сделана презентация
3. Весенний семестр В этом семестре вам предоставляется выбор: внести вклад в разработку инструмента анализа больших данных
4. Бонусы отличникам Те, кто в прошлом семестре получили оценку отлично, могут выбрать 2-е направление (ELK-стек) и
5. Задание 1 Выбрать программный инструмент, средство, фреймворк или библиотеку c открытым исходным кодом, цель которой (одна
6. Пример 1 – Hadoop YARN система трекинга ошибок JIRA - https://issues.apache.org/jira/projects/YARN исходный код https://github.com/apache/hadoop как вносить
7. Пример 2 – Active MQ система трекинга ошибок JIRA - https://issues.apache.org/jira/projects/AMQ/ исходный код https://github.com/apache/activemq как вносить
8. iResolver Вхождение в разработку нового инструмента, особенно с открытым исходным кодом, сложная задача Для упрощения вхождения
9. Задание 2 Установка ELK стека Скачивание набора данных для анализа Импорт данных в ElasticSearch с помощью
10. Задание 3 нужно проработать структуру лабораторных работ (установка инструментов, загрузка данных, визуальный мониторинг, автоматизация развертывания решения)
11. Правила оценки успеваемости Внесение вклада в open-source Создан pull request и начато ревью – 4 PR
12. Новый консультант Ивлев Владислав Александрович Можно обращаться по любым вопросам в MS Teams
13. К следующему занятию Я вышлю все необходимые материалы Вы подготовите вопросы по заданиям предоставите ссылку на
15. Скачать презентацию

Слайд 2

Осенний семестр
В осеннем семестре были выполнены
4 лабораторные работы
выбран инструмент анализа данных
сделана

презентация с докладом о выбранном инструменте

Слайд 3

Весенний семестр
В этом семестре вам предоставляется выбор:
внести вклад в разработку инструмента

анализа больших данных c открытым исходным кодом (не больше 20 человек)
выполнить лабораторные работы посвященные стеку ELK (ElasticSearch, LogStash, Kibana) (не больше 20 человек)
разработать 5-6 лабораторных работ с использованием Grafana + Prometheus (не больше 5 человек)

Слайд 4

Бонусы отличникам
Те, кто в прошлом семестре получили оценку отлично, могут выбрать

2-е направление (ELK-стек) и выполнить только первые 3 пункта лабораторных
Всем остальным для получения оценки «отлично» в этом семестре необходимо выполнить задание полностью

Слайд 5

Задание 1
Выбрать программный инструмент, средство, фреймворк или библиотеку c открытым исходным

кодом, цель которой (одна или несколько)
обработка
хранение
передача
анализ данных
Исследовать подход к разработке выбранного инструмента
определить систему контроля версий
определить систему трекинга ошибок
определить наличие документации
определить способ сборки продукта и поддерживаемую систему CI
Выбрать несколько открытых задач для инструмента, реализовать их
Продемонстрировать презентацию, покрывающую проделанную работу

Слайд 6

Пример 1 – Hadoop YARN
система трекинга ошибок JIRA - https://issues.apache.org/jira/projects/YARN
исходный

код
https://github.com/apache/hadoop
как вносить вклад
https://cwiki.apache.org/confluence/display/HADOOP/How+To+Contribute

Слайд 7

Пример 2 – Active MQ
система трекинга ошибок JIRA - https://issues.apache.org/jira/projects/AMQ/
исходный

код
https://github.com/apache/activemq
как вносить вклад
https://activemq.apache.org/contributing

Слайд 8

iResolver
Вхождение в разработку нового инструмента, особенно с открытым исходным кодом, сложная

задача
Для упрощения вхождения в разработку и поиска похожих задач, предлагается воспользоваться инструментом iResolver (issue Resolver)
Исходный код:
https://github.com/kovaloid/iresolver

Слайд 9

Задание 2
Установка ELK стека
Скачивание набора данных для анализа
Импорт данных

в ElasticSearch с помощью Logstash
Построение графиков и визуализаций
Создание рабочих столов (dashboards)
Разработка программного средства для поиска в ElasticSearch на основе REST API

Слайд 10

Задание 3
нужно проработать структуру лабораторных работ (установка инструментов, загрузка данных, визуальный

мониторинг, автоматизация развертывания решения)
сделать описание лабораторных работ в виде текстового документа или презентации
командная и творческая работа

Слайд 11

Правила оценки успеваемости
Внесение вклада в open-source
Создан pull request и начато ревью

– 4
PR принят и смержен с мастером – 5
Выполнение лабораторных по ELK-стеку
Для тех кто получил 5 за прошлый семестр
Выполнен 1 пункт – 3
Выполнено 2 пункта – 4
Выполнены 3 пункта – 5
Для тех кто НЕ получил 5 за прошлый семестр
Выполнено 4 пункта – 3
Выполнено 5 пунктов – 4
Выполнены все 6 пунктов – 5
Разработка лабораторных работ по Grafana + Prometheus
Оценивается индивидуально для каждого участника в зависимости от вклада (3-5)

Слайд 12

Новый консультант
Ивлев Владислав Александрович
Можно обращаться по любым вопросам в MS Teams

Слайд 13

К следующему занятию
Я
вышлю все необходимые материалы
Вы
подготовите вопросы по заданиям
предоставите ссылку на

google таблицу с распределением студентов по заданиям

Системы анализа больших данных (САБД)

Содержание

Осенний семестрВ осеннем семестре были выполнены4 лабораторные работывыбран инструмент анализа данныхсделана

Весенний семестрВ этом семестре вам предоставляется выбор:внести вклад в разработку инструмента

Бонусы отличникамТе, кто в прошлом семестре получили оценку отлично, могут выбрать

Задание 1Выбрать программный инструмент, средство, фреймворк или библиотеку c открытым исходным

Пример 1 – Hadoop YARNсистема трекинга ошибок JIRA - https://issues.apache.org/jira/projects/YARN исходный

Пример 2 – Active MQсистема трекинга ошибок JIRA - https://issues.apache.org/jira/projects/AMQ/ исходный

iResolverВхождение в разработку нового инструмента, особенно с открытым исходным кодом, сложная

Задание 2Установка ELK стека Скачивание набора данных для анализа Импорт данных

Задание 3нужно проработать структуру лабораторных работ (установка инструментов, загрузка данных, визуальный

Правила оценки успеваемостиВнесение вклада в open-sourceСоздан pull request и начато ревью

Новый консультантИвлев Владислав АлександровичМожно обращаться по любым вопросам в MS Teams

К следующему занятиюЯвышлю все необходимые материалыВыподготовите вопросы по заданиямпредоставите ссылку на

Похожие презентации