03 edited

Сентябрь 12, 2022

Содержание

2. Стек технологий ELK: Logstash, ElasticSearch, Kibana, beats; Применение всех этих технологий; На этой лекции будут рассмотрены
3. ELK состоит из трех основных комнонентов с открытым исходным кодом, выпущенным комнанией “Elastic” (бывшая Elasticsearch) E
4. LogStash может передавать данные в ElasticSearch; Можно добавить для резервирования Kafka/RabbitMQ; Можно передавать данные из LogStash
5. Beats 5 Copyright © Econophysica 2019. All Rights Reserved
6. Filebeat (следит за файловой системой); Winlogbeat (следит за событиями журнала Windows); Metricbeat (загрузка процессора, памяти, дисковые
7. Написаны на языке Go; Имеется библиотека ElasticSearch; Документация от сообщества; Могут передавать данные в: Logstash; ElasticSearch;
8. Программное обеспечение с открытым исходным кодом для сбора, преобразования, фильтрации и пересылки данных (например, данных журнала)
9. Множество разных источников Отдача данных множеству потребителей Фильтрация и преобразование данных согласно условиям; есть обработчики для
10. bin/logstash -f logstash.conf Logstash 10 Copyright © Econophysica 2019. All Rights Reserved Результат запуска Logstash с
11. Logstash 11 Copyright © Econophysica 2019. All Rights Reserved Пример конфигурации для работы с системным журналом
12. bin/logstash -f logstash.conf Logstash 12 Copyright © Econophysica 2019. All Rights Reserved Результат запуска Logstash с
13. file -> для обработки файлов tcp, udp, unix -> чтение напрямую из сетевых сокетов http ->
14. Приложение Logstash forwarder позволяет пересылать ввод с одного хоста (источника данных) на другой хост для обработки;
15. stdout, pipe, exec -> Выводят данные в консоль file -> Сохраняет данные в файл email ->
16. Плагины вывода Elasticsearch могут отдавать данные на несколько узлов Они распределяют выходные объекты по разным узлам,
17. grok -> разбор и структурирование произвольного текста: лучший универсальный вариант для разбора текста в объекты с
18. Входные данные: 192.168.1.22 GET /index.html 15224 0.052 grok filter filter { grok { match => {
19. Logstash 19 Copyright © Econophysica 2019. All Rights Reserved Масштабируемость и доступность
20. Logstash 20 Copyright © Econophysica 2019. All Rights Reserved Реальный пример конфигурации, CERN, 2016 Single Machine
21. Filebeat: на всех машинах, с которых вводятся данные. Данные передаются в Logstash Shipper, с ожиданием подтверждения.
22. Logstash shipper: получает данные, собирает многострочные сообщения в единое целое, отдает результат и статистики в очередь.
23. Logstash Indexer забирает данные из очереди, разбирает их с использованием регулярных выражений, и отдает результаты в
24. Logstash Monitor читает журналы Logstash и данные статистики из очереди, и передает из в Elasticsearch. Logstash
25. Серверная среда для хранения больших данных в виде структурированного индекса и запросов к ним Написан на
26. Elasticsearch может работать как одно интегрированное приложение на нескольких узлах кластера Индексы хранятся в экземплярах Lucene,
27. Документе в формате JSON поступают на сервер, например, с помощью REST API Схема не требуется, ElasticSearch
28. Полнотекстовый поиск (Full text search) – поиск ключевых слов по содержимому документов Документ – не- или
29. MS SQL Full Text Search Oracle Text MySQL, PostgreSql Full Text Search Часто реализуется внешними сервисами
30. Перед индексацией документа происходит его предобработка: Разбиение на термы (токены) Применение набора фильтров термов Сохранение термов
31. ElasticSearch 31 Copyright © Econophysica 2019. All Rights Reserved Индексация на примере
32. Проиндексируем три простых документа: Подложки на основе из Be и нитрида алюминия Кристалл с примесью бериллия
33. ElasticSearch 33 Copyright © Econophysica 2019. All Rights Reserved Расширяемость Запрос на индексацию документа Анализ при
34. Запрос PUT вставляет полезную нагрузку JSON в индекс с именем «megacorp» в качестве объекта типа «employee»
35. Вызов «GET» API REST с «/megacorp/employee/1» извлечет запись с идентификатором 1 как объект JSON ElasticSearch 35
36. GET /megacorp/employee/_search GET запрос с «_search» в конце URL выполняет запрос поиска Результаты поиска возвращаются в
37. GET /megacorp/employee/_search?q=last_name:Smith ElasticSearch 37 Copyright © Econophysica 2019. All Rights Reserved Поисковый запрос с параметрами
38. Query DSL - это язык запросов на основе JSON Передается в теле поискового запроса Запросы match
39. Состоит из query и filter Часть query ищет все записи с фамилией «Smith» (2) Затем фильтр
40. Комбинированный поиск по разным атрибутам и разным индексам Множество возможностей для полнотекстового поиска по значениям атрибутов
41. Запросы с использованием геоданных Поисковые подсказки Агрегация поисковых данных в реальном времени Статистические расчеты (суммы, среднее
42. Управление данными и анализ данных журналов Мониторинг систем и / или приложений и уведомление операторов о
43. ElasticSearch 43 Copyright © Econophysica 2019. All Rights Reserved Применения для стека ELK Единственный Backend для
44. Множество разных типов журналов Журналы приложений Журналы операционной системы Журналы сетевого трафика от роутеров и пр.
45. Нет централизации Данные журнала могут быть везде на разных серверах и в разных местах на одном
46. Logstash позволяет собирать все записи журнала в центральном хранилище (например, Elasticsearch) Конечным пользователям не нужно знать,
47. Стек ELK также предоставляет хорошие решения для мониторинга данных и оповещения пользователей. Logstash может проверять условия
48. Заключение Стек ELK прост в использовании и имеет множество применений Управление данными и анализ журналов Мониторинг
50. Скачать презентацию

Слайд 2

Стек технологий ELK: Logstash, ElasticSearch, Kibana, beats;
Применение всех этих технологий;
На этой

лекции будут рассмотрены

Слайд 3

ELK состоит из трех основных комнонентов с открытым исходным кодом, выпущенным

комнанией “Elastic” (бывшая Elasticsearch)
E => Elasticsearch (Масштабируемое хранилище данных с широкими возможностями поиска)
L => Logstash (Инструмент для сбора, обогащения, фильтрации и маршрутизации данных, например журналов приложений)
K => Kibana (Инструмент для исследования и визуализации данных)

Стек технологий ElasticSearch

Logstash

Данные

Kibana

Слайд 4

LogStash может передавать данные в ElasticSearch;
Можно добавить для резервирования Kafka/RabbitMQ;
Можно передавать

данные из LogStash в другой экземпляр LogStash;
Beats могут передавать данные в ElasticSearch;
Kafka;
Logstash.

Как из технологий ELK собирается инфраструктура?

Слайд 5

Beats
5
Copyright © Econophysica 2019. All Rights Reserved

Слайд 6

Filebeat (следит за файловой системой);
Winlogbeat (следит за событиями журнала Windows);
Metricbeat (загрузка

процессора, памяти, дисковые IO);
Heartbeat (время работы и доступность системы).
Packetbeat (сетевые пакеты);
Community Beats.

Beats

Слайд 7

Написаны на языке Go;
Имеется библиотека ElasticSearch;
Документация от сообщества;
Могут передавать данные в:
Logstash;
ElasticSearch;
Kafka;
…
Beats:

расширяемость

Слайд 8

Программное обеспечение с открытым исходным кодом для сбора, преобразования, фильтрации и

пересылки данных (например, данных журнала) из входных источников в выходные источники (например, Elasticsearch);
Реализован в JRuby и работает на JVM (виртуальная машина Java);
Простая архитектура на основе сообщений;
Расширяемый с помощью плагинов (например, входных, выходных, и фильтров).

Logstash

Слайд 9

Множество разных источников
Отдача данных множеству потребителей
Фильтрация и преобразование данных согласно условиям;

есть обработчики для популярных форматов

Настройка Logstash

Слайд 10

bin/logstash -f logstash.conf
Logstash
10
Copyright © Econophysica 2019. All Rights Reserved
Результат запуска Logstash

с такой конфигурацией:

Слайд 11

Logstash
11
Copyright © Econophysica 2019. All Rights Reserved
Пример конфигурации для работы с

системным журналом

Слайд 12

bin/logstash -f logstash.conf
Logstash
12
Copyright © Econophysica 2019. All Rights Reserved
Результат запуска Logstash

с такой конфигурацией:

Слайд 13

file -> для обработки файлов
tcp, udp, unix -> чтение напрямую из

сетевых сокетов
http -> для обработки запросов HTTP POST
http_poller -> для опроса HTTP-сервисов как источников ввода
imap -> доступ и обработка почты imap
Различные входные плагины для доступа к MOM (очередям сообщений)
Rabbitmq, Stomp, …
Различные плагины для доступа к системам баз данных
JDBC ,Elasticsearch, …
Плагины для чтения данных из сервисов системного журнала и из командной строки
syslog, eventlog, pipe, exec
И так далее.

Logstash

Плагины ввода данных

Слайд 14

Приложение Logstash forwarder позволяет пересылать ввод с одного хоста (источника данных)

на другой хост для обработки;
Плагин ввода данных Lumberjack можно настроить для приема сообщений, получаемых из Logstash forwarder.
Данные можно зашифровать с использованием сертификатов.

Logstash

Logstash Forwarder и Lumberjack

Слайд 15

stdout, pipe, exec -> Выводят данные в консоль
file -> Сохраняет данные

в файл
email -> Отправляет данные по электронной почте
tcp, udp, websocket -> Отправляет данные через сетевые соединения
http -> Передает данные через HTTP-запрос
Множество плагинов для передачи данных в базы данных и облачные хранилища
elasticsearch, solr_http, mongodb, google_bigquery, google_cloud_storage, opentsdb
Множество плагинов для передачи данных в очереди сообщений MOM
Rabbitmq, stomp, …
Множество плагинов для передачи данных в приложения расчета метрик
graphite, graphtastic, ganglic, metriccatcher

Logstash

Плагины вывода данных

Слайд 16

Плагины вывода Elasticsearch могут отдавать данные на несколько узлов
Они распределяют выходные

объекты по разным узлам, обеспечивая балансировку нагрузки
Экземпляр Logstash также может быть частью кластера Elasticsearch и записывать данные через протокол кластера..

Logstash

Запись в несколько узлов

Слайд 17

grok -> разбор и структурирование произвольного текста: лучший универсальный вариант для

разбора текста в объекты с заданной структурой
Фильтры для разбора различных популярных форматов данных
csv, json, kv (key-valued paired messages), xml, …
multiline -> объединить несколько строк входных данных в одно событие Logstash
split -> разбить многострочное сообщение на несколько событий Logstash
aggregate -> аггрегировать несколько отдельных строк в одно событие
mutate -> изменить поле (переименовать, удалить, заменить, изменить значение)
dns -> выполнить DNS-запрос для разрешения IP-адреса
geoip -> найти географическое положение IP-адреса
И многое, многое другое.

Logstash

Плагины фильтров

Слайд 18

Входные данные: 192.168.1.22 GET /index.html 15224 0.052
grok filter filter { grok {

match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" } }
Результат:
client: 192.168.1.22
method: GET
request: /index.html
bytes: 15224
duration: 0.052

Logstash

Grok: пример использования

Слайд 19

Logstash
19
Copyright © Econophysica 2019. All Rights Reserved
Масштабируемость и доступность

Слайд 20

Logstash
20
Copyright © Econophysica 2019. All Rights Reserved
Реальный пример конфигурации, CERN, 2016
Single

Machine

IT Service

Слайд 21

Filebeat: на всех машинах, с которых вводятся данные.
Данные передаются в Logstash

Shipper, с ожиданием подтверждения.

Logstash

Реальный пример конфигурации, CERN, 2016

Слайд 22

Logstash shipper: получает данные, собирает многострочные сообщения в единое целое, отдает

результат и статистики в очередь.

Logstash

Реальный пример конфигурации, CERN, 2016

Слайд 23

Logstash Indexer забирает данные из очереди, разбирает их с использованием регулярных

выражений, и отдает результаты в ElasticSearch, а статистику – в очередь.

Logstash

Реальный пример конфигурации, CERN, 2016

Слайд 24

Logstash Monitor читает журналы Logstash и данные статистики из очереди, и

передает из в Elasticsearch.

Logstash

Реальный пример конфигурации, CERN, 2016

Слайд 25

Серверная среда для хранения больших данных в виде структурированного индекса и

запросов к ним
Написан на Java
На основе Apache Lucene
Использует Lucene для создания и управления индексами
Документно-ориентированные (структурированные) индексные записи, которые могут (но не должны) быть связаны со схемой
Объединяет полнотекстовые параметры поиска для текстовых полей с более точными параметрами поиска для других типов полей, таких как поля даты и времени, поля геолокации и т. д.
Возможности поиска и анализа почти в реальном времени
Предоставляет Restful API в виде JSON через HTTP

ElasticSearch

Слайд 26

Elasticsearch может работать как одно интегрированное приложение на нескольких узлах кластера
Индексы

хранятся в экземплярах Lucene, называемых «shard», которые могут быть распределены по нескольким узлам
Есть два типа shard
Первичные shard
Копии
Копии обеспечивают
Отказоустойчивость и, следовательно, защиту данных
Ускорение выполнения запросов

ElasticSearch

Масштабируемость

Слайд 27

Документе в формате JSON поступают на сервер, например, с помощью REST

API
Схема не требуется, ElasticSearch сам определяет тип атрибутов
Но возможно явно указать схему, то есть типы для атрибутов
string, byte, short, integer, long, float, double, boolean, date, и т. д.
Анализ текстовых атрибутов для полнотекстового поиска
Извлечение слов, приведение слов к их базовой форме (stemming)
Стоп слова
Поддержка нескольких языков
Можно автоматически генерировать идентификаторы для наборов данных, или указывать их явно при индексации

ElasticSearch

Индексация данных

Слайд 28

Полнотекстовый поиск (Full text search) – поиск ключевых слов по содержимому

документов
Документ – не- или частично структурированный объект, содержащий текстовые и другие атрибуты
Почему не реляционная БД?
select * from articles where LOWER(content) like ‘%tersoff%’

ElasticSearch

Полнотекстовый поиск

Слайд 29

MS SQL Full Text Search
Oracle Text
MySQL, PostgreSql Full Text Search
Часто реализуется

внешними сервисами и специализированными хранимыми процедурами на языках С++, Java, C#
Проблемы:
Медленно работает
Слабая функциональность
Плохая расширяемость
Не приоритетная задача для реляционной СУБД

ElasticSearch

Полнотекстовый поиск в реляционных СУБД

Слайд 30

Перед индексацией документа происходит его предобработка:
Разбиение на термы (токены)
Применение набора фильтров

термов
Сохранение термов в инвертированный индекс вместе с позициями в исходных документах
Аналогичная трансформация происходит с поисковыми запросами:
Разбиение на термы (токены)
Применение набора фильтров термов
Поиск документов в инвертированном индексе по термам
Сортировка документов по релевантности

ElasticSearch

Индексация и поиск документа

Слайд 31

ElasticSearch
31
Copyright © Econophysica 2019. All Rights Reserved
Индексация на примере

Слайд 32

Проиндексируем три простых документа:
Подложки на основе из Be и нитрида алюминия
Кристалл

с примесью бериллия
Beryllium oxide

ElasticSearch

Индексация на примере: инвертированный индекс

Слайд 33

ElasticSearch
33
Copyright © Econophysica 2019. All Rights Reserved
Расширяемость
Запрос на индексацию документа
Анализ при

индексации

Данные индекса

Анализ при поиске

Поисковый запрос

ElasticSearch

точки расширения
(анализаторы, токенайзеры)

Слайд 34

Запрос PUT вставляет полезную нагрузку JSON в индекс с именем «megacorp»

в качестве объекта типа «employee»
Схема для типа может быть явно определена (во время создания индекса или автоматически)
Текстовое поле (например, «about») будет проанализировано, если для этого поля настроены
анализаторы
В URL запроса указан идентификатор «1» для записи объекта в индекс

ElasticSearch

REST API

Слайд 35

Вызов «GET» API REST с «/megacorp/employee/1» извлечет запись с идентификатором 1

как объект JSON

ElasticSearch

REST API: получение записи из индекса

GET /megacorp/employee/1

Слайд 36

GET /megacorp/employee/_search
GET запрос с «_search» в конце URL выполняет запрос поиска
Результаты

поиска возвращаются в ответе JSON в виде массива «hits»
Другие метаданные содержат количество результатов поиска («total») и max_score

ElasticSearch

Простой запрос

Слайд 37

Слайд 38

Query DSL - это язык запросов на основе JSON
Передается в теле

поискового запроса
Запросы match имеют ту же семантику, что и простые запросы

ElasticSearch

Query DSL

Слайд 39

Состоит из query и filter
Часть query ищет все записи с фамилией

«Smith» (2)
Затем фильтр будет выбирать только те записи, которые соответствуют фильтру диапазона (1) “age”: {“gt”: 30}

ElasticSearch

Пример Query DSL

Слайд 40

Комбинированный поиск по разным атрибутам и разным индексам
Множество возможностей для полнотекстового

поиска по значениям атрибутов
Точное совпадение, неточное, близость (фразы), частичное совпадение
Поддержка основных логических операторов (И / или,…)
Запросы с диапазонами значений(включая диапазоны дат)
...
Контроль актуальности и ранжирование результатов поиска, сортировка результатов
Повышение релевантности при индексации
Повышать или игнорировать релевантность при запросах
Различные другие возможности сортировки результатов поиска

ElasticSearch

Возможности Query DSL

Слайд 41

Запросы с использованием геоданных
Поисковые подсказки
Агрегация поисковых данных в реальном времени
Статистические расчеты

(суммы, среднее значение, максимум, минимум,…)
Группировка
Используя термины
Статистические расчеты
Классификация (Группировка по диапазонам)
Правила фильтрации
По географическому расстоянию
...

ElasticSearch

Возможности Query DSL

Слайд 42

Управление данными и анализ данных журналов
Мониторинг систем и / или приложений

и уведомление операторов о критических событиях
Сбор и анализировать данныхдля бизнес-аналитики
Сбор и анализ данных управления энергопотреблением в энергораспределительной сети, и данные о событиях из сетей обработки научных данных
Экологические данные
Использование стека ELK для поискового доступа к большим данным в сетевых информационных системах

ElasticSearch

Применения для стека ELK

Слайд 43

для приложения
Дополнительное хранилище для поиска по данным в первичной БД
Инструмент для сбора и поиска информации из множества источников

Приложение

ElasticSearch индекс

Сохранить blog post

Поиск по блогам

Приложение

Основная база данных
(SQL, MongoDB)

Сохранить blog post,
Обновление финансовой информации об оплате

ElasticSeach индекс

Поиск по блогам

Синхронизация данных

ElasticSearch индекс

LogStash
Сбор, транформация и загрузка данных в elastic

Apache Flume

Rsyslog

Визуализация данных
Kibana

Слайд 44

Множество разных типов журналов
Журналы приложений
Журналы операционной системы
Журналы сетевого трафика от роутеров

и пр.
Разные цели анализа
Обнаружение ошибок во время выполнения или во время тестирования приложений
Выявление и анализ угроз безопасности
Сводные статистические данные / метрики

ElasticSearch

Управление данными и анализ данных журналов

Слайд 45

Нет централизации
Данные журнала могут быть везде
на разных серверах и в разных

местах на одном сервере
Проблемы доступности
Журналы может быть трудно найти
Доступ к серверу / устройству часто затруднен для аналитика
Необходим высокий опыт для доступа к журналам на разных платформах
Журналы могут быть большими и, следовательно, их трудно копировать
Доступ по SSH и grep в журналах не масштабируются
Нет согласованности
Структура записей журнала отличается для каждого приложения, системы или устройства
Специальные знания необходимы для интерпретации различных типов журналов
Различия в форматах усложняют поиск
Много разных типов форматов времени

ElasticSearch

Проблемы анализа данных журналов

Слайд 46

Logstash позволяет собирать все записи журнала в центральном хранилище (например, Elasticsearch)
Конечным

пользователям не нужно знать, где находятся файлы журналов.
Большие файлы журнала будут передаваться непрерывно небольшими порциями
Записи файла журнала могут быть преобразованы в согласованные объекты событий
Простой доступ для конечных пользователей через интерфейсы на основе браузера (например, Kibana)
Elasticsearch / Kibana предоставляют расширенные функциональные возможности для анализа и визуализации данных журнала

ElasticSearch

Индексация и поиск документа

Слайд 47

Стек ELK также предоставляет хорошие решения для мониторинга данных и оповещения

пользователей.
Logstash может проверять условия на записи файла журнала и даже агрегированные метрики
И отправлять уведомления о событиях в определенные выходные плагины, если критерии мониторинга выполнены
Например. переслать событие уведомления в плагин вывода электронной почты для уведомления пользователя (например, системного администратора) о состоянии системы
Переслать события уведомления в специальное приложение мониторинга
Elasticsearch в сочетании с Watcher (еще один продукт Elastic)
Может обрабатывать произвольные запросы Elasticsearch для создания предупреждений и уведомлений
Эти запросы могут выполняться через определенные промежутки времени
Когда выполняется отслеживаемое условие, можно предпринять действия (отправить электронное письмо или переслать событие в другую систему)

ElasticSearch

Мониторинг

Слайд 48

Заключение
Стек ELK прост в использовании и имеет множество применений
Управление данными и

анализ журналов
Мониторинг систем и / или приложений и уведомление операторов о критических событиях
Сбор и анализ больших данных других типов
Предоставление доступа к большим данным в крупномасштабных веб-приложениях
Тем самым решается много проблем с такими вариантами использования по сравнению с «самодельными» решениями.
Благодаря своей ориентированности на сервисы, ELK легко встраивать в существующие большие приложения микросервисной архитектуры.

03 edited

Содержание

Стек технологий ELK: Logstash, ElasticSearch, Kibana, beats;Применение всех этих технологий;На этой

ELK состоит из трех основных комнонентов с открытым исходным кодом, выпущенным

LogStash может передавать данные в ElasticSearch;Можно добавить для резервирования Kafka/RabbitMQ;Можно передавать

Beats5Copyright © Econophysica 2019. All Rights Reserved

Filebeat (следит за файловой системой);Winlogbeat (следит за событиями журнала Windows);Metricbeat (загрузка

Написаны на языке Go;Имеется библиотека ElasticSearch;Документация от сообщества;Могут передавать данные в:Logstash;ElasticSearch;Kafka;…Beats:

Программное обеспечение с открытым исходным кодом для сбора, преобразования, фильтрации и

Множество разных источниковОтдача данных множеству потребителейФильтрация и преобразование данных согласно условиям;

bin/logstash -f logstash.confLogstash10Copyright © Econophysica 2019. All Rights ReservedРезультат запуска Logstash

Logstash11Copyright © Econophysica 2019. All Rights ReservedПример конфигурации для работы с

bin/logstash -f logstash.confLogstash12Copyright © Econophysica 2019. All Rights ReservedРезультат запуска Logstash

file -> для обработки файловtcp, udp, unix -> чтение напрямую из

Приложение Logstash forwarder позволяет пересылать ввод с одного хоста (источника данных)

stdout, pipe, exec -> Выводят данные в консольfile -> Сохраняет данные

Плагины вывода Elasticsearch могут отдавать данные на несколько узловОни распределяют выходные

grok -> разбор и структурирование произвольного текста: лучший универсальный вариант для

Входные данные: 192.168.1.22 GET /index.html 15224 0.052grok filter filter { grok {

Logstash19Copyright © Econophysica 2019. All Rights ReservedМасштабируемость и доступность

Logstash20Copyright © Econophysica 2019. All Rights ReservedРеальный пример конфигурации, CERN, 2016Single

Filebeat: на всех машинах, с которых вводятся данные.Данные передаются в Logstash

Logstash shipper: получает данные, собирает многострочные сообщения в единое целое, отдает

Logstash Indexer забирает данные из очереди, разбирает их с использованием регулярных

Logstash Monitor читает журналы Logstash и данные статистики из очереди, и

Серверная среда для хранения больших данных в виде структурированного индекса и

Elasticsearch может работать как одно интегрированное приложение на нескольких узлах кластераИндексы

Документе в формате JSON поступают на сервер, например, с помощью REST

Полнотекстовый поиск (Full text search) – поиск ключевых слов по содержимому

MS SQL Full Text SearchOracle TextMySQL, PostgreSql Full Text SearchЧасто реализуется

Перед индексацией документа происходит его предобработка:Разбиение на термы (токены)Применение набора фильтров

ElasticSearch31Copyright © Econophysica 2019. All Rights ReservedИндексация на примере

Проиндексируем три простых документа:Подложки на основе из Be и нитрида алюминияКристалл

ElasticSearch33Copyright © Econophysica 2019. All Rights ReservedРасширяемостьЗапрос на индексацию документаАнализ при

Запрос PUT вставляет полезную нагрузку JSON в индекс с именем «megacorp»

Вызов «GET» API REST с «/megacorp/employee/1» извлечет запись с идентификатором 1

GET /megacorp/employee/_searchGET запрос с «_search» в конце URL выполняет запрос поискаРезультаты

GET /megacorp/employee/_search?q=last_name:SmithElasticSearch37Copyright © Econophysica 2019. All Rights ReservedПоисковый запрос с параметрами

Query DSL - это язык запросов на основе JSONПередается в теле

Состоит из query и filterЧасть query ищет все записи с фамилией

Комбинированный поиск по разным атрибутам и разным индексамМножество возможностей для полнотекстового

Запросы с использованием геоданныхПоисковые подсказкиАгрегация поисковых данных в реальном времениСтатистические расчеты

Управление данными и анализ данных журналовМониторинг систем и / или приложений

ElasticSearch43Copyright © Econophysica 2019. All Rights ReservedПрименения для стека ELKЕдинственный Backend

Множество разных типов журналовЖурналы приложенийЖурналы операционной системыЖурналы сетевого трафика от роутеров

Нет централизацииДанные журнала могут быть вездена разных серверах и в разных

Logstash позволяет собирать все записи журнала в центральном хранилище (например, Elasticsearch)Конечным

Стек ELK также предоставляет хорошие решения для мониторинга данных и оповещения

ЗаключениеСтек ELK прост в использовании и имеет множество примененийУправление данными и

Похожие презентации

Стек технологий ELK: Logstash, ElasticSearch, Kibana, beats;
Применение всех этих технологий;
На этой

LogStash может передавать данные в ElasticSearch;
Можно добавить для резервирования Kafka/RabbitMQ;
Можно передавать

Beats
5
Copyright © Econophysica 2019. All Rights Reserved

Filebeat (следит за файловой системой);
Winlogbeat (следит за событиями журнала Windows);
Metricbeat (загрузка

Написаны на языке Go;
Имеется библиотека ElasticSearch;
Документация от сообщества;
Могут передавать данные в:
Logstash;
ElasticSearch;
Kafka;
…
Beats:

Множество разных источников
Отдача данных множеству потребителей
Фильтрация и преобразование данных согласно условиям;

bin/logstash -f logstash.conf
Logstash
10
Copyright © Econophysica 2019. All Rights Reserved
Результат запуска Logstash

Logstash
11
Copyright © Econophysica 2019. All Rights Reserved
Пример конфигурации для работы с

bin/logstash -f logstash.conf
Logstash
12
Copyright © Econophysica 2019. All Rights Reserved
Результат запуска Logstash

file -> для обработки файлов
tcp, udp, unix -> чтение напрямую из

stdout, pipe, exec -> Выводят данные в консоль
file -> Сохраняет данные

Плагины вывода Elasticsearch могут отдавать данные на несколько узлов
Они распределяют выходные

Входные данные: 192.168.1.22 GET /index.html 15224 0.052
grok filter filter { grok {

Logstash
19
Copyright © Econophysica 2019. All Rights Reserved
Масштабируемость и доступность

Logstash
20
Copyright © Econophysica 2019. All Rights Reserved
Реальный пример конфигурации, CERN, 2016
Single

Filebeat: на всех машинах, с которых вводятся данные.
Данные передаются в Logstash

Elasticsearch может работать как одно интегрированное приложение на нескольких узлах кластера
Индексы

MS SQL Full Text Search
Oracle Text
MySQL, PostgreSql Full Text Search
Часто реализуется

Перед индексацией документа происходит его предобработка:
Разбиение на термы (токены)
Применение набора фильтров

ElasticSearch
31
Copyright © Econophysica 2019. All Rights Reserved
Индексация на примере

Проиндексируем три простых документа:
Подложки на основе из Be и нитрида алюминия
Кристалл

ElasticSearch
33
Copyright © Econophysica 2019. All Rights Reserved
Расширяемость
Запрос на индексацию документа
Анализ при

GET /megacorp/employee/_search
GET запрос с «_search» в конце URL выполняет запрос поиска
Результаты

GET /megacorp/employee/_search?q=last_name:Smith
ElasticSearch
37
Copyright © Econophysica 2019. All Rights Reserved
Поисковый запрос с параметрами

Query DSL - это язык запросов на основе JSON
Передается в теле

Состоит из query и filter
Часть query ищет все записи с фамилией

Комбинированный поиск по разным атрибутам и разным индексам
Множество возможностей для полнотекстового

Запросы с использованием геоданных
Поисковые подсказки
Агрегация поисковых данных в реальном времени
Статистические расчеты

Управление данными и анализ данных журналов
Мониторинг систем и / или приложений

ElasticSearch
43
Copyright © Econophysica 2019. All Rights Reserved
Применения для стека ELK
Единственный Backend

Множество разных типов журналов
Журналы приложений
Журналы операционной системы
Журналы сетевого трафика от роутеров

Нет централизации
Данные журнала могут быть везде
на разных серверах и в разных

Logstash позволяет собирать все записи журнала в центральном хранилище (например, Elasticsearch)
Конечным

Заключение
Стек ELK прост в использовании и имеет множество применений
Управление данными и