Содержание
- 2. План История Кластеры типа Beowulf Кластеры типа MOSIX Кластеры типа SSI Балансирующие кластеры Высоконадежные кластеры Виртуальные
- 3. Литература http://www.clusterresources.com http://www.mosix.org http://www.openmosix.org http://bproc.sourceforge.net/ http://www.linuxvirtualserver.org/
- 4. Кластеры типа Beowulf Типа Beowulf Компьютеры широкого использования Распределенный образ операционной системы Централизованная модель Гетерогенность Возможные
- 5. Схема
- 6. Узлы кластера рабочие узлы (worker node) выполнение рассчета хранения данных (storage node) хранение доступных данныех узлы
- 7. Работа узлов в кластере Работа кластера как одной системы определяется программным обеспечением Узлы кластера должны "доверять"
- 8. Запуск программ на кластере Для запуска на любом узле кластера Ssh, rsh Агенты системы распределения нагрузки
- 9. Входные узлы Входной узел Брандмауэр Маршрутизатор для узлов кластера Кэширующий DNS Запуск программ на рабочих узлах
- 10. Базы данных системной информации Узел управления содержит авторитетные копии баз данных системной информации Список пользователей Список
- 11. Система мониторинга Рабочие узлы Агенты сбора информации Узел коллектора (входной или управления) Агрегация и анализ информации
- 12. GANGLIA
- 13. Система распределения нагрузки Задачи Максимально эффективное использование ресурсов кластера Максимальная скорость вычислений Удовлетворение требований пользователей в
- 14. Повышение эффективности использования ресурсов Пакетный режим Пользователи указывают необходимые ресурсы Пользователи ставят свои задачи в очередь
- 15. Реализации систем пакетного режима NQS – network queuing system PBS – portable batch system torque LL
- 16. PBS Агент менеджера ресурсов (pbs_mom) – machine oriented miniserver Сбор информации о загруженности своего узла Запуск
- 17. Структурная схема PBS Рабочий узел Агент (зависимый от машины мини-сервер) Запуск задач, сбор информации о ресурсах
- 18. Агент менеджера ресурсов Клиент-серверная идеология Может подсоединяться к серверу и планировщику для передачи информации Слушает порт
- 19. Информация о ресурсах s6 state = free np = 6 ntype = cluster jobs = 0/8054.cluster.univ.kiev.ua,
- 20. Сервер Организация очередей Агрегация использования ресурсов Очередь (класс) В каждую очередь попадают задачи с определенными требованиями
- 21. Очереди # # Create and define queue mono_long # create queue mono_long set queue mono_long queue_type
- 22. Планировщик На основе информации менеджера ресурсов Требований пользователя Ограничений Запланировать выполнение всех задач с максимальной эффективностью
- 23. Реализации планировщиков PBS_SCHEDULER Входит в систему PBS MAUI Самый распространенный кластерный планировщик Организация качества обслуживания Приоритеты
- 24. Сценарий запуска (паспорт задачи) Задача может быть запущена на любом узле кластера Чтобы все запустилось правильно
- 25. Пример запуска Сценарий #PBS cat $PBS_NODEFILE sleep 20 Запуск qsub -lnodes=2:ppn=2 tst 8115.cluster.univ.kiev.ua Выполнение [saa@cluster pbs]$
- 26. Особенности кластера типа beowulf Преимущества Гетерогенность – не помеха Независимость от программного и аппаратного обеспечения Простота
- 27. bproc Общее пространство процессов для beowulf кластеров (SSI) Процессы выполняются на удаленных узлах и могут мигрировать
- 28. Кластер типа MOSIX MOSIX – Multicomputer Operating System for Unix Кластер с одной копией операционной системы
- 29. Компоненты Децентрализованная схема Каждый узел имеет одинаковую структуру и все узлы равноправны Каждый узел имеет Информационный
- 30. Концепция домашнего узла Каждый процесс остается связанным с той машиной, на которой он был запущен При
- 31. Выполнение системного вызова
- 32. Интерфейс
- 33. Особенности Преимущества Эффективен для гетерогенных кластеров Не требует специфических настроек Динамическая масштабируемость Возможность использования существующих ресурсов
- 34. SSI Linux Полнофункциональный кластер с общим образом операционной системы Общее пространство процессов Общая память Общая файловая
- 35. Структурная схема
- 36. Балансирующие кластеры Кластер серверов видится как одна машина Внутри запросы к общему адресу распределяются между серверами,
- 37. Linux Virtual Server NAT Direct route IP tunnel
- 38. Высоконадежные кластеры Отказоустойчивость (fault-tolerance) При возникновении сбоев может сам восстановиться Высокая готовность (high availability) При обнаружении
- 39. Условия обеспечения высокой надежности Обнаружение отказов Избыточность – высокая готовность Запасные компоненты, готовые сразу же включиться
- 40. Обнаружение отказов Keep-alive, hello, heartbeat Периодически отправляемая информация о состоянии каждого узла (компоненты) Если сообщения от
- 41. Устранение неисправной компоненты Stomish Shoot Other Machine In The Head Задача – быстро устранить неисправную машину
- 42. Избыточность Избыточность данных Зеркалирование – создание полной копии Репликация – восстановление из копии Multipass – обеспечение
- 43. Журналирование Журналирование данных Перед тем, как записывать данные на постоянное место, они записываются во временное хранилище
- 44. CHPOX – CHeckPOinting linuX Сохранение текущего состояния процесса в дисковый файл Восстановление процессов из файла в
- 45. Схема работы Резервирование Восстановление регистрация Перехват сигнала Отправка сигнала Сохранение ресурсов Нормальное продолжение Загрузка ресурсов Продолжение
- 46. Пример работы
- 47. Виртуальные машины Эмуляция аппаратного обеспечения компьютера с помощью программных средств Создание иллюзии того, что операционная система
- 48. Примеры виртуальных машин Xen – виртуализация ресурсов компьютера Qemu – эмулятор аппаратного обеспечения VMWare – эмулятор
- 50. Скачать презентацию