Differences
This shows you the differences between two versions of the page.
| Next revision | Previous revision | ||
|
rfbr:rje:main [30/112011 19:30] demichev created |
rfbr:rje:main [27/112013 12:26] (current) demichev [Материалы проекта] |
||
|---|---|---|---|
| Line 7: | Line 7: | ||
| ====== Аннотация ====== | ====== Аннотация ====== | ||
| - | Целью работы является разработка, исследование и программная реализация новых методов унифицированного, удобного и безопасного удаленного запуска и контроля выполнения авторизованными пользователями заданий на суперкомпьютеры и вычислительные кластеры в грид-среде. | + | Общей целью работы является обеспечение эффективного использования систем распределенных вычислений и обработки данных (грид-инфраструктур), а также отдельных компьютерных ресурсов (суперкомпьютеров и вычислительных кластеров), расширение класса и повышение качества предоставляемых ими вычислительных услуг за счет унификации доступа к ресурсам пользователей при сохранении высокой степени безопасности системы. |
| - | Основой разрабатываемых методов будут веб-сервисные технологии и, в частности, архитектурный стиль REST. Будет проведен сравнительный анализ и разработаны методы аутентификации пользователей, основанные на использовании различных протоколов (в частности, основанных на инфраструктуре публичных ключей PKI и сертификатах стандарта X.509, паре логин-пароль, а также протоколах OAuth и OpenID). Сервис удаленного запуска заданий, реализующий разработанные методы, обеспечит авторизацию пользователей с ролевым определением прав доступа к ресурсам, взаимодействие (постановка в очередь, получение информации о ходе выполнения) с различными менеджерами вычислительных ресурсов (в частности PBS, Cleo), предоставление информации о ходе выполнения задания как непосредственно пользователю, так и другим сервисам, передачу результатов выполнения задания пользователю и/или в хранилище данных. | + | Разработана общая архитектура и алгоритмы работы грид-шлюза на основе REST/JSON-веб-сервисов, а также осуществлена программная реализация всех компонентов сервиса удаленного запуска (грид-шлюза) на основе разработанных принципов работы, архитектуры и алгоритмов. Самым важным результатом в этой части явилось обеспечение унифицированного способа запуска задач на вычислительных ресурсах. Для авторизации запросов, требующих уточнения принадлежности пользователя к виртуальной организации, проводится проверка атрибутного сертификата VOMS, содержащегося в прокси-сертификате. Разработанный язык описания вычислительных заданий позволяет указывать не только параметры, необходимые для запуска задачи, но и требования к среде выполнения задачи, а также требования к наличию предустановленного на кластере или суперкомпьютере программного обеспечения. Предложенное решение позволяет использовать грид-среду для эффективного запуска не только распространенных вариантов на базе MPI- и OpenMP-технологий, но и наиболее сложного комбинированного типа ? гибридных задач типа MPI+OpenMP. |
| - | Важно отметить, что разработанный сервис можно будет использовать как в качестве компонента грид-среды (грид-шлюз к вычислительным ресурсам), так и для запуска заданий пользователем непосредственно на вычислительный ресурс. В первом случае сервис должен взаимодействовать с другими грид-сервисами (например, планировщиком грид-заданий, системой мониторинга и т.д.). Во втором случае с сервисом может взаимодействовать непосредственно пользователь, в частности, через интуитивно понятный веб-интерфейс. При этом провайдеры ресурсов получат надежный и удобный инструментарий для реализации своей политики доступа к ресурсам для различных групп пользователей.љ | + | Шлюз может быть использован для доступа на суперкомпьютеры с локальными менеджерами ресурсов PBS/Torque, Cleo и SLURM, под управлением которых находятся практически все суперкомпьютерные установки России. Предложенное решение является достаточно общим подходом и может быть перенесено в другие грид-инфраструктуры. Разработанные методы позволяют существенно расширить спектр пользовательских грид-приложений, а также повысить качество обработки заданий и эффективность использования суперкомпьютерных ресурсов. |
| - | љ | + | |
| - | Разработанные методы и программный инструментарий призваны заменить существующие грид-шлюзы к ресурсам, в частности наиболее широко используемый сервис Grid Resource Allocation and Management (GRAM), входящий в состав грид-инструментария Globus Toolkit, поскольку они не удовлетворяют ряду важных функциональных требований и являются громоздкими с точки зрения администрирования. | + | |
| ====== Материалы проекта ====== | ====== Материалы проекта ====== | ||
| Line 21: | Line 19: | ||
| * [[ rfbr:rje:scmodel | Обобщенная модель СК вычислителя ]] | * [[ rfbr:rje:scmodel | Обобщенная модель СК вычислителя ]] | ||
| * [[ rfbr:rje:taskschema | Язык описания задач ]] | * [[ rfbr:rje:taskschema | Язык описания задач ]] | ||
| + | * {{ rfbr:rje:grid-shluz_PIM_RFFI.pdf | Программа и методика испытаний сервиса удаленного запуска заданий (грид-шлюза)}} | ||
| + | * [[http://omega.sp.susu.ac.ru/books/conference/PaVT2013/talks/Kryukov.pdf|Демичев А.П. (НИИЯФ МГУ), Крюков А.П. (НИИЯФ МГУ), Приходько Н.В. (НовГУ), Степанова М.М. (СПГУ), Шамардин Л.В. (НИИЯФ МГУ) "Эффективный запуск гибридных параллельных задач в гриде", Доклад на международной конференции "Параллельные вычислительные технологии (ПаВТ) 2013" (Челябинск, 31 марта - 5 апреля 2013 г.)]] | ||
| + | * [[http://vestnikvmi.susu.ru/content/2013/3/2013-3.pdf|А.П. Крюков, М.М. Степанова, Н.В.Приходько, Л.В. Шамардин, А.П. Демичев "Эффективный запуск гибридных параллельных задач в гриде" Вестник ЮУрГУ, Серия ?Вычислительная математика и информатика?, т. 2 ?љ3 (2013) 32-47]] | ||
| + | |||
| + | |||
