Предложения к ТТ на ПО КУ
Данный документ описывает предложения по
включению тех или иных требований в ТТ на
программное обеспечение кластерного уровня.
Документ был разработан во время работы на
конференции Моряк'2000 представителями ИПС РАН и
МГУ. В первую очередь при разработке было
уделенео внимание проработке требований по
составу. Хотя и требования на функциональность в
основном отмечены.
Мы постарались закрыть все пункты, имеющие
отношение к ПО КУ, то есть, все пункты (и даже
шире), которые предусмотрены мероприятиями:
- мероприятие 6 "Проектирование и реализация
программной документации (ПД) программного
обеспечения (ПО) кластерного уровня (КУ) в части
ОС КУ, системной сети КУ и программных средств
поддержки параллельных вычислений"
- мероприятие 8 "Проектирование и реализация
программной документации (ПД) языковых средств
программного обеспечения (ПО) кластерного уровня
(КУ) в части компилятора и редактора связей
Т-языка"
- и др. (взаимодействие КУ и ОВС, например).
Большинство компонент ПО КУ снабжены пометками
сроков реализации (с последущим сопровождением и
выпуском новых версий). Пример пометки: "(2001 и
далее)". Если такой пометки нет, то
предполагается срок реализации 2000 г. с
последущим сопровождением и выпуском новых
версий.
Некоторые компоненты не вполне продуманы по
составу, исполнению и функциональности. Тогда
записан план мероприятий по ним (см. 10, 11, 12).
Хотя мы и старались---документ является
черновиком и требует обсуждения и доработки:
- как в части добавления всего, что мы могли
пропустить (что в этом супе не хватает?);
- так и в части формального превращения его в
настоещее ТТ.
Состав ПО КУ и функциональность
компонент
1. Специальный дистрибутив ОС Linux
Версия ядра 2.2 (2000, в дальнейшем---2.4)
Специальный дистрибутив ОС Linux дополнительно
(по сравнению с обычной версией) будет
обеспечивать:
- повышенную защищенность;
- поддержку аппаратуры СС SAN (SCI);
- поддержку SМP;
- расширенную функциональность управления
памятью процесса (memory management);
- поддержку всех необходимых базовых средств OC
Linux.
2. Программное обеспечение СС SAN (SCI)
Программное обеспечение СС SAN (SCI) по составу
включающет:
- Драйвер аппаратуры СС SAN (SCI). Требования:
- совместимость с выбранными аппаратными
средствами БВМ КУ и
- совместимость с разрабатываемым дистрибутивом
OC Linux (см. п.1).
- ПО поддержки MPI на платформе СС SAN (SCI).
Требования:
- совместимость со стандартом MPI 1.2;
- совместимость со стандартом MPI 1.2 + ROMIO (2001 и
далее);
- расширенная совместимость MPI с SMP (2001 и далее).
- ПО поддержки модели "общей памяти" на
платформе СС SAN (SCI). Требования: позволяет
"напрямую" (без поддержки со стороны ОС и/или
MPI) выполнять операции доступа на чтение и запись
к памяти различных БВМ КУ (2001 и далее).
- ПО поддержки PVM на платформе СС SAN (2001 и далее).
3. Программное обеспечение поддержки
параллельных вычислений---в части поддержки MPI
ПО поддержки MPI по состяву должно включать (частично
2000, частично 2001 и далее):
- mpirun (2000);
- mpicc (2000, 2001 и далее);
- библиотеки (2001 и далее).
4. Программное обеспечение поддержки
параллельных вычислений---в части поддержки PVM
ПО поддержки MPI по состяву должно включать (частично
2000, частично 2001 и далее):
- pvm (2000);
- xpvm (2001 и далее);
- pvm поверх MPI---или pvm на платформе СС SAN (SCI)
бесконфликтный с MPI (2001 и далее);
- прикладные пакеты над PVM
5. Программное обеспечение поддержки
параллельных вычислений---в части T-системы
(расширенная версия)
ПО поддержки MPI по состяву должно включать (частично
2000, частично 2001 и далее):
- Библиотека поддержки Т-системы---TKI:
- Эффективный memory management для SMP (+GC)
- Мобильные легковесные процессы
- Корректная работа с LIBC (2001 и далее);
- SMP-ядро Т-системы: PGR/SMP:
- реализация примитивов TVar, TCoht, Node, PQue
- инкрементальное вычисление (2001 и далее)
- различные стратегии вычислений (2001 и далее)
- потоковые функции (2001 и далее)
- Коммуникационный уровень Т-системы---CLS/MPI
- поддержка сериализация/десериализация
объектов;
- поддержка обмена сообщениями между
выполняющимися потоками;
- поддержка распределенной мемо-таблицы (частично
2000, частично 2001 и далее);
- статистическая поддержка внешнего
планирования (2001 и далее);
- поддержка абстракции "вычисления",
"вычислительного пространства" и
"портала" (частично 2000, частично 2001 и
далее);
- отказоустойчивость (2001 и далее);
- поддержка эмуляции кластера на одном узле (2001
и далее).
- Поддержка монотонных объектов (2001 и далее).
6. Языковые средства параллельных вычислений
- Языковые средства MPI
- mpcc
- Fortran/MPI
- DVM/MPI (2001 и далее)
- Norma/MPI (2001 и далее)
- Языковые средства семейства PVM (2001 и далее)
- GPH/MPI (2001 и далее)
- SCILab (2001 и далее)
- Языковые средства семейства Т-системы
- ТС
- FL (2001 и далее)
- Refal+ (2001 и далее)
- TFortran (2001 и далее)
7. Программные средства поддержки отладки
Т-задач (2001 и далее)
- многооконный отладчик Т-задачи для кластерного
уровня (2001 и далее);
- средства сбора и анализа трассы событий
Т-задачи, включая режим повторения трассы под
отладчиков (2001 и далее).
8. Программные средства профилировки Т-задач (2001
и далее)
Поддержка сбора и обработка статистических
данных Т-задачи. По составу собираемой
статистики аналогичен gprof и средствам
профилировки в языке Haskell.
9. Комплексирование Т-задач и существующих
библиотек (2001)
- (см. так же п.5, TKI, корректная работа с LIBC);
- осуществление подбора существующих библиотек;
- выполнение комплексирования.
10. Программное обеспечение поддержки
взаимодействия КУ и ОВС (2001-2002)
- разработка ТЗ в 2000 (а там будет видно---2001-2002).
11. Выбор базовой файловой системы для КУ ОВС
- Формирование требований на файловой системе (2000)
- Выбор одной из существующих---RaiserFS, ext2,
ext3,---файловой систем (2000)
- Формирование плана доработок и реализация
доработок файловой системы (2001 и далее)
12. Поддержка параллельного ввода/вывода---PI/O (2001)
- Изучение ROMIO/MPI (2001 и далее)
- Изучение PVFS (2001 и далее)
- Принятие решения о реализации PI/O (2001 и далее)
13. Средства поддержки мониторинга и системного
администрирования КУ (2001)
- Средства поддержки системного
администрирования по функциональности должны
обеспечивать:
- удаленный доступ к суперкомпьютеру и
безопасность этого доступа;
- средства регистрации и учета (accounting)
пользователей;
- поддержку инсталляции, конфигурирования и
тестирования ПО КУ;
- поддержку загрузки КУ,
перезагрузки/перезапуска узлов КУ или всей
установки.
- Средства поддержки системного мониторинга по
функциональности должны обеспечивать:
- мониторинг состояния аппаратуры: БВМ КУ
(загрузка процессора, памяти, интенсивность
обмена с дискоми, ATX-информация:
работоспособность вентиляторов, температура
процессоров и т.п.), BC LAN, CC SAN;
- программные тесты для аппаратуры и ПО
- визуализация результатов мониторинга
14. Тестовые и демонстрационные задачи и тесты
предварительности (benchchmarks)---2000, 2001 и далее