6 Создание и уничтожение распределенного массива

6.1 Создание распределенного массива

Создание распределенного массива с помощью функции crtda_ означает лишь инициализацию системных структур, описывающих массив. Выделение памяти для элементов распределенного массива производится только после задания его отображения на абстрактную машину с помощью функции align_ (вычисления для каждого процессора, на который отображена абстрактная машина, локальной части массива в соответствии с его распределением, см. п.7.1). Доступ к элементам массива производится через функции системы поддержки (см. п.13).

Заголовок создаваемого распределенного массива представляет собой массив из *RankPtr+1 (при *ExtHdrSignPtr = 0) или *RankPtr*2+2 (при *ExtHdrSignPtr = 1) элементов типа "long". Его размещение в памяти (статическое или динамическое) должна произвести пользовательская программа. Инициализация заголовка распределенного массива осуществляется системой поддержки. Его основное назначение - обеспечить эффективный доступ к элементам локальной части распределенного массива.

Базовый указатель BasePtr должен ссылаться на любую переменную, имеющую тот же тип, что и тип элементов распределенного массива. Содержимое этой переменной несущественно, т.к. базовый указатель используется только для доступа к элементам локальной части распределенного массива.

Структура заголовка распределенного массива и его использование (совместно с базовым указателем) для доступа к локальной части массива рассмотрены в п. 13.4.

Задаваемый ненулевым значением *StaticSignPtr признак статического массив а означает создание массива, не уничтожаемого при выходе из программного блока (см.п.8). Такой массив может быть уничтожен только явно, с помощью рассмотренной ниже функции delda_.

Параметр *ReDistrParPtr может принимать значения:

Число параметров (ширины нижних и верхних границ), задаваемых в массивах LowShdWidthArray и HiShdWidthArray, должно быть равно размерности распределенного массива. Вопрос о границах локальных частей распределенных массивов рассмотрен в п.12. Здесь же отметим, что ширина границы может быть задана равной нулю.

Функция возвращает нулевое значение.

6.2 Уничтожение распределенного массива

long delda_(long ArrayHeader[]);

ArrayHeader - заголовок уничтожаемого массива.

Функция уничтожает созданный функцией crtda_ распределенный массив. После уничтожения распределенного массива его заголовок может использоваться по усмотрению пользовательской программы.

Распределенный массив может быть уничтожен функцией delda_ только в том случае, если он был создан в текущей подзадаче и в текущем программном блоке (или его подблоке) (см. п. 8 и п. 10). Вместе с массивом будут уничтожены все группы границ, в которые он включен (см. п. 12).

Распределенный массив может быть уничтожен также с помощью функции delobj_ (см. п.17.5).

Возвращается нулевое значение.

6.3 Создание дополнительного заголовка распределенного массива

Функция создает заголовок распределенного массива, который в дальнейшем может использоваться равноправно с уже существующими заголовками. Его можно использовать, в частности, для создания других дополнительных заголовков.

При задании расположения распределенного массива (выравнивании) с помощью функций align_ и malign_ (см.п.7) инициализируются все его заголовки. Изменение расположения массива функциями realn_, mrealn_, redis_ и mredis_ (см. п.п. 5 и 7) также влечет изменение содержимого всех его заголовков.

Возвращается нулевое значение.

6.4 Уничтожение заголовка распределенного массива

long delhdr_(long ArrayHeader[]);

ArrayHeader - уничтожаемый заголовок распределенного массива.

Функция уничтожает заголовок, созданный функцией addhdr_ или заданный при обращении к функции crtda_. Нельзя уничтожить единственный заголовок распределенного массива.

Возвращается нулевое значение.

7 Отображение распределенного массива

7.1 Задание расположения (выравнивание) распределенного массива

Функция align_ задает расположение указанного распределенного массива в пространстве указанного представления родительской абстрактной машины (выравнивает распределенный массив). При этом элементы массива распределяются между дочерними абстрактными машинами, которые входят в состав этого представления. Представление абстрактной машины определяется образцом, который может быть как самим представлением, так и, при косвенном отображении, распределенным массивом. В последнем случае ссылкой на образец является первое слово заголовка распределенного массива.

Использование в качестве образца распределенного массива допустимо лишь в том случае, если он уже отображен на некоторое представление абстрактной машины, а представления абстрактной машины - если оно уже отображено на некоторую процессорную подсистему. Поэтому выполнение функции align_ сводится к распределению элементов выравниваемого массива между процессорами, входящими в состав этой процессорной системы.

Образец выравнивания может быть отображен (в конечном результате) только в текущую процессорную систему или ее подсистему.

Нельзя отобразить уже отображенный распределенный массив.

Рассмотрим отображение распределенного массива детальнее. Пусть F - многозначная функция, определенная на индексном пространстве выравниваемого массива и принимающая значения в индексном пространстве образца:

где:

Выравнивание распределенного массива по заданному образцу - это указание системе поддержки (посредством задания функции F) о том, что элемент выравниваемого массива, определенный индексным вектором (i₁, ... , i_n), должен быть размещен на тех и только тех процессорах, на которых размещен (или на которые отображен) хотя бы один из элементов образца, определенных множеством F((i₁, ... , i_n)) (т.е. множеством-образом, элементами которого являются векторы индексного пространства образца).

Функции F₁, ... , F_m называются координатными правилами выравнивания. Система поддержки обеспечивает следующие правила выравнивания.

1. F_j(I₁, ... , I_n) = {A_j*I_k + B_j} , где:

В этом случае образом элемента (i₁, ... , i_n) индексного пространства выравниваемого массива является множество, содержащее один элемент - A_j*I_k + B_j, принадлежащий множеству значений индексной переменной j-го измерения образца.

A_j и B_j должны удовлетворять условиям:
0 <= B_j <= MAX_j и 0 <= A_j*MAX_k + B_j <= MAX_j, где:

2. F_j(I₁, ... , I_n) = {q О M_j: 0 <= q <= MAX_j} , где:

В этом случае образом любого элемента (i₁, ... , i_n) индексного пространства выравниваемого массива является все множество значений индексной переменной j-го измерения образца (в подобных случаях принято использовать символ "*" , т. е. "любой из допустимых").

Примеры.

1. Выравнивание F((I₁, I₂)) = {I₁} x {I₂} означает, что элемент двухмерного массива должен быть отображен на те же процессоры, что и элемент двухмерного образца, если их индексы совпадают.
2. Выравнивание F((I₁, I₂)) = {*} x {I₁+5} x {*} означает, что элемент двухмерного массива будет отображен на те же процессоры, что и элемент трехмерного образца, если индекс по 2-му измерению образца на 5 больше индекса по 1-му измерению выравниваемого массива (вне зависимости от значения индекса выравниваемого массива по 2-му измерению и от значений индексов образца по 1-му и 3-му измерениям).
3. Выравнивание F((I₁, I₂, I₃)) = {*} x {*} означает, что каждый элемент трехмерного массива будет расположен на каждом процессоре, на который отображен хотя бы один элемент двухмерного образца (вне зависимости от значений индексов выравниваемого массива и образца).
4. Выравнивание F((I₁, I₂)) = {0} x {1} x {2} означает, что каждый элемент двухмерного массива (вне зависимости от значений его индексов) будет размещен на тех процессорах, на которые отображен элемент трехмерного образца с индексами (0,1,2).

Определяя расположение массива в пространстве образца (т.е. задавая функции F₁, ... , F_m), необходимо учитывать, что его элементы не должны выходить за пределы пространства образца. Соблюдение корректного отображения в каждом звене цепочки последовательных выравниваний обеспечит, в конечном результате, верное распределение элементов массива по процессорам.

Отметим, что если в качестве образца использован массив, то при его переотображении с помощью функции realn_ (см.п.7.3) массив, отображенный с помощью этого образца, сохранит прежнее расположение.

При обращении к функции align_ правило выравнивания F_j(I₁, ... , I_n) = A_j*I_k + B_j для j-го измерения образца задается следующим образом:

Для задания правила F_j(I₁, ... , I_n), значением которого для любых I₁, ... , I_n является множество всех значений индексной переменной j-го измерения образца, значение AxisArray[j-1] (значение k) должно быть установлено равным -1. Значения CoeffArray[j-1] и ConstArray[j-1] (значения A_j и B_j) в этом случае несущественны.

Число правил выравнивания, заданных при обращении к функции align_, должно быть равно размерности образца.

Функция возвращает ненулевое значение, если отображенный массив имеет локальную часть на текущем процессоре, и нулевое - в противном случае.

Замечание 1. Заданное функции align_ отображение распределенного массива может быть выполнено лишь в том случае, если для любого процессора, на который отображен хотя бы один элемент массива, локальный размер каждого измерения массива, получаемый в результате отображения, не меньше ширин верхней и нижней границ этого измерения.

Замечание 2. При ненулевом значении параметра запуска системы поддержки DisArrayFill (файлы sysdebug.* базовых наборов параметров) отображенный распределенный массив будет расписан "нулевым" байтом, то есть байтом, каждый бит которого имеет нулевое значение). При нулевом значении параметра DisArrayFill содержимое отображенного массива считается неопределенным.

7.2 Суперпозиция выравниваний

Пусть функция G задает расположение n-мерного массива в пространстве r-мерного образца, а функция P - r-мерного массива в пространстве m-мерного образца:

Тогда осуществленное с помощью функции align_ выравнивание P r-мерного массива PatternDA в m-мерном пространстве образца Pattern с последующим выравниванием G n-мерного массива DA в r-мерном пространстве массива PatternDA является выравниванием F n-мерного массива DA в m-мерном пространстве образца Pattern, представляющим собой произведение (суперпозицию) отображений P и G:

Координатные правила выравнивания F_s (0 <= s <= m ) отображения F являются суперпозицией координатных правил выравнивания отображений P и G и могут быть записаны следующим образом.

1. Пусть P_s((J₁, ... , J_r)) = { q О M_s: 0 <= q <= MAX_s } , где:

Тогда F_s((I₁, ... , I_n)) = M_s, т.е. полное размножение массива DA по s-му измерению образца Pattern.

где:

Тогда F_s((I₁, ... , I_n)) = A_s*I_l + B_s , где A_s = C_s*Q_k и B_s = C_s*R_k + D_s.

где:

Тогда

т.е. частичное, разреженное линейной функцией P_s, размножение массива DA по s-му измерению образца Pattern.

Описанное отображение F эквивалентно заменяет выравнивания P и G в цепочке последовательных выравниваний. В частности, если образец Pattern не является представлением абстрактной машины и, следовательно, выравнен по другому образцу некоторой функцией Q, то отображения F и Q могут быть заменены их суперпозицией Q*F. Таким образом, заменой последовательных выравниваний их суперпозицией может быть построено результирующее выравнивание массива DA по представлению абстрактной машины (что и осуществляется системой поддержки при выполнении функции align_ выравнивания массива DA по массиву PatternDA).

7.3 Изменение расположения распределенного массива

Функция realn_ отменяет расположение, установленное ранее с помощью функции align_ (или malign_ , см.п.7.5) для распределенного массива с заголовком *ArrayHeaderPtr, и задает для этого массива новое расположение в соответствии с указанными при обращении к функции параметрами. Все распределенные массивы, при выравнивании которых рассматриваемый массив использовался в качестве образца, свое расположение сохранят.

Как переотображаемый распределенный массив, так и образец выравнивания на момент обращения к функции должны быть отображены в текущую процессорную систему или ее подсистему (возможно, каждый в свою).

Содержимое вновь выравненного массива, в зависимости от значения *NewSignPtr, будет:

• сохранено (при *NewSignPtr = 0);
• считаться неопределенным (при *NewSignPtr = 1);
• расписано "нулевым" байтом, то есть байтом, все биты которого имеют нулевые значения (при *NewSignPtr = 2).

При NewSignPtr = 1 перераспределенный массив будет, тем не менее, расписан "нулевым" байтом, если система поддержки была запущена с ненулевым значением параметра DisArrayFill (файлы sysdebug.* базовых наборов параметров).

При переотображении массива содержимое его границ (см. п. 12) не сохраняется.

Перераспределение массива с помощью функции realn_ возможно лишь в том случае, если при его создании функцией crtda_ значение ее параметра *ReDistrParPtr было задано равным 2 или 3 (см.п.6).

Распределенный массив, заданный при обращении к функции, может быть ранее не отображен. В этом случае функция realn_ выполняется как функция align_ , но при *NewSignPtr = 2 впервые отображенный массив будет расписан "нулевым" байтом. Значение параметра *ReDistrParPtr, с которым был создан распределенный массив, несущественно.

Функция возвращает ненулевое значение, если переотображенный массив имеет локальную часть на текущем процессоре, и нулевое - в противном случае.

7.4 Опрос карты отображения

Функция arrmap_ создает объект (карту отображения), описывающий текущее отображение распределенного массива на представление абстрактной машины, и возвращает ссылку на созданный объект.

Карта отображения распределенного массива содержит, в частности, следующую информацию:

• ссылку на представление абстрактной машины, в которое отображен распределенный массив;
• правила выравнивания для всех измерений этого представления;
• размерности распределенного массива и представления абстрактной машины (для контроля).

Задаваемый ненулевым значением *StaticSignPtr признак статической карты отображения означает создание карты, не уничтожаемой при выходе из программного блока (см.п.8). Такая карта может быть уничтожена только явно, с помощью рассмотренной в п.7.7 функции delarm_.

7.5 Задание расположения распределенного массива по карте отображения

Функция malign_ задает отображение указанного распределенного массива на представление абстрактной машины по заданной карте отображения.

Размерность распределенного массива и размерность представления абстрактной машины должны быть равны соответствующим размерностям, содержащимся в карте отображения.

При равном NULL значении AMViewRefPtr или при нулевом значении *AMViewRefPtr образцом выравнивания будет представление абстрактной машины, ссылка на которое содержится в карте отображения.

Перед обращением к функции malign_ представление абстрактной машины (заданное ссылкой *AMViewRefPtr или в карте отображения) должно быть отображено в текущую процессорную систему или ее подсистему.

Нельзя отобразить уже отображенный распределенный массив.

Возвращается ненулевое значение, если отображенный массив имеет локальную часть на текущем процессоре, и нулевое - в противном случае.

Замечание. При ненулевом значении параметра запуска системы поддержки DisArrayFill (файлы sysdebug.* базовых наборов параметров) отображенный распределенный массив будет расписан "нулевым" байтом, то есть байтом, каждый бит которого имеет нулевое значение). При нулевом значении параметра DisArrayFill содержимое отображенного массива считается неопределенным.

7.6 Изменение расположения распределенного массива по карте отображения

Функция mrealn_ отменяет расположение, установленное ранее с помощью функции malign_ (или align_ , см.п.7.1) для распределенного массива с заголовком *ArrayHeaderPtr, и задает для этого массива новое расположение в соответствии с указанной при обращении к функции картой отображения. Все распределенные массивы, при выравнивании которых рассматриваемый массив использовался в качестве образца, свое расположение сохранят.

Размерность распределенного массива и размерность представления абстрактной машины должны быть равны соответствующим размерностям, содержащимся в карте отображения.

При равном NULL значении AMViewRefPtr или при нулевом значении *AMViewRefPtr образцом выравнивания будет представление абстрактной машины, ссылка на которое содержится в карте отображения.

Как переотображаемый распределенный массив, так и представление абстрактной машины (заданное ссылкой *AMViewRefPtr или в карте отображения) на момент обращения к функции должны быть отображены в текущую процессорную систему или ее подсистему (возможно, каждый в свою).

Содержимое вновь выравненного массива, в зависимости от значения *NewSignPtr, будет:

• сохранено (при *NewSignPtr = 0);
• считаться неопределенным (при *NewSignPtr = 1);
• расписано "нулевым" байтом, то есть байтом, все биты которого имеют нулевые значения (при *NewSignPtr = 2).

При NewSignPtr = 1 перераспределенный массив будет , тем не менее, расписан "нулевым" байтом, если система поддержки была запущена с ненулевым значением параметра DisArrayFill (файлы sysdebug.* базовых наборов параметров).

При переотображении массива содержимое его границ (см. п. 12) не сохраняется.

Перераспределение массива с помощью функции mrealn_ возможно лишь в том случае, если при его создании функцией crtda_ значение ее параметра *ReDistrParPtr было задано равным 2 или 3 (см.п.6).

Распределенный массив, заданный при обращении к функции, может быть ранее не отображен. В этом случае функция mrealn_ выполняется как функция malign_, но при *NewSignPtr = 2 впервые отображенный массив будет расписан "нулевым" байтом. Значение параметра *ReDistrParPtr, с которым был создан распределенный массив, несущественно.

Функция возвращает ненулевое значение, если переотображенный массив имеет локальную часть на текущем процессоре, и нулевое - в противном случае.

7.7 Уничтожение карты отображения

long delarm_(ArrayMapRef *ArrayMapRefPtr);

*ArrayMapRefPtr - ссылка на карту отображения распределенного массива.

Функция уничтожает созданную функцией arrmap_ карту отображения распределенного массива. После уничтожения карты отображения ссылка на нее может использоваться по усмотрению пользовательской программы.

Карта отображения может быть уничтожена функцией delarm_ только в том случае, если она была создана в текущей подзадаче и в текущем программном блоке (или его подблоке) (см. п. 8 и п. 10).

Карта отображения может быть уничтожена также с помощью функции delobj_ (см.п.17.5).

Возвращается нулевое значение.

Замечание. Одним из возможных применений функций выравнивания распределенного массива по карте отображения - сохранение и восстановление расположения массивов в процедурах, обрабатывающих внешние распределенные массивы с их перераспределением.

Отметим, что на момент использования карты отображения для задания или изменения расположения массива массив, являвшийся источником этой карты, может и не существовать.

7.8 Опрос ссылки на представление абстрактной машины, в которое отображен заданный распределенный массив

AMViewRef getamv_ (long ArrayHeader[]);

ArrayHeader - заголовок распределенного массива.

Функция getamv_ возвращает ссылку на представление абстрактной машины, по которому выравнен распределенный массив, заданный заголовком ArrayHeader. Нулевое значение возвращенной ссылки означает, что заданный массив не отображен.