Документ взят из кэша поисковой машины. Адрес оригинального документа : http://lvk.cs.msu.su/~bahmurov/course_realtime/papers/balashov_programmir.doc Дата изменения: Wed May 27 16:22:53 2015 Дата индексирования: Sat Apr 9 23:14:49 2016 Кодировка: koi8-r

УДК 681.3

ТЕХНОЛОГИЯ И ИНСТРУМЕНТАЛЬНЫЕ СРЕДСТВА ТЕСТИРОВАНИЯ БОРТОВЫХ ВЫЧИСЛИТЕЛЬНЫХ
КОМПЛЕКСОВ РЕАЛЬНОГО ВРЕМЕНИ

ї 2012 г. Балашов В.В.1, Баранов А.С.2, Грибов Д.И.3, Чистолинов М.В.4

1 Факультет вычислительной математики и кибернетики МГУ им.
М.В.Ломоносова, hbd@cs.msu.su
2 ОАО «ОКБ Сухого», abaranov@okb.sukhoi.org
3 ОАО «ОКБ Сухого», dgribov@okb.sukhoi.org
4 Факультет вычислительной математики и кибернетики МГУ им.
М.В.Ломоносова, mike@cs.msu.su

В статье рассматриваются проблемы тестирования бортовых вычислительных
комплексов реального времени (БВК РВ) в рамках различных фаз жизненного
цикла БВК. Сформулированы требования к программно-аппаратным средствам
тестирования БВК РВ. Проведен анализ применимости ряда существующих
инструментальных средств функционального тестирования для испытаний БВК
РВ. Описана архитектура разработанного авторами программного комплекса
инструментальных средств тестирования БВК РВ и семейства стендов,
построенного на его основе. Подходы к тестированию БВК РВ на этих
стендах проиллюстрированы на примере тестирования функций
отказоустойчивости БВК РВ.

ВВЕДЕНИЕ
К современным бортовым вычислительным комплексам (БВК РВ)
предъявляются жесткие требования по функциональности, отказоустойчивости и
работе в реальном масштабе времени. Чтобы обеспечить соблюдение этих
требований, в рамках различных активностей жизненного цикла БВК РВ
осуществляется систематическое тестирование программного обеспечения (ПО)
БВК РВ, а также комплекса как аппаратно-программной системы. В данной
работе под активностью будем понимать мероприятие, проводимое в рамках
жизненного цикла БВК РВ и направленное на достижение заданной цели,
относящейся к разработке БВК РВ. Активности относятся к различным фазам
жизненного цикла БВК РВ.
Активности по тестированию относятся в первую очередь к фазам
интеграции, испытаний и сопровождения БВК. Важной особенностью тестирования
ПО БВК РВ является тот факт, что значительная часть требований к этому ПО
может быть протестирована только на целевом оборудовании, т.е. натурных
аппаратных средствах БВК РВ. Это требования к функционированию в реальном
времени, обмену по каналам бортовых интерфейсов (КБИ), взаимодействию
различных уровней ПО (ОС, служебное ПО, функциональное ПО).
Средства функционального тестирования (ФТ) общего назначения, такие
как Rational Test RealTime [1] и VectorCAST [2], требуют инструментирования
целевого оборудования БВК РВ для проведения тестирования на этом
оборудовании. Инструментирование включает загрузку вспомогательных
программных модулей на целевое оборудование и, тем самым, не является
приемлемым для приемосдаточных и натурных испытаний. Также указанные
средства ФТ не поддерживают анализ обмена данными по КБИ. В итоге, для
применения этих средств к тестированию БВК РВ необходима их значительная
доработка, затрудняемая закрытостью их кода и внутренних программных
интерфейсов.
В данной работе представлен разработанный с участием авторов работы
комплекс инструментальных средств функционального тестирования аппаратно-
программных БВК РВ, в т.ч. ПО БВК РВ (далее - КИС ФТ). Данный комплекс
ориентирован на тестирование БВК РВ без инструментирования целевого
оборудования. КИС ФТ разработан в Лаборатории вычислительных комплексов
факультета ВМК МГУ и применяется в ОКБ Сухого для тестирования БВК РВ
современных самолетов. Тестируемые комплексы состоят из блоков
(вычислительные узлы, датчики, индикаторы, органы управления), соединенных
каналами бортовых интерфейсов.
В разделе 1 перечислены основные активности жизненного цикла БВК РВ, в
рамках которых выполняется тестирование БВК РВ с задействованием целевого
оборудования БВК. В разделе 2, с учетом данного перечня активностей и
специфики БВК РВ, сформулированы основные требования к средствам
функционального тестирования БВК РВ. Раздел 3 содержит анализ применимости
двух существующих средств ФТ общего назначения к тестированию ПО БВК РВ на
целевом оборудовании, а также оценку их соответствия сформулированным
требованиям. В разделе 4 описан КИС ФТ, используемый в ОКБ Сухого,
приведена его архитектура и перечень функциональных возможностей. Раздел 5
описывает общую архитектуру стендов тестирования, основанных на КИС ФТ. В
разделе 6 описано практическое внедрение КИС ФТ в виде семейства стендов
тестирования, каждый из которых ориентирован на определенную активность или
группу активностей жизненного цикла БВК РВ. В разделе 7 представлен подход
к тестированию функций отказоустойчивости БВК РВ с применением описанной
технологии тестирования. В заключительном разделе перечислены перспективные
направления развития технологии тестирования.

1. ПРОБЛЕМЫ ТЕСТИРОВАНИЯ БВК РВ В РАМКАХ РАЗЛИЧНЫХ АКТИВНОСТЕЙ ЕГО
ЖИЗНЕННОГО ЦИКЛА
Выделим основные проблемы тестирования, специфические для различных
активностей жизненного цикла БВК РВ, на которых при тестировании БВК РВ
задействуется целевое оборудование БВК. Такие активности имеют место в
рамках таких фаз жизненного цикла БВК РВ, как интеграция программных и
аппаратных подсистем БВК, испытания, сопровождение БВК.
В таблице 1 для каждой активности жизненного цикла БВК РВ, на которой
при тестировании задействуется целевое оборудование БВК, указаны основные
проблемы тестирования. Проблемы приведены по опыту тестирования,
накопленному в ходе разработки БВК РВ в ОКБ Сухого.

Таблица 1. Проблемы тестирования БВК РВ в рамках активностей его жизненного
цикла
|Активность |Фаза |Проблемы тестирования БВК РВ |
|1. Интеграция ПО с целевым |Интеграция|Выборочный прогон тестов в |
|оборудованием БВК РВ, | |соответствии с отлаживаемой |
|отладка ПО на целевой | |функциональностью ПО. |
|платформе (обычно на | |Ручное управление тестированием |
|отдельном блоке БВК). | |для выбора порядка выполнения |
| | |тестов, повторного прогона |
| | |тестов. |
|2. Интеграция подсистем БВК|Интеграция|Отслеживание правильности |
|РВ, состоящих из нескольких| |взаимодействия сопрягаемых |
|блоков, или интеграция БВК | |блоков по КБИ. |
|в целом как | | |
|аппаратно-программной | | |
|системы. | | |
|3. Приемосдаточные |Испытания |Автоматизированный прогон |
|испытания ПО БВК РВ. | |полного комплекта функциональных|
| | |тестов БВК РВ. |
| | |Проверка работы отдельных блоков|
| | |и их взаимодействия по КБИ. |
|4. Приемосдаточные |Испытания |Автоматизированный прогон |
|испытания серийных образцов| |полного комплекта функциональных|
|блоков БВК РВ, а также | |тестов БВК РВ. |
|серийных образцов комплекса| |Быстрая замена испытываемых |
|в целом. | |блоков БВК РВ при смене |
| | |испытываемого образца БВК. |
|5. Диагностика блоков БВК |Сопровож-д|Создание проверенного |
|РВ, на которые поступили |ение |«эталонного» окружения для |
|рекламации. | |проблемного блока. |
| | |Наличие комплектов тестов, |
| | |ориентированных на проверку |
| | |конкретных блоков, |
| | |автоматизированный прогон этих |
| | |комплектов. |
|6. Диагностика блоков БВК |Сопровож-д|Обеспечение мобильности, |
|РВ на борту летательного |ение |компактности аппаратного |
|аппарата (ЛА). | |решения. |

Следует отметить, что активности 1-6 представляют собой практически
полный набор активностей по тестированию на фазах интеграции, испытаний и
сопровождения БВК РВ.
Для каждой из активностей 1-6 тестирование выполняется в
специализированных аппаратно-программных средах - стендах тестирования.
Инструментальное программное обеспечение поддержки функционального
тестирования является ключевым компонентом ПО таких стендов.
Технология тестирования, включая инструментальное ПО и архитектуру
стендов, должна быть унифицирована для активностей 1-6 с целью сокращения
сложности процесса тестирования, а также для обеспечения повторного
использования тестовых сценариев на различных фазах жизненного цикла БВК
РВ.
В данной работе не рассматривается модульное тестирование
функционального ПО БВК РВ. Это обусловлено распространенной практикой
проведения модульного тестирования ПО на инструментальных машинах
разработчиков без задействования целевого оборудования. Вопросы создания на
инструментальной машине программной среды, имитирующей целевую среду (в
первую очередь в части доступных функциональному ПО системных вызовов),
заслуживают отдельного рассмотрения.

2. ТРЕБОВАНИЯ К ИНСТРУМЕНТАЛЬНЫМ СРЕДСТВАМ ФУНКЦИОНАЛЬНОГО ТЕСТИРОВАНИЯ БВК
РВ
Основным видом тестирования БВК РВ в рамках активностей 1-6 (см.
раздел 1) является функциональное тестирование ПО, загруженного на блоки
БВК РВ. При этом каждый блок рассматривается как «черный ящик», входами
которого являются входные КБИ, а выходами - выходные[1] КБИ и средства
визуального отображения информации (для индикаторов).
Выдача тестовых данных в блоки БВК РВ и прием ответных данных
осуществляется по КБИ. При отработке взаимодействия между блоками БВК РВ по
КБИ необходима проверка правильности обмена между блоками, в связи с чем
тестовые сценарии должны иметь доступ к результатам мониторинга обмена по
КБИ.
Поскольку правильность отображения информации на бортовых индикаторах
оценивается оператором визуально, средства ФТ должны поддерживать
интерактивный режим работы, в котором оператору выдаются запросы на
подтверждение успешности выполнения теста.
В составе стенда тестирования, совместно со средствами ФТ
целесообразно использовать средства мониторинга обмена по КБИ. Эти средства
могут применяться для анализа «пограничных» проблемных ситуаций, в которых
неизвестно, обусловлен неуспешный исход тестирования проблемами в
функционировании БВК РВ или в тестах.
На основании имеющейся в ОКБ Сухого практики тестирования БВК РВ можно
выделить следующие основные требования к инструментальным средствам
функционального тестирования БВК РВ.
1. Поддержка функционального тестирования ПО на целевом вычислителе
без его инструментирования. Средства ФТ должны обеспечивать тестирование ПО
на целевом вычислителе без загрузки каких-либо вспомогательных программных
модулей на этот вычислитель.
2. Поддержка стандартов бортовых интерфейсов, используемых в БВК РВ.
Для полноценного тестирования ПО БВК РВ, а также БВК как аппаратно-
программного комплекса, средства ФТ должны поддерживать все стандарты КБИ,
используемые в данном БВК РВ. Востребована поддержка следующих основных
функций работы с КБИ:
. выдача тестовых данных по КБИ и прием ответных данных по
КБИ для последующего анализа;
. мониторинг обмена по КБИ и обеспечение доступа тестовых
сценариев к результатам мониторинга (для проверки
правильности обмена по КБИ между блоками БВК РВ);
. формирование и анализ низкоуровневого содержимого
сообщений, передаваемых по КБИ (для тестирования блоков,
принимающих/передающих по КБИ массивы данных в двоичном
формате[2], без разбиения на отдельные параметры);
3. Поддержка тестирования временных характеристик функционирования
целевой системы. Соблюдение временных ограничений на функционирование БВК
РВ (в т.ч. на информационный обмен по КБИ) является обязательным предметом
тестирования.
4. Поддержка тестирования функции отказоустойчивости целевой системы.
Проверка отказоустойчивости требует имитации отказов различных компонентов
БВК РВ, в т.ч. имитации сбоев обмена по КБИ и некорректной работы бортовых
устройств.
5. Поддержка многомашинных конфигураций инструментального
оборудования. Количество бортовых каналов в БВК РВ может достигать
нескольких десятков и даже сотен. Для функционального тестирования БВК РВ в
целом необходимо задействовать несколько инструментальных машин, к которым
стационарно подключены каналы. Средства ФТ должны поддерживать подобные
многомашинные конфигурации, в том числе обеспечивать согласованную во
времени выдачу данных по КБИ с различных инструментальных машин и
согласованную проверку ответов от блоков БВК РВ.
6. Поддержка совместного использования адаптеров бортовых интерфейсов
со средствами мониторинга обмена по каналам бортовых интерфейсов. В стенде
комплексирования БВК РВ, поддерживающем работу с большим количеством
каналов, данная функция позволяет избежать увеличения числа адаптеров
бортовых интерфейсов при реализации мониторинга этих каналов. При
использовании мобильной станции тестирования и мониторинга данная функция
позволяет в условиях ограниченного числа установленных адаптеров (обычно не
более 2 на промышленном ноутбуке) выполнять одновременно функции
тестирования и мониторинга каналов.
7. Поддержка различных режимов тестирования.
. автоматическое тестирование (без вмешательства оператора) -
для проверки ответных данных, поступающих по КБИ от блоков
БВК РВ;
. интерактивное тестирование (оператор отвечает на запросы от
тестов) - для проверки данных, отображаемых на индикаторах
в составе БВК РВ.
8. Поддержка оперативного отображения процесса тестирования. Данная
функция позволяет оператору отслеживать текущее состояние тестирования и
реагировать на возможные отклонения. Оперативному отображению подлежат:
. значения тестовых данных и ответных данных от тестируемой
системы;
. протоколы тестирования.
9. Поддержка прослеживаемости требований и формирования отчетов по
результатам тестирования. Функциональное тестирование является интегральной
частью жизненного цикла БВК РВ и нацелено на проверку выполненности
требований к ПО БВК РВ. В связи с этим, средства ФТ должны поддерживать:
. задание соответствия требований тестовым сценариям;
. формирование матрицы прослеживаемости требований;
. формирование отчета о прохождении тестов и выполненности
требований по результатам тестирования.
10. Интеграция со средствами поддержки разработки ПО БВК РВ:
. интеграция со средствами управления версиями (для хранения
тестовых сценариев и ПО БВК РВ в едином репозитории,
отражающем структуру версий ПО БВК РВ);
. интеграция со средствами управления требованиями.
11. Интеграция с базой данных бортовых интерфейсов. Данная функция
позволяет средствам ФТ формировать интерфейсную часть тестовых сценариев, а
именно описание структуры (состава полей данных) принимаемых и передаваемых
через КБИ сообщений, по БД бортовых интерфейсов. Наполнение этой БД
формируется по результатам проектирования протоколов информационного
взаимодействия блоков БВК РВ.
12. Поддержка функционирования на мобильной платформе. Для создания на
базе конкретных программных средств ФТ мобильной рабочей станции
тестирования необходимо, чтобы пользовательский интерфейс и средства
выполнения тестов функционировали на единой аппаратно-программной
платформе.

3. ПРИМЕНИМОСТЬ СРЕДСТВ ФТ ОБЩЕГО НАЗНАЧЕНИЯ ДЛЯ ТЕСТИРОВАНИЯ БВК РВ
Рассмотрим два распространенных программных средства ФТ общего
назначения и оценим их применимость для задачи тестирования БВК РВ с
задействованием целевого оборудования БВК РВ. Рассматриваемые программные
средства, а именно Rational Test RealTime и VectorCAST, ориентированы на
тестирование ПО распределенных вычислительных систем реального времени. БВК
РВ относятся к этой категории вычислительных систем, однако ниже будет
показано, что специфика тестирования БВК РВ затрудняет применение указанных
программных средств.
Программное средство Rational Test RealTime (RTRT) [1] разработки IBM
представляет собой кроссплатформенное решение для тестирования приложений
реального времени, включая сетевое и встроенное ПО. RTRT предоставляет
возможности для автоматического тестирования ПО на целевом оборудовании,
обнаружения утечек памяти, анализа покрытия кода. RTRT интегрировано с
разработанными в IBM средствами управления версиями и средствами
управления конфигурацией (ClearCase, ClearQuest).
Средство RTRT изначально создавалось для модульного тестирования.
Поддержка «системного» (фактически, функционального) тестирования для
распределенных программ была добавлена позднее. Тестирование ПО на целевом
оборудовании с помощью RTRT требует загрузки инструментальных программных
модулей (агентов тестирования) на каждый блок (компьютер) целевой системы,
на котором выполняется тестируемое ПО. Агенты отвечают за передачу тестовых
данных в тестируемое ПО, за считывание ответных данных и информационный
обмен с управляющим компьютером тестирования.
Штатная (рекомендованная поставщиком) технология применения RTRT для
тестирования ПО на целевом оборудовании БВК РВ требует загрузки на блоки
БВК РВ инструментального ПО. Такой подход неприемлем для приемосдаточных и
натурных испытаний. Также неясно влияние функционирования инструментального
ПО на временные характеристики функционирования блоков БВК РВ.
Средство RTRT применяется в ОКБ Сухого для тестирования бортовых
систем авиалайнера Sukhoi Superjet. При этом используется специально
разработанное вспомогательное ПО, выполняемое на выделенных компьютерах и
транслирующее тестовые данные от RTRT в сообщения КБИ, отправляемые на
блоки БВК. Разработка такого вспомогательного ПО является сложной задачей,
требующей доступа к внутренним деталям реализации средства RTRT. Следует
отметить, что информация о внутренних программных интерфейсах коммерческого
средства RTRT не является открытой, а поставщик средства RTRT не оказывает
консультаций для внешних разработчиков, использующих эти интерфейсы.
Решение для тестирования БВК РВ, основанное на сочетании RTRT и
вспомогательного ПО, взаимодействует с целевой системой на уровне
параметров, где параметр - это переменная, получаемая тестируемым ПО на
вход или формируемая на выходе. Такой уровень взаимодействия неприемлем для
тестирования блоков БВК РВ, принимающих или формирующих двоичные данные
(например, видеокадры или цифровую карту местности). Также этот уровень
плохо пригоден для тестирования функций отказоустойчивости, при котором
требуется формировать низкоуровневые воздействия на целевую систему
(например, внедрение сбоев обмена в КБИ, имитация неисправности оконечных
устройств КБИ или перебоев питания).
Программное средство VectorCAST [2] разработки Vector Software
представляет собой интегрированный программный комплекс для модульного и
функционального тестирования. Это средство поддерживает генерацию и
выполнение тестов, анализ покрытия кода, регрессионное тестирование.
Средство VectorCAST может быть интегрировано со сторонними средствами
управления требованиями при помощи интерфейса VectorCAST / Requirement
Gateway.
Средство VectorCAST предоставляет ряд возможностей, ориентированных на
тестирование ПО бортовых БВК РВ. В частности, в нем реализованы
рекомендации стандарта DO-178B, описывающего процесс разработки бортового
ПО. VectorCAST применяется при разработке бортового ПО ряда гражданских и
военных ЛА, в том числе JSF, A380, Boeing 777, A400.
VectorCAST поддерживает модульное и интеграционное тестирование
бортового ПО на целевом оборудовании. Подобно RTRT, VectorCAST требует
загрузки на блоки целевой системы инструментальных программных модулей, что
приводит к тем же проблемам применимости к тестированию БВК РВ, что и в
случае с RTRT.
Авторам не известно о существовании вспомогательного ПО, позволяющего
применять средство VectorCAST для тестирования БВК РВ через КБИ, без
инструментирования блоков БВК РВ. Разработка такого ПО проблематична в
связи с тем, что VectorCAST является закрытым коммерческим продуктом.
Оба рассмотренных программных средства ФТ предоставляют широкий набор
возможностей для тестировании ПО распределенных ВС, однако имеют схожие
проблемы в применении к тестированию БВК РВ без инструментирования блоков
целевого оборудования. Также в этих средствах отсутствует возможность
непосредственного управления обменом по КБИ, что дополнительно ограничивает
их применимость для тестирования функций отказоустойчивости БВК РВ.
В таблице 2 приведена краткая характеристика средств RTRT, VectorCAST
и применяемого в ОКБ Сухого комплекса инструментальных средств ФТ с точки
зрения сформулированных в разделе 2 требований к средствам ФТ.

Таблица 2. Соответствие средств функционального тестирования требованиям,
сформулированным в разделе 2
|Требование |КИС ФТ |Rational Test |VectorCAST |
| | |RealTime | |
|Поддержка |+ |-/+ |-/+ |
|функционального |Тестирование ПО |(требуется |(требуется |
|тестирования ПО на|целевой системы |разработка |разработка |
|целевом |(БВК РВ) выполняется|модулей, не |модулей, не |
|вычислителе без |через КБИ |входящих в |входящих в |
|его | |состав поставки|состав поставки|
|инструмен-тировани| |средства) |средства) |
|я | | | |
|Поддержка |+ |-/+ |-/+ |
|стандартов |Поддерживаются все |(требуется |(требуется |
|бортовых |стандарты бортовых |разработка |разработка |
|интерфейсов, |интерфейсов, |модулей, не |модулей, не |
|используемых в |используемые в БВК |входящих в |входящих в |
|БВК РВ |РВ бортов, для |состав поставки|состав поставки|
| |которых применяется |средства) |средства) |
| |стенд | | |
| |(Су-35, Т-50) | | |
|Поддержка |+ |- |+/- |
|тестирования | | |(требует |
|временных | | |загрузки |
|характеристик | | |инструменталь-н|
|функционирования | | |ых модулей на |
|целевой системы | | |целевую |
| | | |систему) |
|Поддержка |+ |- |- |
|многомашинных | | | |
|конфигураций | | | |
|Поддержка |+ |-/+ |-/+ |
|совместного |(совместно со |(адаптация |(адаптация |
|использования |средствами семейства|возможна, но не|возможна, но не|
|адаптеров бортовых|«Анализатор каналов»|входит в |входит в |
|интерфейсов со |[3]) |комплект |комплект |
|средствами | |поставки) |поставки) |
|мониторинга обмена| | | |
|по КБИ | | | |
|Поддержка |+ |+ |+ |
|различных режимов | | | |
|тестирования | | | |
|(автоматическое, | | | |
|интерактивное) | | | |
|Поддержка |+ |-/+ |-/+ |
|оперативного |(оперативное |(использование |(использование |
|отображения |отображение: |дополнительных |дополнительных |
|процесса |протоколов |инструментов) |инструментов) |
|тестирования |тестирования; | | |
| |тестовых данных и | | |
| |ответов от | | |
| |тестируемой системы,| | |
| |в табличном и | | |
| |графическом виде) | | |
|Поддержка |+/- |-/+ |-/+ |
|прослеживаемости |(задание |(прослежива-емо|(прослежива-емо|
|требований и |соответствия |сть - внешними |сть - внешними |
|формирования |требований тестовым |инструментами, |инструментами, |
|отчетов по |сценариям; |детальные |детальные |
|результатам |формирование матрицы|отчеты - только|отчеты - только|
|тестирования |прослеживаемости; |для модульного |для модульного |
| |формирование отчета |тестирования) |тестирования) |
| |о прохождении тестов| | |
| |и выполненности | | |
| |требований по | | |
| |результатам | | |
| |тестирования) | | |
| | | | |
|Интеграция со |+/- |+/- |-/+ |
|средствами | | | |
|поддержки | | | |
|разработки ПО | | | |
|БВК РВ | | | |
|Интеграция с базой|+/- |- |- |
|данных бортовых |(формирование по БД | | |
|интерфейсов |интерфейсных частей | | |
| |тестовых сценариев) | | |
|Поддержка |+ |-/+ |-/+ |
|функционирования | | | |
|на мобильной | | | |
|платформе | | | |


4. КОМПЛЕКС ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ ФУНКЦИОНАЛЬНОГО ТЕСТИРОВАНИЯ БВК РВ
В данном разделе описан комплекс инструментальных средств
функционального тестирования БВК РВ (КИС ФТ), используемый в ОКБ Сухого для
тестирования БВК современных и перспективных ЛА. КИС ФТ разработан в
Лаборатории вычислительных комплексов факультета ВМК МГУ им. М.В.
Ломоносова.

4.1 Обзор комплекса
В отличие от рассмотренных выше средств ФТ (Rational Test RealTime и
VectorCast), КИС ФТ ориентирован на тестирование БВК РВ через каналы
бортовых интерфейсов, без загрузки каких-либо инструментальных программных
модулей на блоки БВК РВ. КИС ФТ поддерживает такие типы каналов, как МКИО
(ГОСТ Р 52070-2003), ДПК (ГОСТ 18977-79, РТМ 1495-75), Fibre Channel, а
также ряд других типов каналов, используемых в современных БВК РВ. Адаптеры
КБИ установлены в инструментальных машинах, на которых выполняются тесты.
Для каждого типа канала в КИС ФТ поддерживаются следующие функции:

. подготовка и отправка тестовых данных в БВК РВ через КБИ
(поддерживается как упаковка параметров в сообщения, так и
непосредственное формирование «двоичных» сообщений);


. прием данных от БВК РВ через КБИ для последующего анализа
(поддерживается как распаковка параметров из сообщений, так и
непосредственный доступ к «двоичным» сообщениям);


. мониторинг информационного обмена по КБИ между устройствами БВК РВ и
обработка результатов мониторинга тестовыми сценариями.

КИС ФТ может быть расширен для поддержки новых стандартов КБИ. Стенды,
построенные на основе КИС ФТ, поддерживают тестирование БВК РВ в рамках
всех активностей, перечисленных в разделе 1.
КИС ФТ поддерживает распределенное выполнение тестов на многомашинных
конфигурациях стендов, что необходимо для тестирования сложных БВК РВ с
большим (до нескольких сотен) числом КБИ. Инструментальные машины
функционируют в синхронизированном времени и выполняют скоординированную во
времени выдачу тестовых данных и обработку ответных данных. Синхронизация
времени обеспечивается периодической отправкой сигналов точного времени с
выделенной инструментальной машины (мастера синхронизации) остальным
инструментальным машинам.
Для работы с высокоскоростными КБИ, например с оптическими линиями
передачи видеосигнала Fibre Channel, требуется использование
оптимизированного по производительности стендового оборудования. КИС ФТ
поддерживает интеграцию со специализированными комплексами аппаратуры
имитации сигналов (АИС), которые входят в состав стендов (типовая структура
стенда описана в разделе 5). Комплексы АИС функционируют под управлением
тестов, выполняющихся на инструментальных компьютерах.
КИС ФТ предоставляет возможности для тестирования функционирования БВК
РВ в реальном времени. Все действия выполняемых тестов привязаны к
астрономическому времени. Планирование моментов времени отправки тестовых
данных в БВК РВ, а также замер моментов времени получения ответных данных,
выполняется с высокой точностью (погрешность не более десятков
микросекунд), что позволяет тестам анализировать время реакции БВК РВ на
тестовые воздействия.
КИС ФТ поддерживает как полностью автоматическое выполнение тестов (в
т.ч. в пакетном режиме), так и интерактивное тестирование. В состав функций
поддержки интерактивного тестирования входят:

. формирование следующих запросов от тестов пользователю:

- запрос подтверждения (да/нет), необходимый в случае визуальной
оценки реакции БВК РВ на тестовое воздействие, например оценки
правильности изображения на индикаторе;
- запрос текстового пояснения, например, обоснования для
положительного или отрицательного подтверждения;

. поддержка ручного ввода тестовых данных пользователем в ходе
выполнения тестирования;


. поддержка ручного выбора пользователем порядка выполнения тестов (в
рамках текущего тестового сценария) - эта функция востребована при
отладке ПО БВК на стенде.

В результате каждого сеанса тестирования формируется протокол,
содержащий статус завершения каждого из выполненных тестов (успех/неуспех),
ответы пользователя на запросы от тестов и т.п. Протокол тестирования
автоматически обрабатывается, чтобы определить, какие из требований к БВК
РВ успешно прошли тестирование (соответствие между тестами и требованиями
задается в описании тестового сценария). В процессе выполнения
тестирования, протоколы тестирования и значения тестовых и ответных данных
отображаются в средстве оперативной визуализации, что позволяет
пользователю отслеживать выполнение тестирования. Поддерживаются
специализированные форматы отображения, такие как стрелочные индикаторы и
диаграммы; для расширения состава этих форматов предусмотрен механизм
расширений (плагинов).
Поддерживается формирование вспомогательного протокола, в который
записываются все воздействия пользователя на процесс тестирования, включая
введенные значения параметров, ответы на запросы от тестов, ручной выбор
порядка выполнения тестов. Этот протокол впоследствии может быть
воспроизведен с целью повтора ранее проведенного сеанса интерактивного
тестирования, что востребовано при отладке тестовых сценариев.
Для поддержки опережающей разработки тестов в случаях, когда
аппаратура БВК РВ еще не доступна, КИС ФТ обеспечивает следующие
возможности:

. поддержка программно моделируемых «виртуальных» КБИ, в т.ч. МКИО и
ДПК;


. выполнение тестов в режиме ожидания ввода от пользователя; в этом
режиме тесты запрашивают данные у пользователя вместо того, чтобы
ожидать их прихода по КБИ от тестируемых устройств БВК
(использование данного режима не требует модификации тестов).

КИС ФТ поддерживает создание и выполнение имитационных моделей
устройств БВК с применением технологии полунатурного моделирования,
описанной в [4]. Имитационные модели используют ресурсы инструментальных
компьютеров, в т.ч. адаптеры КБИ, для воспроизведения информационного
взаимодействия моделируемого устройства по КБИ, включая взаимодействие с
реальными устройствами БВК РВ. Имитационные модели устройств БВК могут быть
использованы при тестировании функций реконфигурации подсистем БВК РВ в
случае, если доступны не все аппаратные устройства, участвующие в
реконфигурации.
Аппаратные ресурсы стенда, построенного на основе КИС ФТ, могут
совместно использоваться средствами ФТ и средствами мониторинга КБИ из
семейства «Анализатор каналов» [3]. Функционирование средств тестирования
(включая средства выполнения тестов и средства взаимодействия с
пользователем) и средств мониторинга КБИ в единой аппаратно-программной
среде, основанной на ОС Linux с расширениями реального времени, позволяет
создать компактную мобильную рабочую станцию тестирования и мониторинга БВК
РВ. Это решение может быть использовано для диагностики БВК РВ на борту ЛА,
см. раздел 6.
Подсистема разработки тестов в составе КИС ФТ поддерживает
автоматическое формирование интерфейсной части описания тестов (в т.ч.
описание структуры сообщений КБИ) по данным из Базы данных бортовых
интерфейсов. БД бортовых интерфейсов заполняется для каждой версии ПО БВК
РВ и используется для информационного сопряжения подсистем и блоков БВК [5,
6].

4.2 Возможности языка описания тестов
Язык описания тестов (ЯОТ), поддерживаемый в КИС ФТ, предназначен для
описания сценариев тестирования БВК РВ. Описанные на ЯОТ тесты выполняются
на инструментальных машинах стенда и взаимодействуют с блоками БВК РВ через
каналы бортовых интерфейсов. Также тесты управляют функционированием
комплексов АИС, в т.ч. информационным обменом между этими комплексами и БВК
РВ.
ЯОТ представляет собой расширение языка Си и содержит операторы
определения структуры тестов, привязки выполнения тестов к астрономическому
времени, управления обменом через КБИ, управления процессом тестирования.
Основным средством группировки тестов в ЯОТ является тестовый
компонент (ТСК). Исходный текст ТСК состоит из заголовка и тела.
Заголовок ТСК описывает:

. набор, структуру и иерархическое именование тестовых случаев;


. соответствие между тестовыми случаями и требованиями к БВК РВ;


. набор и типы интерфейсов с КБИ, через которые осуществляется
взаимодействие с БВК РВ в ходе тестирования;


. структуру сообщений, передаваемых и принимаемых через интерфейсы;


. набор и типы переменных (параметров), предназначенных для обмена
между различными ТСК, а также между ТСК и комплексами АИС;


. набор протоколов тестирования, формируемых ТСК.

Тело ТСК описывает действия тестовых сценариев по:

. подготовке тестовых данных;


. отправке тестовых данных в КБИ;


. получению ответных данных по КБИ от блоков БВК и проверке
тестируемых условий (аналогично предоставляется доступ к результатам
мониторинга);


. непосредственному управлению адаптерами КБИ, в том числе
включение/выключение, установка служебных признаков, внедрение сбоев
обмена;


. взаимодействию с пользователем в ходе интерактивной (в т.ч.
визуальной) проверки тестируемых условий;


. управлению формированием протоколов тестирования.

ЯОТ предоставляет следующие возможности для автоматической проверки
временных ограничений на отклик от устройств БВК РВ (с целью проверки
временных характеристик работы БВК):

. ожидание поступления данных в течение заданного интервала времени, с
последующей проверкой условий на полученные данные;


. ожидание наступления истинности условия на получаемые данные в
течение заданного интервала времени;


. проверка того, что условие на получаемые данные остается истинным в
течение заданного интервала времени.

В состав проекта на ЯОТ могут входить несколько ТСК, в частности,
предназначенных для выполнения на различных инструментальных машинах. Даже
если используется единственный ТСК, он может задействовать адаптеры КБИ,
расположенные на различных инструментальных машинах. Такая возможность
востребована в случае, если в одном ТСК реализованы сценарии для
всеобъемлющего тестирования БВК РВ или подсистемы БВК, подключенной через
большое количество КБИ к нескольким инструментальным машинам.

4.3 Структура программного обеспечения КИС ФТ
КИС ФТ содержит следующие основные программные подсистемы:

1. Подсистема разработки тестов, поддерживающая создание и редактирование
исходного текста тестов на ЯОТ.


2. Средства настройки конфигурации стенда, поддерживающие:

- привязку ТСК к инструментальным машинам;
- привязку интерфейсов ТСК к адаптерам КБИ в составе
инструментальных машин;
- задание информационных связей между тестами и комплексами АИС;
- задание уровня детальности записи событий тестирования.

3. Среда выполнения тестов в реальном времени, поддерживающая:

- распределенное выполнение тестов на нескольких
инструментальных машинах;
- обмен данными и синхронизацию времени между инструментальными
машинами;
- удаленный доступ ТСК к адаптерам КБИ, расположенным на
различных инструментальных машинах, посредством стендовой сети
Ethernet;
- обмен данными между тестами и комплексами АИС;
- обмен данными через КБИ между тестами и тестируемыми
устройствами БВК РВ;
- доступ тестов к результатам мониторинга каналов;
- взаимодействие тестов и средств управления тестированием для
поддержки интерактивного тестирования и оперативного
отображения процесса тестирования;
- запись результатов тестирования в виде протоколов и трасс
событий.

4. Подсистема управления экспериментом, поддерживающая взаимодействие
пользователя с тестами, в частности для выполнения интерактивного
тестирования и оперативного отображения процесса тестирования.


5. Подсистема обработки результатов тестирования, поддерживающая:

- отображение результатов тестирования в виде протоколов
тестирования, временных диаграмм, графиков изменения
параметров, протоколов мониторинга обмена по КБИ;
- генерация отчетов по результатам тестирования.

6. Серверная подсистема, поддерживающая:

- управление версиями исходных текстов тестов, конфигураций
тестирования, протоколов тестирования;
- взаимодействие с Базой данных бортовых интерфейсов;
- удаленный доступ к репозиторию стенда по сети со всех
компьютеров стенда;
Доступ пользователя к средствам из групп 1-6 обеспечивается средствами
интегрированной среды разработки.

5. АРХИТЕКТУРА СТЕНДА ТЕСТИРОВАНИЯ,

ПОСТРОЕННОГО НА ОСНОВЕ КИС ФТ
Комплекс инструментальных средств функционального тестирования,
описанный в разделе 4, применяется в ОКБ Сухого в качестве основного
программного средства стендов тестирования БВК РВ. Архитектура стендов,
включая структуру и состав типовых компонентов, выработана в результате
многолетней промышленной эксплуатации КИС ФТ.
Стенд, построенный на основе КИС ФТ, включает следующие компоненты:

. инструментальные машины, предназначенные для выполнения тестов и
осуществления информационного обмена с блоками БВК РВ через КБИ (в
настоящее время поддерживаются каналы МКИО, ДПК и Fibre Channel);


. специализированные комплексы аппаратуры имитации сигналов (АИС),
функционирующие под управлением инструментальных машин;


. автоматизированные рабочие места (АРМ) инженеров-тестировщиков и
разработчиков ПО БВК РВ;


. сервер, отвечающий за выполнение централизованных функций, таких как
хранение репозитория стенда и обеспечение удаленного доступа к нему,
аутентификация пользователей;


. кабельная сеть КБИ, соединяющая блоки БВК с инструментальными
машинами и комплексами АИС, а также между собой;


. вспомогательное оборудование, включая средства электропитания,
охлаждения, технологические сети, аппаратные шкафы и т.д.

Типовая структурная схема стенда, построенного на основе КИС ФТ,
показана на рис. 1.

[pic]

Рис. 1. Структурная схема стенда, построенного на основе КИС ФТ

Количество инструментальных машин, АРМ, количество и типы КБИ
определяются спецификой тестируемого БВК РВ и задачами конкретного стенда.
Все компьютеры стенда (АРМ, сервер, инструментальные машины,
компьютеры АИС) используют операционную систему Linux. Инструментальные
машины и компьютеры АИС работают под управлением Linux с расширениями
реального времени.
В дополнение к сети Ethernet, инструментальные машины соединены сетью
синхронизации времени. Эта сеть связывает их LPT-порты и служит для
передачи сигналов точного времени от «ведущего» компьютера к остальным
компьютерам. Обеспечивается синхронизация часов инструментальных машин с
расхождением не более 10 мкс.
Примером комплекса АИС является аппаратура имитации телевизионных
сигналов (АИС ТВ). Комплекс АИС ТВ представляет собой многомашинную
систему, осуществляющую в реальном времени формирование/выдачу и
прием/регистрацию высокоскоростных видеопотоков одновременно по нескольким
оптическим каналам. АИС ТВ служит источником тестовых видеоданных для
подачи на БВК РВ и регистратором видеопотоков, поступающих от БВК РВ. АИС
ТВ применяется для тестирования бортовых индикаторов и устройств обработки
видеоинформации, входящих в БВК РВ. Статические (отдельные кадры) и
динамические (ролики) тестовые видеоданные подготавливаются заранее, до
начала тестирования. Выбор видеопотока для выдачи в конкретный канал в
заданный момент времени осуществляется тестом, выполняемым на
инструментальной машине, или инженером-тестировщиком через пользовательский
интерфейс КИС ФТ.

6. СЕМЕЙСТВО СТЕНДОВ ТЕСТИРОВАНИЯ БВК РВ
КИС ФТ в течение более чем семи лет применяется в ОКБ Сухого для
тестирования БВК современных ЛА. На основе КИС ФТ создано семейство стендов
тестирования БВК РВ, каждый из стендов в составе которого ориентирован на
определенную активность или группу активностей жизненного цикла БВК РВ.
Сложность стендов возрастает соответственно сложности тестируемой
подсистемы БВК РВ.
Стенды тестирования, применяемые в ОКБ Сухого, являются составной
частью технологии разработки информационно-управляющих систем (ИУС) ЛА. В
состав ИУС входит бортовая цифровая вычислительная машина (БЦВМ), набор
индикаторов, а также ряд вспомогательных устройств. Сеть КБИ в составе ИУС
включает:

. несколько каналов МКИО, связывающих ИУС с остальными блоками БВК РВ;


. десятки каналов ДПК для связи с унаследованными устройствами;


. сеть каналов Fibre channel для высокоскоростной передачи информации,
в т.ч. передачи видеоданных.

Основные представители семейства стендов тестирования на основе КИС
ФТ, а также их задачи, описаны ниже. Все стенды основаны на общей
архитектуре, представленной в разделе 5. В совокупности, семейство стендов
обеспечивает тестирование ПО на целевой аппаратуре для всех активностей
жизненного цикла БВК РВ, перечисленных в разделе 1.
1. Стенд тестирования и отладки ПО отдельного блока БВК РВ. Данный
стенд предназначен для работы с отдельным блоком БВК РВ, например с
наиболее функционально сложным - БЦВМ. Основное назначение стенда - отладка
ПО на натурном блоке БВК и подготовка блока к интеграции с другими блоками
БВК. Для финальной проверки готовности блока к интеграции применяется
утвержденный набор тестов.
В связи с необходимостью поддержки только тех интерфейсов, которые
обеспечивает конкретный блок БВК, число инструментальных машин в стенде
данного типа обычно невелико, а комплексы АИС выполняются в одномашинном
варианте. Стенд является компактным, что упрощает его тиражирование.
Аналогично стенду, ориентированному на конкретный блок БВК, устроен
«унифицированный» стенд для работы различными блоками БВК из заданного
набора. В таком стенде инструментальные машины и комплексы АИС в
совокупности должны поддерживать все типы интерфейсов, имеющихся у блоков
БВК из этого набора, в количестве, достаточном для работы с любым отдельным
блоком БВК.
Стенд тестирования и отладки ПО отдельного блока БВК может применяться
для тестирования и отладки подсистем функционального ПО частично
укомплектованного блока БВК, например БЦВМ, на которую установлены только
некоторые из процессорных и коммуникационных модулей. Данный подход
целесообразен при разработке конкретных программных подсистем блока БВК.
2. Стенд тестирования и отладки ПО нескольких связанных блоков БВК РВ.
Данный стенд предназначен для отработки взаимодействия нескольких
непосредственно связанных блоков БВК (например, БЦВМ и индикатора). Стенд
может быть использован также для решения отдельных задач отладки ПО этих
блоков. По компоновке и составу стендового оборудования данный стенд
аналогичен описанному выше стенду (см. п. 1).
На стенде должен использоваться набор тестов, проверяющий правильность
работы подсистемы БВК, состоящей из задействованных на стенде блоков.
Средства мониторинга применяются для анализа обмена между сопрягаемыми
блоками БВК.
Как и в предыдущем случае, возможно создание стенда, ориентированного
на отработку различных связок блоков БВК. Примером может служить связка из
БЦВМ и одного из нескольких имеющихся в составе БВК индикаторов.
На стенде в данной комплектации решается важная задача отработки
взаимодействия нескольких блоков БВК. Эта задача является промежуточным
шагом к комплексированию БВК в целом. Использование такого стенда позволяет
разгрузить «головной» стенд комплексирования БВК от задач отладки
взаимодействия блоков БВК, возникающих при выявлении проблем взаимодействия
в ходе испытаний на стенде комплексирования, а также уменьшить вероятность
возникновения таких проблем в процессе комплексирования.
3. Стенд комплексирования и приемосдаточных испытаний БВК РВ. Данный
стенд предназначен для выполнения комплексирования (поэтапной интеграции)
БВК, а также приемосдаточных испытаний БВК. Стенд должен поддерживать
подачу данных на все внешние входы БВК, а также прием данных со всех
внешних выходов БВК. Кроме того, должен быть обеспечен мониторинг
внутренних связей БВК.
В связи с необходимостью отработки протоколов информационного
взаимодействия блоков БВК в полном объеме, в состав стенда входит большое
количество инструментальных машин (5-6 и более, в зависимости от
характеристик БВК), а также полнофункциональные многомашинные комплексы
АИС.
При испытаниях конкретной версии ПО БВК, на стенде используется
комплект тестов, утвержденный для этой версии.
4. Стенд разработки функциональных тестов БВК РВ. Данный стенд
является вспомогательным и предназначен только для разработки тестов. В
стенд входят несколько АРМ инженера-тестировщика и сервер, связанные сетью
Ethernet.
Отладка тестов осуществляется на АРМ инженера-тестировщика с
использованием таких возможностей КИС ФТ, как поддержка виртуальных КБИ и
выполнение тестов в режиме ожидании ввода от пользователя.
5. Стенд испытаний серийных комплектов БВК. Основное назначение
данного стенда заключается в проведении приемосдаточных испытаний серийных
комплектов БВК перед установкой на борт, а также отработке рекламаций,
поступающих от пользователей БВК. Данный стенд близок по комплектации к
стенду комплексирования и приемосдаточных испытаний БВК.
В состав стенда входит «эталонный» комплект БВК, прошедший полный
объем тестирования. При поступлении блока БВК, на который подана
рекламация, этот блок включается в стенд вместо соответствующего эталонного
блока, после чего осуществляется автоматический прогон пакета тестов,
ориентированного на испытание этого блока. По результатам прогона тестов
принимается решение о дальнейших действиях с проблемным блоком БВК.
В случае поступления очередного серийного комплекта БВК для
тестирования, этот комплект полностью заменяет собой «эталонный» комплект.
При выявлении проблем функционирования серийного комплекта, отдельные новые
устройства могут быть заменены на «эталонные» для выявления проблемного
устройства.
6. Мобильная рабочая станция мониторинга и тестирования для выполнения
проверок на борту. Мобильная рабочая станция представляет собой наиболее
компактный вариант установки средств КИС ФТ и средств мониторинга обмена по
КБИ.
Мобильная рабочая станция представляет собой ноутбук в промышленном
исполнении с шасси расширения, в котором установлены адаптеры бортовых
интерфейсов (МКИО, ДПК, Fibre Channel). В случае недостаточности числа
разъемов в шасси расширения для установки адаптеров всех необходимых типов
каналов, возможно использование сменных шасси, а также подключение внешних
адаптеров по шине USB.
Мобильная рабочая станция мониторинга и тестирования позволяет
проводить первичную проверку функционирования блоков БВК без их
транспортировки к месту расположения стационарных стендов. Эта возможность
актуальна в связи с географической распределенностью точек использования и
натурной отработки ЛА, в состав которых входит БВК. Кроме того, при наличии
замечаний к работе БВК «в целом» в составе объекта, использование мобильной
рабочей станции позволяет локализовать проблему, отнеся ее к конкретному
блоку БВК. В дальнейшем именно этот блок подлежит исследованию на
стационарных стендах.
Мобильная рабочая станция может использоваться для мониторинга и
проверки корректности обмена по каналам между блоками БВК наземно
расположенного ЛА. Для этого она подключается к контрольным разъемам
бортовой кабельной сети. Кроме того, станция может быть подключена к входам
и выходам блока БВК, (временно) изъятого из состава объекта. При этом
выполняются тесты, проверяющие функционирование блока БВК. Также возможно
использование мобильной рабочей станции для имитации блока бортового
оборудования, сопрягаемого с БВК.
Мобильную рабочую станцию целесообразно оснащать комплектами тестов
для различных блоков БВК, сгруппированными в автоматически выполняемые
пакеты (аналогично стенду испытаний серийных комплектов БВК).
Унификация архитектуры и программных средств на всех описанных выше
стендах, в первую очередь унификация средств ФТ и мониторинга КБИ,
позволяет применять в ОКБ Сухого единую технологию тестирования на
различных фазах жизненного цикла БВК РВ. Также обеспечивается возможность
использования унифицированных комплектов тестов на различных стендах и
различных этапах тестирования, с минимальной адаптацией тестов при
переносе.

7. ТЕСТИРОВАНИЕ ФУНКЦИЙ ОТКАЗОУСТОЙЧИВОСТИ БВК РВ
В качестве примера подхода к применению КИС ФТ для тестирования БВК РВ
рассмотрим тестирование функций отказоустойчивости БВК РВ.
Для тестирования функции отказоустойчивости, стенд должен:
1) сформировать тестовое воздействие для активизации тестируемой
функции БВК РВ;
2) по ответным данным от БВК и/или по результатам мониторинга обмена
по КБИ проверить, что функция отработала правильно.
Как правило, требуемое тестовое воздействие относится к одному из
следующих типов:
1) отправка по КБИ явной команды на активацию функции
отказоустойчивости;
1) имитация сбоя функционирования БВК РВ или его окружения:
. программный сбой: доставка искаженных данных по КБИ;
. аппаратный сбой: имитация помех на канале, сбоев электропитания,
отключения устройств.
Тестовые воздействия указанных типов относятся к внешнему окружению
тестируемых блоков БВК, а именно к КБИ и линиям питания. Другие типы
тестовых воздействий, такие как имитация порчи данных или аппаратных сбоев
внутри тестируемых блоков БВК, требуют инструментирования этих блоков и не
рассматриваются в данной работе.
Специализированные адаптеры КБИ, установленные в инструментальных
машинах тестирования, применяются в стенде для внедрения сбоев «инверсия
бита» и «помехи в канале» в КБИ, подключенные к блокам БВК. Для имитации
сбоя питания конкретного блока, его линия питания проводится через
программно-управляемый переключатель, который может временно «прервать» эту
линию по сигналу от комплекса АИС, входящего в состав стенда. Оба вида
аппаратного внедрения сбоев управляются тестами, выполняемыми на
инструментальных машинах, или инженером-тестировщиком через
пользовательский интерфейс КИС ФТ.
Чтобы как можно раньше протестировать функции реконфигурации БВК РВ в
случае сбоев, можно использовать имитационные модели отдельных блоков БВК
РВ. Если процедура реконфигурации требует согласованных действий нескольких
блоков, только часть которых присутствуют на стенде в аппаратном виде,
остальные блоки могут быть заменены имитационными моделями. Это позволяет
отрабатывать функции реконфигурации опережающим порядком, подготавливая
блоки БВК к интеграции на «головном» стенде комплексирования и
приемосдаточных испытаний. Имитационные модели блоков БВК РВ
разрабатываются и выполняются на стенде с применением технологии
полунатурного моделирования [4].
В таблице 3 приведены примеры подходов к тестированию функций
отказоустойчивости БВК РВ, включая базовую поддержку реконфигурации. Эти
функции обычно реализуются средствами программного обеспечения БВК.
Конкретный набор функций отказоустойчивости и ожидаемых от БВК откликов на
тестовые воздействия зависит от специфики конкретного БВК.

Таблица 3. Тестирование функций отказоустойчивости БВК РВ
|Функция |Тестовое воздействие |Ожидаемый отклик от БВК РВ|
|отказоустойчивости | | |
|Устойчивость к |Внедрение в КБИ сбоя |Запрос на повторную |
|одиночным помехам в|«инверсия бита» |отправку искаженного |
|КБИ | |сообщения |
|Устойчивость к |Формирование и |Получение от БВК РВ |
|получению сообщения|отправка в КБИ |корректных выходных |
|с ошибочными |сообщения с |данных, например, |
|данными |ошибочными значениями|рассчитанных на основе |
| |данных (например, |последнего полученного |
| |выходящими за |корректного значения |
| |допустимые диапазоны)|входных данных |
|Переключение на |Одновременное |Активизация обмена данными|
|резервную линию |отключение всех |по резервной линии МКИО |
|МКИО в случае сбоя |управляемых стендом | |
|на основной линии |оконечных устройств | |
| |на основной линии | |
| |МКИО, или длительное | |
| |внедрение сбоя | |
| |«помехи в канале» в | |
| |основную линию | |
|Переключение между |Стенд функционирует в|На канале между основным и|
|основным и |качестве контроллера |резервным устройствами |
|резервным |канала и отправляет |начинается обмен данными, |
|устройством в паре |команду на начало |относящимися к |
|с горячим |реконфигурации |реконфигурации. |
|резервированием по | |Устройство, ранее |
|команде от | |находившееся в резерве, |
|контроллера канала | |сообщает о взятии на себя |
|(тестируется пара | |роли основного устройства |
|устройств) | |и начинает обмен данными |
| | |по протоколу, заданному |
| | |для основного устройства. |
|Переключение между |На стенде работает |На канале между основным |
|основным и |имитационная модель |(моделируемым) и резервным|
|резервным |основного устройства.|(натурным) устройствами |
|устройством в паре |Имитируется его сбой |начинается обмен данными, |
|с горячим |(отключение абонента |относящимися к |
|резервированием |на канале или |реконфигурации. |
|(тестируемое |продолжительное |Устройство, ранее |
|устройство работает|формирование |находившееся в резерве, |
|в резерве) |некорректных данных).|сообщает о взятии на себя |
| | |роли основного устройства |
| | |и начинает обмен данными |
| | |по протоколу, заданному |
| | |для основного устройства. |
|Запуск переключения|На стенде работают |БЦВМ отправляет по КБИ |
|между основным и |имитационные модели |команду (или |
|резервным |основного и |последовательность команд)|
|устройством в паре |резервного |на начало реконфигурации. |
|с горячим |устройства. |После завершения |
|резервированием |Имитируется сбой |(моделируемой) |
|(тестируется БЦВМ; |основного устройства |реконфигурации, БЦВМ |
|пара устройств |(отключение абонента |формирует корректные |
|моделируется |на канале или |данные, соответствующие |
|стендом) |продолжительное |входным данным от модели |
| |формирование |устройства, ранее бывшего |
| |некорректных данных).|резервным. |
| | | |
|Переключение БВК РВ|Имитация |БЦВМ переключается на |
|в защитный режим |множественных сбоев |выполнение циклограмм |
| |обмена по КБИ и/или |обмена по КБИ, |
| |работы моделируемых |соответствующих защитному |
| |устройств |режиму. БЦВМ отправляет |
| | |устройствам БВК команды на|
| | |вход в защитный режим. |
|Восстановление |Управляемый |По истечении заданного в |
|нерезервированного |кратковременный |спецификации времени |
|устройства после |разрыв линии питания |устройство возобновляет |
|сбоя питания. |устройства |функционирование (в |
| | |результате успешной |
| | |перезагрузки), а именно |
| | |начинает передавать по КБИ|
| | |корректные данные. Прочие |
| | |устройства БВК РВ |
| | |возобновляют расчеты и |
| | |выдают в КБИ данные, |
| | |соответствующие данным, |
| | |сформированным тестируемым|
| | |устройством. |

ЗАКЛЮЧЕНИЕ
В данной работе рассмотрены проблемы функционального тестирования БВК
РВ, возникающие на различных фазах жизненного цикла БВК РВ и требующие
задействования целевого оборудования БВК. Представлен комплекс
инструментальных средств функционального тестирования БВК РВ и архитектура
стендов, основанных на КИС ФТ. На нескольких примерах проиллюстрировано
применение стендов для тестирования функций отказоустойчивости БВК РВ.
Представленный комплекс инструментальных средств ориентирован на
тестирование блоков БВК РВ, не подвергающихся инструментированию (в
частности, загрузке вспомогательного ПО). Поддержка такого режима
тестирования необходима для проведения приемосдаточных и натурных испытаний
блоков БВК РВ. Приведенный в работе краткий анализ двух распространенных
инструментальных средств тестирования вычислительных систем реального
времени показывает, что возможности этих средств по поддержке тестирования
неинструментированных блоков БВК РВ существенно ограничены.
В работе также рассмотрено семейство стендов тестирования, основанных
на КИС ФТ. Стенды из данного семейства применяются в ОКБ Сухого в процессе
разработки и поддержки ПО информационно-управляющей системы ЛА.
Среди направлений перспективного развития КИС ФТ и основанной на нем
технологии тестирования следует отметить следующие:

. Поддержка декларативного описания тестов как альтернативы
процедурному описанию на Языке описания тестов. Примером
декларативного описания тестов может служить таблица тестовых
случаев, каждая строка которой содержит значения входных данных БВК
РВ, задержку на их обработку в БВК, и условия для проверки на
ответных данных от БВК.


. Использование единого описания структуры сообщений КБИ во всех
тестовых проектах, созданных для конкретной версии ПО БВК РВ.


. Автоматическая привязка интерфейсов тестовых компонентов к
оборудованию стенда (портам адаптеров КБИ на инструментальных
машинах) с целью минимизации адаптации тестовых проектов при
переносе между стендами. Для поддержки этой возможности необходимо
создать и автоматически обрабатывать описание соответствия
интерфейсов стенда и интерфейсов тестируемого БВК РВ.


. Автоматический анализ зарегистрированных последовательностей обмена
данными по КБИ на соответствие эталонным расписаниям из Базы данных
бортовых интерфейсов.


. Автоматическое тестирование индикационных форматов на индикаторах в
составе БВК РВ. Индикаторы формируют и отправляют во внешние каналы
архивные копии отображаемых видеокадров. Для автоматизации
тестирования индикационных форматов необходимо разработать средства
автоматического сравнения архивных кадров с эталонными
изображениями.


. Поддержка открытых интерфейсов для интеграции стенда с внешними
системами отработки БВК РВ, например - стендом кабины пилота. Один
из таких интерфейсов описан в стандарте HLA [7].


СПИСОК ЛИТЕРАТУРЫ
1. Embedded software test automation framework - IBM Rational Test RealTime
[HTML] (http://www-01.ibm.com/software/awdtools/test/realtime/).
2. How to Improve Embedded Software Unit/Integration Testing with
Automation [HTML] (http://www.vectorcast.com/testing-solutions/unit-
integration-embedded-software-testing.php).
3. Balashov V.V., Balakhanov V.A., Bakhmurov A.G., Chistolinov M.V.,
Shestov P.E., Smeliansky R.L., Youshchenko N.V. Tools for monitoring of
data exchange in real-time avionics systems // Proc. European Conference
for Aero-Space Sciences (EUCASS), 2011.
4. Balashov V.V., Bakhmurov A.G., Chistolinov M.V., Smeliansky R.L.,
Volkanov D.Y., Youshchenko N.V. A hardware-in-the-loop simulation
environment for real-time systems development and architecture evaluation
// Int. J. Crit. Comput.-Based Syst. 1, No. 1/2/3, pp.5-23.
5. Смелянский Р.Л., Костенко В.А., Балашов В.В, Балаханов В.А.
Инструментальная система построения расписания обмена данными по каналу с
централизованным управлением // Современные технологии автоматизации,
2011., N.3, С.78-84.
6. Balashov V.V., Balakhanov V.A., Kostenko V.A., Smeliansky R.L., Kokarev
V.A., Shestov P.E. A technology for scheduling of data exchange over bus
with centralized control in onboard avionics systems // Proc. IMechE
Part G: J. Aerosp. Eng. 224, No. 9, pp.993-1004.
7. IEEE Standard for Modeling and Simulation (M&S) High Level Architecture
(HLA) - Framework and Rules // IEEE, doi: 10.1109/IEEESTD.2010.5553440.

-----------------------
[1] Для ряда интерфейсов (например, MIL STD-1553B или Fibre Channel),
один и тот же канал может функционировать и как вход, и как выход для блока
БВК РВ.
[2] Примером такого массива данных является цифровая карта местности.