Часть VII

7.3 Система понятий методологии тестирования конформности POSIX

    Дадим определения основных понятий методологии тестирования конформности POSIX, приведенных во второй части рассматриваемого нами документа. При этом порядок введения определений сохраним таким же, как и в исходном документе с целью большего соответствия этому стандарту.

    Утверждение (assertion) - спецификация для тестирования требования конформности (conformance requirement) IUT, представленная в стандартной форме, определенной данным стандартом (эту форму мы рассмотрим ниже). Утверждение определяет что нужно тестировать для проверки конформности IUT и что приводит к истинному результату, в случае конформности тестируемой системы соответствующим требованиям. Утверждения представляют собой те элементы, из которых строятся спецификации методов тестирования.

    Тест утверждения (assertion test) - программное обеспечение или процедурные (ручные) методы, результатом применения которых являются коды результатов тестирования (test result codes), используемые для установления факта конформности реализации некоторому утверждению.

    Базовый стандарт (base standard) - стандарт, для которого разработана спецификация метода тестирования и, возможно, реализация метода тестирования.

    Конформность (conformance) - свойство продукта (системы), процесса или сервиса, характеризующее тот факт, что данная сущность полностью удовлетворяет всем относящимся к ней требованиям конформности. Документ конформности (conformance document) - документ, удовлетворяющий требованиям данного стандарта (P2003). Такой документ может содержать спецификацию метода тестирования или документацию на тестовое программное обеспечение. Важно, чтобы он был разработан в соответствии со всеми требованиями настоящего стандарта.

    Журнал конформности (conformance log) - читаемая человеком запись о результате некоторого сеанса тестирования, достаточная для определения результата тестирования, и, в частности, вынесении вердикта.

    Требование конформности (conformance requirement) - требование, установленное в базовом стандарте и определяющее недвусмысленным и конструктивно проверяемым образом существенные для реализации свойства и ограничения. Одно утверждение может соответствовать одному или нескольким утверждениям конформности.

    Процедура тестирования конформности (Conformance Test Procedure - CTP) - выполняемые человеком действия, обычно, в сочетании с другими методами тестирования, обеспечивающие проверку конформности реализации требованию (требованиям) стандарта.

    Программное обеспечение тестирования конформности (Conformance Test Software - CTS) -программное обеспечение, используемое для установления конформности стандарту.

    Следует отметить, что данный стандарт, описывающий методологию тестирования POSIX, прежде всего, ориентирован на поддержку автоматического тестирования программных интерфейсов. Поэтому под тестированием некоторого утверждения подразумевается выполнение соответствующего теста. Однако итог выполнения теста утверждения не всегда может привести к окончательному коду тестирования, а только лишь к некоторому промежуточному коду. И может потребоваться выполнение некоторой ручной процедуры для разрешения этой ситуации - приведения промежуточного результата к окончательному значению. Например, при тестировании такого элемента API, каким является утилита печати lp, программный тест некоторого утверждения может послать некоторую последовательность символов на принтер. Однако сам программный тест не может определить, правильно ли эта последовательность отпечатана принтером или нет. В этом случае программный тест может лишь выработать в качестве кода результата некоторое промежуточное значение (например, UNRESOLVED). Далее потребуется дополнительная проверка (ручная процедура) правильности или неправильности работы утилиты. Таким образом, в данном примере для установления конформности реализации заданному требованию приходится использовать совместно как CTP, так и CTS.

    Тестирование конформности (conformance testing) - тестирование степени конформности реализации стандарту.

    Конформная реализация (conforming implementation) - реализация, удовлетворяющая всем релевантным требованиям конформности.

    Конформные коды результата тестирования (conforming test result codes) - полный список связанных с утверждениями кодов результата тестирования, который будет продуцирован при выполнении CTS в случае конформной реализации.

    Утверждение документируемости (documentation assertion) - утверждение, отражающее требование базового стандарта документировать специфические свойства и поведение реализации.

    Окончательные коды результата тестирования (final test result code) - такие коды результата тестирования, которые получены в результате выполнения тестов утверждений и не требуют дальнейшей обработки.

    Реализация (implementation) - сущность (система, продукт), реализующая требования базового стандарта или профиля.

    Тестируемая реализация (implementation under test - IUT) - реализация стандарта(ов), тестируемая на соответствие исходному стандарту (исходным стандартам).

    Промежуточные коды результата тестирования (intermediate test result code) - коды результата тестирования, полученные в результате выполнения тестов утверждений и требующие последующей обработки для определения окончательных кодов результата тестирования.

    Опция или дополнительная возможность (option) - любое поведение или функциональная возможность, которые не обязаны иметь место в каждой реализации.

    Аудит или проверка документации конформности (Conformance Documentation Audit) - процесс изучения CD на предмет установления того, удовлетворяет ли данный документ требованиям базового стандарта, относящимся к докуметируемости специфических свойств реализации.

    Система построения CTS (CTS build system) - программно-аппаратное обеспечение, используемое для компиляции и конфигурирования CTS.

    Система исполнения CTS (CTS execution system) - программно-аппаратное обеспечение, на котором исполняется CTS.

    Тестируемая система (system under test) - программно-аппаратное обеспечение, на котором работает тестируемая система или IUT.

    Tест (test case) - спецификация действий, требуемых для достижения одной или нескольких целей тестирования.

    Реализация метода тестирования (test method implementation) - программное обеспечение, процедуры или другие средства, используемые для измерения степени конформности.

    Спецификация метода тестирования (test method specification) - документ, который содержит утверждения, определяющие функциональность и поведение, задаваемые стандартом, а также содержит полный набор конформных (эталонных) кодов результата тестирования.

    Цель теста (test purpose) - словесное описание узко определенной задачи тестирования, фокусирующееся на единственном требовании конформности.

    Отчет о тестировании (test report) - документ, который представляет результаты тестирования и другую информацию, относящуюся к применению тестового метода к IUT.

    Тестовое программное обеспечение (test software) - программное обеспечение, которое используется для тестирования реализации.