Помимо правильного выбора уровня оценивания, успех оценивания программного продукта зависит от адекватности множества метрик и ассоциируемых с ними методов измерения и оценивания потребностям оценивания на выбранном уровне. Примеры взаимосвязанных метрик (внутренних, внешних и эксплуатационных) для каждой характеристики качества в обобщенной модели качества представлены в стандартах серии ISO/IEC 9126 [11, 12, 13]. Перечень и краткая характеристика методов, которые могут использоваться для определения значений метрик, были даны в главе 2 (п. 2.3.1). Практические рекомендации относительно оценивания всех характеристик качества ПС можно найти в книге В.В. Липаева [9], а также в ГОСТ 28195.
10.1.2. Технологические модули оценивания
Для того чтобы грамотно применять метрики в конкретных проектах, а также разрабатывать новые метрики, понятные, согласованные и однозначно интерпретируемые исполнителями измерений и оценщиками, лучше всего руководствоваться едиными требованиями к их документированию и использованию, не допускающими разночтения. С этой целью разработчики стандарта ISO/IEC 14598 определили понятие модуля оценивания [14].
Стандарт ISO/IEC 14598 предлагает структурировать всю информацию, необходимую для проведения и интерпретации результатов оценивания одной характеристики качества2 в виде совокупности элементов, каждый из которых охватывает один аспект оценивания качества и обусловливает применение одного определенного метода. Вся информация, связанная с выполнением оценивания одним методом, должна собираться и сохраняться (пакетироваться) для использования в будущем. Такой пакет информации называется модулем оценивания. Таким образом, модуль оценивания - вместилище всей информации, необходимой для выполнения оценивания определенного аспекта одной характеристики качества с применением единой методологии (включающей методы, процедуры, условия, инструменты, точность измерения и оценивания). Он обеспечивает связность метрик, методов оценивания и мер (результатов оценивания).
Модуль оценивания включает 6 обязательных частей ЕМ0 - ЕМ5 (ЕМ - от Evaluation Module), а также одно необязательное приложение - ЕМА (от Evaluation Module Annex):
ЕМ0 содержит общую информацию о модуле оценивания и описание используемого метода оценивания;
ЕМ1 определяет сферу применения модуля оценивания;
ЕМ2 указывает перечень ссылок на литературные источники;
ЕМЗ содержит определения, используемые в модуле оценивания;
EM4 идентифицирует входные продукты, требуемые для проведения оценивания, и определяет собираемые данные и вычисляемые метрики;
ЕМ5 содержит сведения о том, как нужно интерпретировать результаты измерений.
1 Модель качества в стандарте ГОСТ 28195 немного отличается от предлагаемой ISO/IEC 9126, а также ДСТУ 2850 Эти отличия касаются состава подхарактеристик.
2 Модули оценивания могут разрабатываться не только для характеристик, но и для отдельных подхарактеристик или даже метрик.
Приложение ЕМА может включать описание подробной процедуры применения модуля оценивания.
Требования к документированию всех частей модуля оценивания определены в части 6 стандарта ISO/IEC 14598 [14]. Там же можно найти примеры трех модулей оценивания - для метрики «плотность дефектов в ПО», характеристики качества «функциональность», а также обобщенной характеристики «качество при использовании».
10.1.3. Оценка интегрального показателя качества
В том случае, если цель оценивания качества ПС состоит в определении общего уровня качества ПС, а не отдельных характеристик (подхарактеристик), - вычисляется интегральный показатель качества.
Поскольку все подхарактеристики качества имеют различные метрики (методы и шкалы измерений), они не могут непосредственно сопоставляться или объединяться. Механизм их объединения состоит в том, что для всех элементов на всех уровнях модели качества принимается единая шкала оценки - от 0 до 1.
Интегральный показатель качества определяется как функция (средневзвешенное арифметическое среднее) от нескольких характеристик (подхарактеристик) качества и коэффициентов их весомости:
где Q, - относительное значение 1-й характеристики качества, а М, - параметр весомости. N - количество характеристик качества.
Относительное значение характеристики - это отношение ее вычисленного (фактического) значения к базовому (эталонному) значению.
Эталонное значение соответствует значению данной характеристики у лучшего образца ПС из числа аналогов (к аналогам относятся ранее созданные ПС того же класса, что и оцениваемая ПС, подобные по функциональному назначению и условиям применения, отвечающие современному уровню развития систем данного класса).
Если модель качества многоуровневая - результат оценки показателя качества, определяется результатом оценки характеристик, результат оценки характеристик - результатом оценки подхарактеристик и т.д. снизу вверх по уровням модели качества.
10.2. Оценивание процессов жизненного цикла
10.2.1. Эталонная модель оценивания
Оценивание процессов ЖЦ может понабиться для того, чтобы:
Оценивание процессов ЖЦ в настоящее время регламентируется стандартом ISO/IEC 15504, принятым в 1998 году . Этот стандарт - результат работы специалистов по программной инженерии над проектом SPICE (Software Process Improvement and Capability dEtermination) [15].
Стандарт предлагает структурный подход к оцениванию, в основу которого положена двумерная модель оценивания [16]. Прежде всего, устанавливается, соответствует ли оцениваемый процесс определенным требованиям, зафиксированным в эталонной модели этого процесса, а затем определяется, насколько четко он организован, устойчив и управляем4.
Уважаемый посетитель!
Чтобы распечатать файл, скачайте его (в формате Word).
Ссылка на скачивание - внизу страницы.