Подходы к оценке качества программных систем, страница 2

Помимо правильного выбора уровня оценивания, успех оценивания про­граммного продукта зависит от адекватности множества метрик и ассоциируемых с ними методов измерения и оценивания потребностям оценивания на выбранном уровне. Примеры взаимосвязанных метрик (внутренних, внешних и эксплуатаци­онных) для каждой характеристики качества в обобщенной модели качества пред­ставлены в стандартах серии ISO/IEC 9126 [11, 12, 13]. Перечень и краткая харак­теристика методов, которые могут использоваться для определения значений мет­рик, были даны в главе 2 (п. 2.3.1). Практические рекомендации относительно оце­нивания всех характеристик качества ПС можно найти в книге В.В. Липаева [9], а также в ГОСТ 28195.

10.1.2. Технологические модули оценивания

Для того чтобы грамотно применять метрики в конкретных проектах, а также разрабатывать новые метрики, понятные, согласованные и однозначно интерпрети­руемые исполнителями измерений и оценщиками, лучше всего руководствоваться едиными требованиями к их документированию и использованию, не допускаю­щими разночтения. С этой целью разработчики стандарта ISO/IEC 14598 опреде­лили понятие модуля оценивания [14].

Стандарт ISO/IEC 14598 предлагает структурировать всю информацию, не­обходимую для проведения и интерпретации результатов оценивания одной харак­теристики качества2 в виде совокупности элементов, каждый из которых охваты­вает один аспект оценивания качества и обусловливает применение одного опреде­ленного метода. Вся информация, связанная с выполнением оценивания одним ме­тодом, должна собираться и сохраняться (пакетироваться) для использования в бу­дущем. Такой пакет информации называется модулем оценивания. Таким образом, модуль оценивания - вместилище всей информации, необходимой для выполнения оценивания определенного аспекта одной характеристики качества с применением единой методологии (включающей методы, процедуры, условия, инструменты, точность измерения и оценивания). Он обеспечивает связность метрик, методов оценивания и мер (результатов оценивания).

Модуль оценивания включает 6 обязательных частей ЕМ0 - ЕМ5 (ЕМ - от Evaluation Module), а также одно необязательное приложение - ЕМА (от Evaluation Module Annex):

ЕМ0 содержит общую информацию о модуле оценивания и описание исполь­зуемого метода оценивания;

ЕМ1 определяет сферу применения модуля оценивания;

ЕМ2 указывает перечень ссылок на литературные источники;

ЕМЗ содержит определения, используемые в модуле оценивания;

EM4 идентифицирует входные продукты, требуемые для проведения оцени­вания, и определяет собираемые данные и вычисляемые метрики;

ЕМ5 содержит сведения о том, как нужно интерпретировать результаты измерений.

1 Модель качества в   стандарте ГОСТ 28195 немного отличается от предлагаемой ISO/IEC 9126, а также ДСТУ 2850 Эти отличия касаются состава подхарактеристик.

2 Модули оценивания могут разрабатываться не только для характеристик, но и для отдельных подхарактеристик или даже метрик.

Приложение ЕМА может включать описание подробной процедуры примене­ния модуля оценивания.

Требования к документированию всех частей модуля оценивания определены в части 6 стандарта ISO/IEC 14598 [14]. Там же можно найти примеры трех моду­лей оценивания - для метрики «плотность дефектов в ПО», характеристики каче­ства «функциональность», а также обобщенной характеристики «качество при использовании».

10.1.3. Оценка интегрального показателя качества

В том случае, если цель оценивания качества ПС состоит в определении об­щего уровня качества ПС, а не отдельных характеристик (подхарактеристик), - вы­числяется интегральный показатель качества.

Поскольку все подхарактеристики качества имеют различные метрики (мето­ды и шкалы измерений), они не могут непосредственно сопоставляться или объе­диняться. Механизм их объединения состоит в том, что для всех элементов на всех уровнях модели качества принимается единая шкала оценки - от 0 до 1.

Интегральный показатель качества определяется как функция (средневзве­шенное арифметическое среднее) от нескольких характеристик (подхарактеристик) качества и коэффициентов их весомости:

где Q, - относительное значение 1-й характеристики качества, а М, - параметр весомости. N - количество характеристик качества.

Относительное значение характеристики - это отношение ее вычисленного (фактического) значения к базовому (эталонному) значению.

Эталонное значение соответствует значению данной характеристики у луч­шего образца ПС из числа аналогов (к аналогам относятся ранее созданные ПС того же класса, что и оцениваемая ПС, подобные по функциональному назначению и условиям применения, отвечающие современному уровню развития систем данного класса).

Если модель качества многоуровневая - результат оценки показателя качест­ва, определяется результатом оценки характеристик, результат оценки характери­стик - результатом оценки подхарактеристик и т.д. снизу вверх по уровням модели качества.

10.2. Оценивание процессов жизненного цикла

10.2.1. Эталонная модель оценивания

Оценивание процессов ЖЦ может понабиться для того, чтобы:

  • осознать состояния собственных процессов организации-разработчика с целью их дальнейшего усовершенствования;
  • установить соответствие собственных процессов организации опреде­ленным требованиям или классу требований (например, для проверки способности выполнить договор или оценки риска, связанного с невыполнением договора);
  • определить пригодность процессов другой организации для конкретного договора.

Оценивание процессов ЖЦ в настоящее время регламентируется стандартом ISO/IEC 15504, принятым в 1998 году . Этот стандарт - результат работы специа­листов по программной инженерии над проектом SPICE (Software Process Im­provement and Capability dEtermination) [15].

Стандарт предлагает структурный подход к оцениванию, в основу которого положена двумерная модель оценивания [16]. Прежде всего, устанавливается, со­ответствует ли оцениваемый процесс определенным требованиям, зафиксиро­ванным в эталонной модели этого процесса, а затем определяется, насколько чет­ко он организован, устойчив и управляем4.