Подходы к оценке качества программных систем

Глава 10. ПОДХОДЫ К ОЦЕНКЕ КАЧЕСТВА

ПРОГРАММНЫХ СИСТЕМ

10.1. Оценка качества программных продуктов

10.1.1. Процесс оценки программных продуктов

В основе оценивания качества программных продуктов лежат четыре базо­вых понятия - модель качества, метод оценивания, метрики и вспомогательные инструменты. Оценивание качества продуктов невозможно, если не известны требования пользователя к качеству (критерии качества) и/или не определен про­цесс измерения продуктов, процессов и ресурсов (не выполнятся сбор данных для применения внутренних и внешние метрик качества) и/или отсутствует процесс оценки продуктов в ходе ЖЦ.

Назначение процесса оценки продуктов - одного из процессов поддержки ЖЦ, определенных в стандарте ISO/IEC 12207, - состоит в том, чтобы «гарантиро­вать путем систематического измерения и оценивания, что продукт удовлетворяет установленным и предполагаемым требованиям пользователей к этому продукту. В результате успешного выполнения процесса:

•  будут установлены требования, касающиеся проведения оценивания;

•  будут определены критерии оценки продукта;

•  будут специфицированы методы выполнения оценивания, и все действия в рамках этих методов будут надлежащим образом выполняться;

•  данные измерений будут собираться, а результаты применения метрик - оцениваться по отношению к критериям;

•  результаты деятельности по оцениванию продукта будут доступны для всех заинтересованных сторон» [1].

Оцениваться могут промежуточные (рабочие) продукты ПС в ходе разработ­ки, а также конечный программный продукт.

Целью оценивания качества рабочих продуктов может быть:

•  принятие решения о приемке промежуточного продукта у соисполнителя;

•  принятие решения о завершении какого-либо процесса и передаче про­дукта следующему процессу;

•  предсказание или предварительная оценка качества конечного продукта [2];

•  сбор информации о промежуточных продуктах с целью  контроля и управления процессом разработки ПС.

Целью оценивания качества конечного продукта может быть:

•  принятие решения о приемке продукта;

•  принятие решения о сроках выпуска продукта;

•  сравнение продукта с другими продуктами;

•  выбор продукта из множества альтернативных продуктов;

•  оценка как положительного, так и отрицательного результата использования продукта.

Выполнение процесса оценки продуктов ПС, отвечающего требованиям ISO/IEC 12207, регламентируется стандартом ISO/IEC 14598 [3].

Стандарт описывает процесс оценивания в виде пошаговой процедуры, ори­ентированной на использование обобщенной модели качества, представленной в стандарте ISO/IEC 9126 (рисунок ЮЛ).

Процесс оценивания устанавливает требования к методам измерения и оце­нивания любых типов продуктов и может интегрироваться с процессами разработ­ки (для оценивания продуктов их разработчиками), процессами приобретения-поставки (для оценивания продуктов заказчиками (потребителями)), а также с лю­быми другими процессами, в которых возникает необходимость непредвзятой оценки (для оценивания продуктов независимыми оценщиками). Хотя общая схема оценки продуктов (структура процесса) сохраняется, существуют особенности вы­полнения действий в процессе оценивания отдельными категориями исполнителей (связанные с разными целями оценивания, видами оцениваемых продуктов, крите­риями, метриками и др.).

Поэтому требования к оцениванию продуктов разработчиками, заказчиками (и потребителями продуктов «с полки») и независимыми оценщиками содержаться в отдельных частях стандарта, - соответственно, в части 3 [4], части 4 [5] и части 5 [6].

Наряду с дифференциацией требований к оцениванию по целям оценивания (назначению оценивания), может возникнуть необходимость выделения уровней оценивания различных характеристик качества, в зависимости от уровней целост­ности оцениваемой ПС (и ее компонентов) и риска не достичь необходимого каче­ства [7]. Чем выше установленный уровень целостности ПС, тем выше требования к уровню значений определенных характеристик качества и тем строже должны быть методы оценивания качества (а также выше трудоемкость оценивания).

Стандарт рекомендует определять уровень оценивания (от А — высшего до D - низшего) с учетом риска в сфере безопасности функционирования (угрозы жизни людей), защиты информации (угрозы потери информации), экономики (угрозы финансовых убытков), среды функционирования (угрозы разрушения (не восста­новления) среды эксплуатации ПС).

В зависимости от уровня оценивания, установленного для каждой из харак­теристик качества продукта, выбирается метод (условия) измерения и оценивания. Так, например, для характеристики «функциональность» в требованиях к оценива­нию может указываться одно из следующих условий сбора данных (в порядке воз­растания строгости требований):

•  сбор данных (метрик) в ходе функционального тестирования;

•  сбор данных (метрик) в ходе инспекции документов разработки;

•  сбор данных (метрик) в ходе автономного тестирования при условии обеспечения полноты покрытия.

Уровень целостности ПС может обусловить не только выбор уровня оцени­вания отдельных характеристик качества продукта, но и расстановку приоритетов важности тех или иных характеристик его качества и выбор внешних метрик ка­чества (как, например, в таблице 10.1 из [5], где характеристики упорядочены по убыванию важности).

Упорядочивая характеристики (подхарактеристики) качества по важности можно также устанавливать для каждой из них коэффициент весомости, что по­зволит при ограниченных ресурсах разработки уделять больше внимание тем ха­рактеристикам, которые имеют наибольший вес.

Определение коэффициентов весомости каждой характеристики обычно про­водится экспертным путем по определенной шкале. Стандарт ДСТУ 2850, напри­мер, рекомендует порядковую шкалу из 5 значений: 5 - «крайне важно» (высокое значение характеристики), 4 - «очень важно», 3 - «важно», 2 - «хорошо бы», 1 -«неважно» [8], а В.В. Липаев - шкалу из трех значений - «высокий», «средний», «низкий» (приоритет) [9].

Если сумма коэффициентов весомости равна 1 - эти коэффициенты называ­ют параметрами весомости.

Наиболее строгая схема присваивания параметров весомости характеристи­кам дана в Межгосударственном стандарте ГОСТ 28195 [10]. Стандарт определяет конкретные значения параметров весомости для каждой подхарактеристики, в зависимости от стадии ЖЦ ПС, а также от класса ПС (указываются коды подклассов ПС по ОКП)¹.