Подходы к оценке качества программных систем, страница 8

•  ключевые направления уровня (всегда);

•  уровень зрелости (если целью оценивания является определение уровня зрелости).

Цель определенного КРА считается достигнутой (оценка «удовлетворитель­но»), если в результате обследования процесса обнаруживается, что все ключевые процедуры по всем разделам направления процесса определены, реализованы практически и внедрены во все проекты организации. Оценка «не удовлетвори­тельно» присваивается в том случае, если отмечены существенные недостатки в реализации и внедрении оцениваемых элементов СММ. Каждый метод оценивания может предлагать расширенную шкалу ранжирования, учитывающую частичность реализации целей КРА.

Ключевое направление процесса получает оценку «удовлетворительно», если эта же оценка присвоена всем целям, достижение которых предусмотрено по дан­ному направлению. Если хотя бы одна из целей КРА не достигается (с оценкой «удовлетворительно») - КРА получает оценку «не удовлетворительно».

Определенный уровень зрелости считается достигнутым, если все ключевые направления процесса, с которыми связывается данный уровень зрелости в модели СММ, а также все ключевые направления нижележащих уровней получили оценку «удовлетворительно».

Таким образом, обязательным условием аттестации организации-разработчика на соответствующий уровень зрелости является достижение всех целей по всем направлениям данного и всех нижележащих уровней, указанных в модели СММ, для всех проектов организации (текущих и будущих) на все время существования организации.

Организациям-разработчикам, совершенствование процессов в которых бу­дет осуществляться в направлении достижения второго уровня зрелости по модели СММ, целесообразно:

•  детально изучить цели и процедуры КРА второго уровня [19] (его описа­ние доступно на сайте SEI);

•  получить административную и финансовую поддержку;

•  создать соответствующие организационные структуры и другие элементы процесса, рекомендуемые СММ (глава 1, п. 1.1.2 о требованиях к базовому процес­су организации);

•  подготовить нормативно-методическую и учебную базу. Перечень необ­ходимых (для достижения уровня 2) международных и отечественных стандартов, которые могут использоваться в качестве ориентиров при выполнении работ по ключевым направлениям, был представлен в главе 4;

•  организовать процесс обучения специалистов программных проектов;

•  составить глобальный план работ по совершенствованию процесса орга­низации, рассчитанный на 6 - 8 лет;

•  обеспечить надлежащее управление работами.

10.3.5. Процедура выбора организаций-исполнителей программных проектов

Предлагаемая ниже процедура оценивания зрелости организаций-разработчиков не является адаптацией ни одного из перечисленных выше методов (SPA, SCE, IP). Цель ее разработки - предоставить организации-заказчику прием­лемый механизм выбора организаций-исполнителей программных проектов, кон­цептуально согласующийся с СММ и адекватный уровню отечественной про­граммной инженерии.

Процедура ориентирована на ранжирование зрелости организации-исполнителя по шкале от 0 до 2, где рейтинг 2 соответствует второму уровню зре­лости по модели СММ.

Процедура основана на использовании фрагмента оригинала контрольного вопросника SEI в части, касающейся уровня 2 СММ (приложение 5), и включает следующую последовательность шагов:

Шаг 1. Организация-заказчик составляет проект паспорта программного (системного) продукта, подлежащего разработке, по форме, представленной на ри­сунке 10.10;

Шаг 2. Организация-заказчик рассылает претендентам на роль исполнителей форму паспорта и контрольный вопросник;

Шаг 3. Организация-претендент, ознакомившись с проектом паспорта зака­зываемого продукта, подбирает несколько (но не менее трех) завершенных или на­ходящихся в стадии завершения проектов, разработанных в данной организации и «схожих» с проектом, предлагаемым к разработке;

Шаг 4. Разработчик проекта заполняет паспорт разработанного (разрабаты­ваемого) продукта по форме паспорта и отвечает на все вопросы контрольного вопросника (приложение 5). Ответы на вопросы по каждому направлению простав­ляются посредством отметки (знак «+» при ручном заполнении формы или число «1» при машинном заполнении) в соответствующих колонках интервальной шка­лы;

Шаг 5. Организация-претендент отсылает заполненные паспорта и контроль­ные вопросники организации-заказчику;

Шаг 6. Эксперт организации-заказчика обрабатывает все паспорта и кон­трольные вопросники организации-претендента и определяет уровень зрелости ор­ганизации.

Обработка контрольных вопросников для получения оценок включает вы­полнение следующих действий:

1) каждой оценке присваивается эквивалентный числовой коэффициент (таблица 10.5).

2)   обрабатывается один вопросник для одного проекта: подсчитывается ко­личество ответов по каждой оценке одного направления процесса (количество от­меток «+» или «1» в столбце). Это количество ответов умножается на соответст­вующий коэффициент и вычисляется их сумма. Затем эта сумма делится на коли­чество вопросов, касающихся данного направления, и умножается на 100% (для получения оценки достижимости целей направления в процентах).

Ниже приведен пример заполнения опросного листа по направлению «Управление требованиями» и оценка уровня достижимости целей по данному на­правлению. Соответствующий опросный лист содержит 6 вопросов. Пример запол­нения опросного листа приведен в таблице 10.6. Вычисленная оценка КРА по отве­там на вопросы по данному направлению составляет

(2«1 + 1* 0.75 + 1» 0.5 + 2» 0)/6 = 0.54

или в процентном отношении - 0.54* 100% = 54%

Процедура повторяется по всем шести направлениям, представленным в во­проснике.

3)  подобным образом обрабатываются ответы на вопросы по всем проектам;

4)  по завершении обработки опросных листов оценки по каждому направлению для всех проектов усредняются.

Усредненная оценка направления по всем проектам вычисляется как медиана частных оценок. Например, если в результате обработки вопросов по первому на­правлению для пяти проектов были получены такие оценки:

54 58 75 79 80

то медианой ряда будет значение 75 и это будет средняя оценка данного на­правления по представленным проектам.