Ответы на экзаменационные билеты № 1-13 дисциплины "Надежность информационных систем" (Предмет науки о надежности. Определение надежности в узком и широком смысле. Модели надежности программного обеспечения (виды, характеристика))

Билет №1

1.  Предмет науки о надежности. Определение надежности в узком и широком смысле.

Надёжность — свойство объекта сохранять во времени в установленных пределах значения всех параметров, характеризующих способность выполнять требуемые функции в заданных режимах и условиях применения, технического обслуживания, хранения и транспортирования

Теория надежности как научная дисциплина изучает закономерности возникновения и устранения отказов объектов. В БСЭ (т.17, с.602) теория надежности определяется так: «научная дисциплина,в которой разрабатываются и изучаются методы обеспечения эффективности работы объектов в процессе эксплуатации». Теория надежности изучает

•          критерии и характеристики надежности;

•          методы анализа надежности;

•          методы синтеза СС по критериям надежности;

•          методы повышения надежности;

•          методы испытаний объектов на надежность;

•          методы эксплуатации объектов с учетом их надежности.

Теория надежности является прикладной технической наукой. Она изучает общие закономерности, которых следует придерживаться при проектировании, изготовлении, испытаниях и эксплуатации объектов для получения максимальной эффективности и безопасности их использования.

В теории надежности исследуются закономерности возникновения отказов объектов, восстановления их работоспособности, рассматривается влияние внешних и внутренних воздействий на процессы, происходящие в объектах, разрабатываются методы расчета систем на надежность, прогнозирования отказов, изыскиваются способы повышения надежности при проектировании и эксплуатации объектов, а также способы сохранения надежности при эксплуатации, определяются методы сбора, учета и анализа статистических данных, характеризующих надежность.

В теории надежности вводятся показатели надежности объектов, устанавливается связь между ними и экономической эффективностью и безопасностью, обосновываются требования к надежности с учетом различных факторов, разрабатываются рекомендации по обеспечению заданных требований на этапах проектирования, изготовления, испытаний, хранения и эксплуатации, решаются эксплуатационные задачи надежности: обоснование сроков и объема профилактических мероприятий и ремонтов, обеспечение запасными элементами, узлами, инструментом и материалами, диагностический контроль и отыскание неисправностей и т.д.

2. Структурный анализ и структурные преобразования в расчетах надежности: преобразование структуры типа «треугольник» в структуру типа «звезда».

Преобразование треугольника в звезду и наоборот.

Эти преобразования позволяют перейти от сложной структурной схемы надежности к параллельно-последовательным схемам надежности.

         

P_s= P_x(P_yP_b + P_zP_d – P_yP_bP_zP_d)

1 -> 2:                   

1 -> 3:                    

2 -> 3:                    

Заменяем на вероятности a -> p_a …

P_a=P_b=P_c=P_∆ ;            P_x=P_y=P_z=P_з ;            

Билет №2

1. Основные этапы и направления развития теории надежности.

развитие научно-технического прогресса. Освоение человеком ядерной энергии в мирных целях

60-е гг. Освоение космоса самолетостроение развитие новых технологий обработки материалов развитие химической промышленности развитие вычислительной техники

2. Модель анализа надежности программных средств (дестабилизирующие факторы и угрозы, объекты уязвимости, последствия воздействий факторов и угроз)

Билет №3

1. Характерные особенности    ИС как сложной системы. Виды надежности ИС

Сложная система – совокупность большого количества разнородных элементов, связей между элементами, составляющая единое целое и выполняющая сложную функцию.

Свойство целостности проявляется:

•          большое количество разнородных элементов и связей,

•          изменение свойства первого элемента в системе приводят к тому, что свойства системы в целом изменяется

•          функциональная избыточность (Избыточность – это дополнительные средства сверх минимально необходимых для выполнения зад. функции),

В сложных системах отказ элемента или целой подсистемы не приводит к отказу всей системы. Чаще всего это приводит к снижению эффективности работы всей системы

•          наличие человека => система слабо предсказуема,

•          иерархическая структура управления системой.

Любые АСОИУ или ИС являются сложными системами, т.к. выполняют сложные функции.

Виды надежности:

•          аппаратурная (структурная)

•          программная

•          информационная

•          надежность системы, обусловленная человеческим фактором

•          функциональная – надежность выполнения отдельных функций, возлагаемых на систему

1. Структурный анализ и структурные преобразования в расчетах надежности:  метод разложения сложной структуры по «ключевым элементам».

Метод ключевого элемента.

- Схема моста.

е – ключевой элемент.

Элемент е может работать, может не работать.

Рассмотрим 2 случая:

1)  е -    работает:                                                           2) е – не работает:

             

Р_с = Р₁ + Р₂

Алгоритм:

1)  В исходной стр-ре выбир-ся эл-т с наиб. кол-вом связей(ключевой эл-т Х or эл-т разложения)

2)  В месте расположения Х делается замыкание (1-я структура)

3)  В месте Х в исходной структуре делается обрыв (2-я структура)

4)  ВБР 1-й структуры умножаем на ВБР элемента Х, получаем Р₁

5)  ВБР 2-й структуры умножаем на вероятность отказа элемента Х, получаем Р₂

6)  Сумма Р₁ и Р₂ определяет ВБР структуры

Билет №4

1. Надежность ИС как комплексное свойство

- Это способность объекта выполнять определенные функции (безотказность)

- Приспособленность к ремонту, к восстановлению (ремонтопригодность)

- Долговечность (срок службы – годы, технический ресурс - часы)

- Сохраняемость

- достоверность передачи данных

- Живучесть – способность выполнять функцию в неблагоприятных условиях

2. Понятия отказа  и сбоя программных средств. Виды состояний программного обеспечения АСОИУ. Примеры

Если при смене разрешения функционально программа не страдает, а теряется только ее удобство и привлекательность, то это только сбой ПО. В противном случае (если из-за смены разрешения функциональность программы нарушается) – это отказ программы.

Исправное состояние элемента АСОИУ - это такое состояние, при котором он соответствует всем требованиям нормативно-технической и конструкторской документации. В противоположность этому, неисправное состояние элемента АСОИУ - это состояние, при котором он не соответствует хотя бы одному из требований нормативно-технической и конструкторской документации

Если значения хотя бы одного параметра, характеризующего способность элемента ЯЭУ выполнять заданные функции, не соответствуют требованиям нормативно-технической и конструкторской документации, то такое состояние называется неработоспособным.

Билет №5

1. Показатели безотказности (статистические и математические  определения) для невосстанавливаемых объектов.

— вероятность безотказной работы P (t);

— вероятность отказа Q (t);

— частота отказов a (t);

— интенсивность отказов λ(t);

— средняя наработка до первого отказа Tср.

К числу широко применяемых количественных характеристик надежности невосстанавливаемых объектов относятся:

— вероятность безотказной работы P (t);

— вероятность отказа Q (t);

— частота отказов a (t);

— интенсивность отказов λ(t);

— средняя наработка до первого отказа Tср.

Вероятность безотказной работыP (t) – это вероятность того, что при определенных условиях эксплуатации в заданном интервале времени не произойдет ни одного отказа.

Вероятность безотказной работы по статистическим данным об отказах оценивается выражением:

,    (2.1)

где P*(t) – статистическая оценка вероятности безотказной работы;

N0 – количество изделий в начале испытаний; во время испытаний отказавший объект не восстанавливается и не заменяется исправным;

n (t) – число отказавших объектов за время t.

Вероятность отказаQ (t) – это вероятность того, что при определенных условиях эксплуатации в заданном интервале времени произойдет хотя бы один отказ.

Вероятность отказа при работе по статистическим данным об отказах оценивается выражением:

. (2.2)

Вероятность отказа Q (t) является возрастающей функцией времени (см. рисунок 2.1). Функция Q (t) характеризует вероятность того, что в заданном интервале времени произойдет хотя бы один отказ: Q (t) = Q (tр < t) — вероятность того, что время безотказной работы меньше t.

Поскольку работоспособность и отказ являются состояниями несовместимыми и противоположными, то их вероятности связаны зависимостью:

P (t) + Q (t) = 1.  (2.3)

Частота отказовa (t) — плотность распределения времени безотказной работы или производная от вероятности безотказной работы:

a (t) = q'(t) = — p'(t)   (2.4)

Для определения величины a (t) используется следующая статистическая оценка:

, (2.5)

где n (∆t) – количество отказавших изделий в интервале времени ∆t;

N0 – количество изделий в начале испытаний.

Интенсивность отказовλ(t) – это условная плотность распределения времени безотказной работыдля момента времени t при условии, что до этого момент отказа не произошел (интенсивность появления отказов в единицу времени):

, (2.7)

причем P (t) ≤ 1, то λ(t) ≥а(t).

Для высоконадёжных систем если P (t) = 0.99,то а(t) ≈ λ(t). Ошибка не более 1% и не превышает ошибок статистического определения а(t) и λ(t).

Средней наработкой до отказаTср -это называется математическое ожидание наработки объекта до первого отказа, которое вычисляется следующим образом:

 (2.10)

Таким образом, средняя наработка до отказа графически представляет собой площадь, лежащую под графиком функции P (t).

Статистическая оценка средней наработки до первого отказа при N (t) ≠  0 может быть получена как:

где toi — время до отказа i-го объекта;

t — время наблюдения за N0 объектами;

N — число отказавших объектов за время t.

2.  Понятие дефектов  программных средств и причины их появления

Дефект ПО – это несоответствие (неадекватность) ПО эталонам.

Для понимания причин возникновения дефектов ПО рассмотрим процесс проектирования и разработки ПО. По мере разработки ПО последовательно создаются: модель, алгоритм, исходный текст программ, объектный код программ. Параллельно с ними разрабатывается соответствующая программная документация. Термин дефекта применим к каждому из рассмотренных элементов (рис.6).

Любая разработка ПО начинается с построения моделей объекта управления и среды функционирования. В результате разрабатываются функциональные и конструктивные спецификации на ПО. Из-за неполноты или недостоверности информации об объектах, несовершенства используемых методов и технологий, а также ошибках, допущенных разработчиками, созданные модели могут не соответствовать тем эталонам, для которых они создавались. Таким образом, можно говорить о дефекте модели как о ее неадекватности эталону.

3. 

Рис. 6. Понятие дефектов в ПО и ПС и причины их появления

Дефект модели или ее носителя (т.е. дефекты спецификаций), несовершенство используемых методов и технологий и ошибки разработчиков ведут к дефекту алгоритма. Можно говорить об относительном (если в моделях дефекты отсутствовали) и абсолютном (дефект может быть обусловлен дефектом модели) дефекте алгоритма.

Билет №6

1. Понятие отказа, классификация аппаратурных отказов. 

Событие, заключающееся в нарушении работоспособного состояния, называется отказом.

Независимый отказ – это отказ ПО, не обусловленный отказом другого объекта. Зависимый отказ – отказ ПО, обусловленный отказом другого объекта. В качестве такого объекта могут выступать другие ПС, ошибки во входных данных и обслуживающий персонал. Например, отказ операционной системы при отказе работы некоторой прикладной программы – зависимый отказ. Отказ, обусловленный программной ошибкой в логике выполнения алгоритма программы – независимый отказ.

При полном отказе ПО прекращает выполнение всех возложенных на него функций, а при частичном – некоторые функции ПО еще выполняются. Самым наглядным примером является функционирование операционной системы: часть отказов не всегда приводит к совершенному зависанию системы. Операционная система хоть и со сбоями продолжает выполнять часть своих функций.

2. Определение, значение и виды испытаний на надежность.

Испытания на надежность – это определение показателей надежности объекта на основании непрерывного наблюдения за состоянием его работоспособности в условиях, предписанных методикой испытаний.

Испытания на надежность являются обязательным видом испытаний при изготовлении изделий и при приемке их от заводов-изготовителей. Методики проведения таких испытаний регламентируются Государственными и отраслевыми стандартами.

прикидочный (рассчитываются нормы надежности, т.е. требования к надежности каждого элемента системы)

ориентировочный(не учитывается режимы работы элементов, но учитываются типы элементов) окончательный (завершает процесс проектирования)

На этапе создания  эксплуатации расчеты надежности проводятся по результатам испытаний и эксплуатации. Результаты расчетов носят характер констатации, показывают, какой надежностью обладали объекты, до настоящего момента времени.

Билет №7

1. Понятие безотказности; виды технического состояния объекта. Отказ, сбой, повреждение, дефект.

Безотказность - одно из самых важных свойств надежности элементов и подсистем  АСОИУ. Безотказность - это свойство элементов, систем и ЯЭУ в целом сохранять работоспособное состояние в течение некоторого времени или некоторой наработки. Обычно безотказность рассматривается применительно к режиму эксплуатации объекта. При оценке безотказности объекта перерывы в его работе (плановые и внеплановые) не учитываются.

Дефект ПО – это несоответствие (неадекватность) ПО эталонам.

Событие, заключающееся в нарушении работоспособного состояния, называется отказом.

2. Классификация отказов программного обеспечения. Примеры

3. 

Рис. 5. Классификация отказов ПО

Независимый отказ – это отказ ПО, не обусловленный отказом другого объекта. Зависимый отказ – отказ ПО, обусловленный отказом другого объекта. В качестве такого объекта могут выступать другие ПС, ошибки во входных данных и обслуживающий персонал. Например, отказ операционной системы при отказе работы некоторой прикладной программы – зависимый отказ. Отказ, обусловленный программной ошибкой в логике выполнения алгоритма программы – независимый отказ.

При полном отказе ПО прекращает выполнение всех возложенных на него функций, а при частичном – некоторые функции ПО еще выполняются. Самым наглядным примером является функционирование операционной системы: часть отказов не всегда приводит к совершенному зависанию системы. Операционная система хоть и со сбоями продолжает выполнять часть своих функций.

Причинами отказов ПО являются процессы, события или состояния, обусловившие возникновение отказа ПО. В зависимости от причины возникновения отказа их классифицируют на

– конструкционные – отказы, появившиеся в результате несовершенства и нарушения установленных правил и (или) норм проектирования и разработки ПО;

– производственные – отказы, возникшие в результате несовершенства или нарушения установленного процесса изготовления (тиражирования), установки (инсталляции) или сопровождения ПО;

– эксплуатационные – отказы, возникшие в результате нарушения установленных правил и (или) условий эксплуатации ПО.

Самоустранимый отказ – это отказ ПО, который может быть устранен без рестарта (перезапуска) вычислительного процесса и производится самим ПО. Устранимый отказ позволяет ликвидировать последствия отказа при перезапуске вычислительного процесса, но требует для своего устранения вмешательства другого ПО или пользователя (обслуживающего персонала). Неустранимый отказ затрагивает не только вычислительный процесс ПО, но и вспомогательные данные (например, файлы конфигурации и т.д.), что приводит к невозможности дальнейшего использования данного ПО без его переустановки.

Явный отказ – отказ ПО, последствия которого имеют явные проявления. При неявном отказе таких явных проявлений не наблюдается.

Перемежающийся отказ – это многократно возникающий отказ ПО одного и того же характера.

Билет №8

1. Понятие ремонтопригодности; восстанавливаемые и невосстанавливаемые объекты, ремонтируемые и неремонтируемые объекты. Показатели ремонтопригодности.

Ремонтопригодность - это свойство элементов, заключающееся в приспособленности к предупреждению и обнаружению причин отказов, повреждений и восстановлению работоспособного со стояния путем проведения технического обслуживания и ремонтов.

Вероятность восстановления в заданное время Р_в(t) – случайная величина.

Время восстановления объекта после отказа – случайная величина.

Q – сл.в., время восстановления

t – заданное время

Р_в(t)=Р(t>Q) – вероятность восстановления

Q_в(t)=Р(t≤Q) – вероятность невосстановления

Р_в(t)+Q_в(t)=1             Р_в(0)=0           Р_в(∞)=1

 

Среднее время восстановления     

Интенсивность восстановления                     - условная частота восстановления на заданном интервале.

2. Показатели надежности программных средств

Показатели надежности характеризуют способность программного средства в конкретных областях применения выполнять заданные функции в соответствии с программными документами в условиях возникновения отклонений в среде функционирования, вызванных сбоями технических средств, ошибками во входных данных, ошибками обслуживания и другими дестабилизирующими воздействиями.

Под сбоем технических средств в стандарте понимается событие, заключающееся в нарушении исправного состояния технических средств ЭВМ при сохранении ими работоспособного состояния. Под ошибкой обслуживания – нарушение требуемого порядка взаимодействия с программой со стороны пользователя.

Критериями надежности являются устойчивость функционирования и работоспособность.

Устойчивость функционирования – способность обеспечивать продолжение работы программы после возникновения отклонений, вызванных сбоями технических средств, ошибками во входных данных и ошибками обслуживания.

Билет №9

1. Понятие долговечности; виды предельного состояния. Показатели долговечности

Долговечность - это свойство элементов сохранять работоспособное состояние до наступления предельного состояния при установленной системе технического обслуживания и ремонта. Предельное состояние объекта характеризуется таким состоянием, при котором дальнейшее его применение по назначению недопустимо или нецелесообразно, либо восстановление исправного или работоспособного состояний невозможно или нецелесообразно. Критерием предельного состояния служит признак или совокупность признаков предельного состояния элемента, установленный в нормативно-технической и конструкторской документации. Элемент может перейти в предельное состояние, оставаясь работоспособным, если его дальнейшее применение по назначению станет недопустимым по требованиям безопасности, экономичности или эффективности.

Первый вид совпадает с неработоспособным состоянием. Второй вид предельного состояния обусловлен тем обстоятельством, что, начиная с некоторого момента времени, дальнейшая эксплуатация пока еще работоспособного элемента согласно определенным критериям оказывается недопустимой в связи с безопасностью

Показатели долговечности.

Технический ресурс – это наработка изделия от начала его эксплуатации или ее возобновления после ремонта определенного вида до перехода в предельное состояние.

Физ. смысл технического ресурса – это зона возможной наработки изделия.

Срок службы – это календарная продолжительность от начала эксплуатации изделия или возобновления после ремонта определенного вида до перехода в предельное состояние.

Средний ресурс Т_ср – мат. ожидание ресурса.

γ-% ресурс Т_рγ% - это наработка, в течение которой объект не достигнет предельного состояния с заданной вероятностью γ (в %-х).

Назначенный ресурс Т_рн – определяется как суммарная наработка объекта, при достижении которой применение его по назначению должно быть прекращено (в НТК документации).

Средний срок службы Т_сл – это мат. ожидание срока службы.

γ-% срок службы Т_слγ% - календарная продолжительность от начала эксплуатации изделия, в течение которого он не достигнет предельного состояния с вероятностью γ (в %-х).

Назначенный срок службы Т_сл.н. – это календарная продолжительность объекта, при достижении которой применение его должно быть прекращено.

2. Контрольные испытания на надежность, основанные на последовательном анализе

Испытания, основанные на  последовательном анализе. Рассмотренные выше испытания основаны на обработке результатов испытаний определенного объема (N, T, r). Результат обработки сравнивается с заданным показателем надежности, и на основании сравнения делается вывод либо о соответствии, либо о несоответствии полученных результатов требуемым.

Сокращения времени на контрольные испытания можно добиться, если использовать другой подход к планированию испытаний:

1.  Не планировать за ранее продолжительность испытаний, а разбить их на последовательные этапы. На каждом из этапов анализировать результат и принимать одно из следующих решений: а) прекратить испытания, так как есть основание считать, что изделия удовлетворяют требованиям надежности; б) прекратить испытания, так как есть основание считать, что изделия не удовлетворяют требованиям надежности; в) продолжит испытания, так как нет оснований для вывода о надежности изделий.

2.  В основу обработки результатов испытаний положить не сравнение их с заданным показателем, а отнесение изделия к той или другой группе на основании проверки гипотезы о принадлежности изделия к той или другой группе.

При испытаниях на надежность рекомендуется устанавливать две группы изделий. К первой группе относят изделия, забракование которых может быть произведено с малой вероятностью a. Эта вероятность  -  риск поставщика, или ошибка первого рода. Ко второй группе относят изделия, принятие которых может быть допущено с малой вероятностью b. Эта вероятность – риск потребителя (заказчика), или ошибка второго рода.

Испытания  построенные на таком подходе, называют испытаниями, основанными на последовательном анализе. Их характерные особенности следующие: а) два уровня надежности, а также риски a и b, устанавливаемые до проведения испытаний; б) последовательность этапов проведения испытаний, позволяющая заканчивать их в зависимости от полученных результатов.

Билет №10

1. Понятие безотказности. Показатели безотказности (статистические и математические  определения) для восстанавливаемых объектов.

Безотказность - одно из самых важных свойств надежности элементов и подсистем  АСОИУ. Безотказность - это свойство элементов, систем и ЯЭУ в целом сохранять работоспособное состояние в течение некоторого времени или некоторой наработки. Обычно безотказность рассматривается применительно к режиму эксплуатации объекта. При оценке безотказности объекта перерывы в его работе (плановые и внеплановые) не учитываются.

К числу широко применяемых количественных характеристик надежности восстанавливаемых объектов относятся:

— параметр потока отказов ω(t);

— средняя наработка на отказ tср;

— гамма-процентная наработка до отказа γ;

— коэффициент готовности кг;

— коэффициент вынужденного простоя кп.

Если не учитывать время на восстановление системы, то количественными характеристиками являются параметр потока отказов ω(t) и наработка на отказ tср.

Параметр потока отказов(или удельная повреждаемость) ω(t) — это отношение количества ∆n (t) отказавших единиц оборудования в единицу времени ∆t к числу т (t) единиц оборудования, работающих в данный отрезок времени:

ω(t) = ∆n (t)/ т (t) ∆t.   (2.12)

Характеристика ω(t) может иметь весьма сложную зависимость от времени. Особый интерес в связи с этим представляет зависимость ω(t) от срока эксплуатации, на основании которой можно установить периоды приработки, нормальной работы и старения для отдельных видов оборудования.

Средняя наработка на отказ(наработка на отказ) tср– это отношение суммарной наработки восстанавливаемого объекта к математическому ожиданию числа его отказов в течение этой наработки, т.е. определяется как среднее значение времени между соседними отказами:

,    (2.14)

где ti – время исправной работы изделия между (i-1) -м и i-м отказами;

п– число отказов за некоторое время t.

Формула (2.14) используется при испытании одного образца изделий.

Если на испытании находится N образцов в течение времени t, то tср вычисляется следующим образом:

,    (2.15)

где  – время работы j- го образца изделий между (i-1) -м и i-м отказами;

 –  число отказов j- гo образца за время t.

С другой стороны:

tср = Тср = 

Среднее время наработки на отказ, или, иначе говоря, продолжительность работы между отказами, можно определить приближенно за год:

Тср ≈  ω .  (2.17)

Рассматриваемый показатель рассчитывается по экспериментальным данным.

Гамма-процентная наработка до отказа– это наработка, в течение которой отказ объекта не возникает с вероятностью , выраженной в процентах. Более подробное описание про этот показатель и такое понятие как гамма-распределение приведено [5].

Параметр потока отказов и наработка на отказ, рассмотренные ранее, характеризуютнадежность ремонтируемого изделия и не учитывают времени, необходимого на его восстановление. Поэтому они не характеризуют готовность изделия к выполнению своих функций в нужное время. Для этой цели вводятся такие критерии, как коэффициент готовности и коэффициент вынужденного простоя.

Коэффициент готовностикг — это есть отношение суммарного времени исправной работы tp к сумме суммарного времени исправной работы tpи вынужденных простоев tп:

, (2.18)

где tpi – время работы между (i-1) -м и i-м отказами;

tпi – время простоя после i-гo отказа;

n –  число отказавших изделий.

При анализе готовности восстанавливаемого объекта коэффициент готовности вычисляется по следующей формуле:

кг = Тср / (Тср + tв),   (2.19)

где tв – среднее время восстановления объекта.

Коэффициент вынужденного простоякп – это есть отношение времени вынужденного простоя к сумме времени исправной работы и вынужденных простоев:

. (2.20)

Коэффициент готовности и коэффициент вынужденного простоя связаны между собой зависимостью:

Kп = 1 - Kг. …  (2.21)

2.  Иерархия показателей качества ПС в соответствии с ГОСТ. Характеристика комплексных показателей качества ПС

Согласно данным стандартам показатели качества объединены в иерархическую систему из четырех уровней. Для получения оценки показателя вышестоящего уровня необходимо оценить показатели нижестоящих уровней (рис. 2).

Рис. 2. Иерархия показателей качества

На первом уровне иерархии содержатся комплексные показатели качества (рис. 3):

– надежность;

– сопровождение;

– удобство применения (практичность);

– эффективность;

– универсальность (мобильность);

– корректность (функциональность).

В скобках приведены названия показателей по ГОСТ Р ИСО/МЭК 9126-93. Отличительной особенностью двух ГОСТов является появление в 9126-93 показателя функциональности, уточняющего ранее использовавшийся показатель корректности ПС.

Комплексные показатели характеризуют потребительски–ориентированные свойства, соответствующие потребностям пользователей программного средства. Каждому из комплексных показателей соответствует определенный набор критериев качества. В свою очередь каждый из критериев определяется своими метриками. Метрики составляются из оценочных элементов, определяющих заданное в метрике свойство. Количество оценочных элементов, входящих в одну метрику, не ограничено. Стандарт определяет примерный перечень оценочных элементов для всех метрик. Однако этот перечень может пополняться в зависимости от дополнительных факторов (например, от класса программного средства и требований, предъявляемых к этому средству).

На разных этапах жизненного цикла ПС факторы качества рассматриваются с разных точек зрения. На этапе анализа требований разработчики совместно с заказчиками ПС должны установить требуемый уровень качества для каждого из критериев качества – базовые значения критериев. Установленные значения должны быть отражены в техническом задании (спецификации) на разрабатываемое ПС (рис. 4).

На этапе проектирования и разработки необходимо стремиться обеспечить требуемый уровень путем реализации выбранных оценочных элементов. На этапе тестирования происходит оценка качества и доработка ПС, если требуемый уровень не достигнут.

Все оценочные элементы, метрики и критерии качества ПС с позиции возможности и точности их измерения можно разделить на три группы показателей, особенности которых следует уточнять при их выборе:

§  категорийные – описательные, отражающие набор свойств и общие характеристики объекта – его функции, категории ответственности, защищенности и важности, которые могут быть представлены номинальной шкалой категорий-свойств (в основном это характеристики функциональности и корректности);

§  количественные – представляемые множеством упорядоченных, числовых точек, отражающих непрерывные закономерности и описываемые интервальной или относительной шкалой, которые можно объективно измерить и численно сопоставить с требованиями (в основном это характеристики надежности и эффективности);

§  качественные – содержащие несколько упорядоченных или отдельных свойств-категорий, которые характеризуются порядковой или точечной шкалой набора категорий (есть – нет, хорошо – плохо), устанавливаются, выбираются и оцениваются в значительной степени субъективно и экспертно (в основном это характеристики практичности, сопровождаемости и универсальности).

Независимо от того, к какой группе принадлежит показатель, по стандарту для показателей качества на всех уровнях (комплексные показатели, критерии, метрики и оценочные элементы) принимается единая шкала оценки от 0 до 1.

Каждая метрика и критерий характеризуются двумя числовыми параметрами – весовым коэффициентом ( и  соответственно, где а – уровень иерархии, а b – порядковый номер данного показателя для показателя вышестоящего уровня) и значением количественной оценки ( и  соответственно).

Сумма всех весовых коэффициентов метрик каждого из показателей постоянна и равна единице:

.

Аналогичное требование предъявляется и к весовым коэффициентам критериев. На этапе анализа требований к ПС устанавливаются также базовые значения для количественной оценки критерия (). Для проведения экспертного опроса формируется таблица значений оценочных элементов. Каждый эксперт заполняет свой экземпляр таблицы. На основе собранных данных получают усредненную оценку каждого оценочного элемента:

, где t – количество экспертов, участвующих в опросе; j – порядковый номер метрики, k – порядковый номер оценочного элемента для данной метрики.

Предусмотренная стандартом система оценивания предполагает одинаковую компетентность экспертов, участвующих в процессе оценки качества ПС. На деле это не всегда так. Поэтому для получения средних значений оценочных элементов можно воспользоваться методами экспертных оценок.

Итоговая оценка j – ой метрики i – го критерия ведется по формуле: