Определение надежности программного обеспечения по результатам тестирования и испытаний. Оценка надежности программного обеспечения по результатам тестирования и испытаний

Оценка надежности программного обеспечения по результатам тестирования и испытаний.

Задачи работы:

1. Изучить модели определения надежности программного обеспечения.

2. Получить практические навыки использования моделей для расчета надежности программного обеспечения.

Сведения из теории

Для количественной оценки показателей надежности программного обеспечения (ПО) используют модели надежности, под которыми понимаются математические модели, построенные для оценки зависимости этих показателей от заранее известных или определенных в ходе выполнения задания параметров. Значения таких параметров либо предполагаются известными, либо могут быть измерены в ходе наблюдений или экспериментального исследования процесса функционирования программного обеспечения.

Модели надежности программного обеспечения можно разделить на аналитические и динамические.

Аналитические модели дают возможность рассчитать количественные показатели надежности, основываясь на данных о поведении программы в процессе тестирования (измеряющие и оценивающие модели). Аналитические модели подразделяются на динамические и статические. В динамических моделях поведение ПО (появление отказов) рассматривается во времени. В статических моделях появление отказов не связывают со временем, а учитывают зависимость количества ошибок либо от числа тестовых прогонов (модели по области ошибок), либо от характеристики входных данных (модели по области данных).

Эмпирические модели базируются на анализе структурных особенностей программ и являются наиболее простыми моделями. Они основаны на анализе накопленной информации о функционировании разработанных программ. Например, считалось, что если в программе на каждые 1000 операторов приходится 10 ошибок, то она пригодна к эксплуатации. По другим данным, уровень надёжности программ считается приемлемым, если на 1000 операторов приходится одна ошибка.

Модель Шумана. Относится к динамическим моделям дискретного времени.Исходные данные для модели Шумана собираются в процессе тестирования ПО в течение фиксированных или случайных временных интервалов. При  использовании модели Шумана  предполагаются справедливыми следующие допущения:

·  тестирование проводится в несколько этапов, выявленные на конкретном этапе ошибки регистрируются, но не исправляются;

·  в конце  этапа рассчитываются количественные показатели надежности, исправляются найденные ошибки, корректируются тестовые наборы и проводится следующий этап тестирования;

·  число ошибок в программе постоянно и в процессе корректировки новые ошибки не вносятся;

·  до начала тестирования имеется ошибок. В течение времени тестирования τобнаруживается ошибок в расчете на одну команду в машинном языке;

·  общее число машинных команд  постоянно в рамках этапа тестирования.

Базовые понятия модели заимствованы из теории надежности аппаратных средств [6]:

функция надежности вероятность того, что ни одна ошибка не появится на интервале от 0 до t,

  функция отказов, вероятность того, что ошибка  появится на интервале от 0 до t: ,

функция риска, условная вероятность того, что ошибка  появится на интервале от 0 до , при условии, что до t ошибок не было. Значение функции  пропорционально числу оставшихся в ПО ошибок:

где C некоторая константа, t время работы ПО без отказа,   удельное число ошибок на одну машинную команду, оставшихся в системе после времени тестирования τ, вычисляемое как:

.

Если время работы программы без отказа t отсчитывается от точки

t = 0, а время тестирования τ остается фиксированным, то функция надежности, или вероятность безотказной работы на интервале от 0 до t, равна

где неизвестными величинами являются начальное количество ошибок  и коэффициент пропорциональности C. Для определения этих величин в процессе тестирования собирается