Методичні вказівки до лабораторних занять з дисципліни "Стандартизація та сертифікація в галузі захисту інформації", страница 5

Імовірність помилки першого роду називається рівнем значущості тесту. Ця імовірність може бути встановлена до іспитів та позначається  як . Для тесту суть  полягає в тому, що тест покаже на невипадковість послідовності, тоді як на справді вона випадкова. Тобто на те, що послідовність має невипадкові властивості навіть коли її сформував “добрий” генератор.

Імовірність помилки другого роду позначається як . Для тесту - імовірність того, що тест покаже на випадковість послідовності, коли насправді вона не є випадковою. Тобто “поганий” генератор сформував послідовність яка, як здається, має випадкові властивості. На відміну від , помилка другого роду  не є фіксованим значенням. Вона може приймати множину різних значень, тому що існує безліч ситуацій, коли потік даних може бути невипадковим, і кожна з них може бути охарактеризована різними значеннями . Обчислення помилки другого роду є більш складним із-за великої кількості можливих типів невипадковості.

Для прийняття рішень про проходження послідовністю випадкових чисел статистичного тесту використовуються три основних підходи.

Нехай дана двійкова послідовність ,  довжиною  біт. Необхідно прийняти рішення, проходить ця послідовність статистичний тест на випадковість чи ні. Можливі такі підходи до вирішення цієї задачі.

1. Критерій прийняття рішення на основі встановлення граничного рівня. Цей підхід базується на обчисленні статистики тесту c(S), з її подальшим порівнянням з деяким граничним рівнем c_пор(S). Критерій прийняття рішення формується таким чином: вважається, що двійкова послідовність S не проходить статистичного тесту кожен раз, коли статистика тесту c(S) приймає значення менше за граничний рівень c_пор(S).

Наприклад, при перевірки складності послідовності з використанням тесту на основі алгоритму Лемпеля-Зива, для заданої двійкової послідовності S розраховується її складність c(S). Для того, щоб визначити пройшла ця послідовність тест чи ні, необхідно порівняти отримане значення c(S) з граничним значенням n/log₂n. Однак такій підхід не є достатньо надійним. Як показали практичні дослідження, використання такого критерію часто приводить до помилкових рішень.

2. Критерій прийняття рішень на основі встановлення фіксованого довірчого інтервалу. При такому підході критерій прийняття рішення формується таким чином: вважається, що двійкова послідовність S не проходить статистичного тесту, якщо значення статистики тесту c(S) знаходиться за границею довірчого інтервалу значень статистики, що обчислений для встановленого рівня значимості a. Наприклад, нехай до двійкової послідовності S довжиною n = 800 біт застосовується частотний тест. Значення статистики тесту c(S) є число одиниць у послідовності S, причому очікується, що в послідовності буде приблизно 400 одиниць та 400 нулів. Якщо зафіксувати рівень значимості на рівні 5% (a = 0,05), то послідовність S не пройде частотного тесту, якщо число одиниць буде знаходиться за межами довірчого інтервалу .

Даний критерій у порівнянням з першим є більш надійним. Необхідно тільки враховувати, що різним рівням значимості будуть відповідати різні довірчі інтервали.

3. Третій підхід побудови критерію прийняття рішення спирається на обрахування для статистики тесту c(S) відповідного значення ймовірності . Тут статистика тесту розглядаються як реалізація випадкової величини, яка підкоряється відомому закону розподілу. Статистика тесту будується таким чином, щоб її менші значення вказували на будь-який дефект випадковості послідовності. Значення ймовірності  є ймовірність того, що статистика тесту прийме  значення більше за значення, що спостерігається при випробуванні послідовності, у передбаченні її випадковості. Таким чином малі значення ( < 0,05 або  < 0,01) інтерпретуються як доказ того, що послідовність не випадкова. Вирішальне правило формується так: для фіксованого рівня значимості a, двійкова послідовність S не проходить статистичний тест, якщо значення ймовірності  < a. Значення a рекомендується вибирати з інтервалу [0.001, 0.01].