Розв’язання завдання на тему «Одношаровий персептрон» (Приклади виконання контрольних завдань)

правила

ПРИКЛАДИ ВИКОНАННЯ КОНТРОЛЬНИХ ЗАВДАНЬ

ПРИКЛАД 1 - Розв’язання завдання на тему «Одношаровий персептрон»

Модель персептрона має такий вигляд (рис. 1):

Рис. 1. – Модель персепртрона

При цьому

x  R^d, або x  {–1, 1}^d,

y  R, або y  {–1, 1}.

Таку модель використовують для розв’язання задачі класифікації для двох класів і є ідентичною до задачі

y  {0, 1}.

Будемо розглядати випадок

x  R^d, y  {–1, 1}.

Функціонування персептрона описується наступною залежністю:

                                        y = sign(W^Tx – τ) = f(x, W).             (1)

де τ – деякий поріг, W – вектор вагових коефіцієнтів персептрона.

У геометричній інтерпретації рівняння (1) визначає два підпростори

{x : y = 1}  H⁺ = {x : W^Tx  τ },          

{x : y = –1}  H^– = {x : W^Tx < τ },      (2)

з роздільною гіперплощиною (афінний підпростір розмірності d – 1):

                                            H = {x : W^Tx – τ = 0}.(3)

Збільшуючи розмірність простору, отримаємо

                                             x  R^d   R^d+1,                  (4)

де  = ,  = 1, і  d,

                                            W  R^d   R^d+1,                 (5)

де  = ,  = τ, і  d.

Враховуючи (4) та (5), можна записати

W^Tx – τ = ^T.

Навчання персептрона (алгоритм Розенблатта)

Навчання персептрона представляє собою процес налаштування вагових коефіцієнтів  W.  При навчанні нейронної мережі, як правило, математичні вирази для розділяючих поверхонь відсутні. Тому навчання виконується тільки на навчальній вибірці.

Навчальна вибірка (скінчена) задається множиною, що складається з пар вхід-вихід:

                        T = {(x₁, t₁), …, (x_n, t_n)} = {(x_i, t_i), i = 1, …, n},(6)

де {–1, 1}.

Мета навчання – налаштувати вагові коефіцієнти W таким чином, щоб для будь-яких виконувалось x*  R^d, x*  T виконувалось y = t*.

Алгоритм навчання персептрона Розенблатта:

Даний алгоритм коректно працює лише в тих випадках, коли класи є лінійно роздільними.

1.  Формуємо множину

2.   

,

де

={x: якщо існує  і  таке, що  = 1, х = х_і},

={x: якщо існує  і  таке, що  = –1, х = х_і}

={:, },

і систему

^T>0 для будь яких .

3.  Початок. Вибираємо деякий елемент  як початкове наближення для. Сформуємо випадкову послідовність (циклічну, у якій елементи з'являються з невизначеною частотою) з елементів .

4.  Тест. Вибираємо випадкове значення = rand(). Якщо ^T > 0 , переходимо до п. 3, інакше –– до п. 4.

5.  Модифікація вагових коефіцієнтів.

,

де  = 1.

Переходимо до п. 3.

6.  Завершення. Процес навчання закінчується тоді, коли умова ^T > 0 буде виконуватися для всіх векторів навчальної вибірки.

Розрахунки

c													Варіант № 2
i			1	2	3	4	5	6	7	8	9	10
x1			10	10	10	11	9	10	11	9	11	9
x2			18	16	15	14	12	9	11	10	10	10
Збільшуємо розмірність простору,													Рис. 2 – Графічне подання лінійного вирішального правила
x3			1	1	1	1	1	1	1	1	1	1
Вказуємо значення параметру t = y
t			1	1	1	1	1	-1	-1	-1	-1	-1
Формуємо матрицю
z1			10	10	10	11	9	-10	-11	-9	-11	-9
z2			18	16	15	14	12	-9	-11	-10	-10	-10
z3			1	1	1	1	1	-1	-1	-1	-1	-1
Вибираємо деякий елемент  як початкове наближення для  Перевіряємо виконання умови T > 0
=	10	T=	425	389	371	363	307	-263	-309	-271	-291	-271
	18
	1
Проводимо модифікацію вагових коефіцієнтів , де  = 1, i = 6. Перевіряємо виконання умови T > 0
=	0	T=	162	144	135	126	108	-81	-99	-90	-90	-90
	9
	0
Проводимо модифікацію вагових коефіцієнтів , де  = 1, i = 1. Перевіряємо виконання умови T > 0
=	-10	T=	-101	-101	-101	-111	-91	101	111	91	111	91
	0
	-1
Проводимо модифікацію вагових коефіцієнтів , де  = 1, i = 6. Перевіряємо виконання умови T > 0
=	0	T=	324	288	270	252	216	-162	-198	-180	-180	-180
	18
	0
Проводимо модифікацію вагових коефіцієнтів , де  = 1. Перевіряємо виконання умови T > 0
=	-10	T=	61	43	34	15	17	20	12	1	21	1
	9
	-1
Таким чином, лінійне вирішальне правило для розпізнавання двох образів має вигляд y = sing(–10x1 +9 x2 –1). Графічний вигляд сформованого правила подано на рис.2.