Штучні нейронні мережі. Нейропарадигми

ШТУЧНІ НЕЙРОННІ МЕРЕЖІ (ШНМ). НЕЙРОПАРАДИГМИ.

Задача розв’язувана ШНМ формулюється наступним чином: Відомий набір сигналів, що вважаються зразковими. ШМН повинна вміти з довільного неідеального сигналу, поданого на її вхід, виділити відповідний зразок чи дати висновок про те, що вхідні дані не відповідають жодному зі зразків.

ШМН можна поділити на два типи: ітеративні, в яких модифікуються ваги синапсів, та неітеративні, що випливають з аналогії між ШМН і спіновим склом (фізичною моделлю мільтистабільної системи, яка при виведенні зі стану рівноваги, вчиняє коливання, що завершуються переходом у найближчий стаціонарний стан, що відповідає мінімуму потенційної енергії).

Ітеративні ШНМ:

1.Перцептрони.

Рік розробки: 1943. Автори: Маккалокк і Піттс. Галузь застосування: Розпізнавання зображень, що піддаються зсувам і поворотам.

Опис: Складається з одного типу нейронів. Вхідні сигнали множаться на ваги і підсумовуються. Якщо сума більше заданого граничного значення, вхідний сигнал дорівнює одиниці, інакше – нулю.

Алгоритм навчання полягає в підстроюванні синаптичних зв’язків в напрямку мінімізації помилки.

2. Перцептрон Розенблантта.

Рік розробки: 1957. Автор: Розенблантт. Галузь застосування: Розпізнавання друкованого шрифту.

Опис: Містить три шари порогових елементів. Вхідні сигнали, впливаючи на рецептори (S-елементи), переводять їх в збуджений стан, S-елементи випадковим чином пов’язані з сукупністю асоціативних нейронів (A-елементи). Вхід A-елемента відрізняється від нуля тільки тоді, коли активовано достатню кількість пов’язаних з ним рецепторів. Реакції A-елементів надходять на виходи ефекторів (R-елементи) через зв’язки, вага яких змінюється при навчанні. В ефекторах обчислюється постсинаптичний потенціал – зважена сума сигналів, що надійшли. Для кожного класу виділяється один ефектор і рішення приймається за максимумом значення постсинаптичного потенціалу.

3. Адалін (adaptive linear element) та Мадалін(multi adaptive linear element).

Рік розробки: 1960. Автор: Уидроу. Галузь застосування: адаптивні моделі і еквалайзери в телефонії.

Опис: Структура Адаліна включає порогів елемент (ПЕ), елемент віднімання (ЕВ), вузол підстроювання (ВП) вагових коефіцієнтів. В поцесі навчання вагові коефіцієнти підстроюються так, щоб нейрон формував правильні вихідні сигнали. Для цього оцінюється помилка δ (різниця) між потрібним d та фактичним y значенням вихідного сигналу. Алгоритм навчання мінімізує сумму квадратів помилок за періл навчання. За допомогою ПЕ формуються рівні вихідного сигналу, відповідні логічним. Для зсуву активаційної функції застосовується вхід х₀.

Неітеративні ШНМ:

1. Мережа Хопфілда.

Рік розробки: 1982. Автор: Хопфілд. Галузь застосування: Пошук і відновлення даних за їхніми фрагментами.

Опис: Мережа однорідна і симетрична. Складається з єдиного шару нейронів, кількість яких є одночасно кількістю входів і виходів ШНМ. Кожен нейрон пов’язаний синапсами з усіма іншими нейронами, а також має один вхідний синапс для введення сигналу. Вхідні сигнали утворюються на аксонах. Вхідні сигнали і реакції є компонентами загального вектора станів ШНМ, що запам’ятовуються при навчанні.

На стадії ініціалізації ШНМ вагові коефіцієнти синапсів задаються як:

Алгоритм функціонування має наступний вигляд:

1. На входи мережі подається невідомий сигнал. y_i(p)=x, i=0..n-1.
2. Розраховуємо новий стан нейронів, j=0..n-1 і нові значення аксонів y_j(p+1)=f[s_j+1], де f – активаційна функція у вигляді стрибка.
3. Якщо вхідні значення аксонів змінилися, то перехід на пункт 2, інакше – кінець.

2. Карти Кохонена, що само організуються (Self-Organizing Maps- SOM)

Рік розробки: 1980. Автор: Кохонен. Галузь застосування: Відображення однієї діляки на іншу.

Опис: SOM – різновид ШМН, в яких не змінюється структура мережі, а тільки підстроюються синапси. Нейрони розташовуються у вузлах двовимірної мережі з прямокутними або шестикутними осередками. При цьому кожен нейрон – це п-мірний вектор-стовпець. Алгоритм функціонування є одним з варіантів кластеризації багатовимірних векторів. При цьому в ході навчання модифікується не тільки нейрон-переможець, але й його сусіди в меншій мірі. За рахунок цього SOM можна вважати одним з методів проекціювання багатовимірного простору простір з меншою розмірністю, Вектори схожі у вихідному просторі, виявляються поруч і на отриманій карті. Величина взаємодії визначається відстанню між нейронами на карті (див. рисунок)

3. Мережа зустрічного поширення (Counterpropogation)

Рік розробки: 1986. Автор: Хетч-Нильсен. Галузь застосування: Стиск даних оцінка, ефективності капіталовкладень.

Опис: Має два шари з послідовними зв’язками: шар Кохонена (навчається без учителя методом змагання) і шар Гроссенберга (навчається із учителем, використовуючи бажані значення виходів).

4. Мережа зворотного поширення помилки (Backpropogation)

Рік розробки: 1974. Автор: Вербос, Паркер, Румельхард. Галузь застосування: Синтез мови, адаптивний контроль руху роботів, оцінка ефективності капіталовкладень.

Опис: Нульовий шар виконує розподільні функції. Вхідний сигнал проходить через нього до нейронів прихованого шару. І кожен нейрон наступних шарів видає сигнали у_і і помилки δ_і=y_i-d_i, де d_i ідеальне значення вихідного сигналу.