Алгоритм навчання Хебба. Алгоритм навчання Кохонена. Алгоритм навчання процедурою зворотного поширення помилки

1. ПРОЦЕС НАВЧАННЯ

Найпростіші ШНМ ітеративного типу (одношаровий перцептор, Адалін) в процесі навчання почергово модифікують ваги синапсів. Період коригування всіх синапсів ШНМ називають епохою. Перед початком навчання необхідно певним чином задати вагу синапсів. При введенні запам’ятованого стимулу з’являється реакція нейронів рецепторного шару. Коли утворена хвиля досягає ефекторів, знаходять величину помилки – різниці між отриманим та бажаним значенням реакції ШНМ. Значення помилки використовується для коригування ваги синапсів, що полягає в невеликому (<1%) збільшенні ваги тих синапсів, що посилюють правильні реакції, та зменшенні тих, що сприяють помилковим. Однак ШНМ з таким алгоритмом навчання здатен розпізнавати лише вузький клас лінійно розділених стимулів. Для складніших задач використовують ШМН з прихованими шарами нейронів і відповідно складніші алгоритми навчання.

2. АЛГОРИТМ НАВЧАННЯ ХЕББА

Сигнальний метод навчання Хебба полягає в зміні ваги за таким правилом:

                                                                  ,    (2.1)

де  – вихідне значення нейрона і шару (п–1),  – вихідне значення нейрона j шару (п),  і  – ваговий коефіцієнт сина пса, що з’єднує ці нейрони в ітераціях t i t-1 відповідно; η –коефіцієнт швидкості навчання. Тобто при навчанні за цим методом підсилюються зв’язки між збудженими нейронами.

Диференційний метод навчання Хебба базується на наступному правилі:

                                                                                                                (2.2)

де  і  – вихідне значення нейрона і шару (п–1) в ітераціях t i t-1 відповідно,  і  – аналогічно для нейрона j шару (п). Тобто сильніше навчаються синапси, що з’єднують ті нейрони, виходи яких найбільш динамічно змінилися убік збільшення.

Повний алгоритм навчання Хебба має вигляд:

a)  На стадії ініціалізації усім ваговим коефіцієнтами присвоюються невеликі випадкові значення.

b)  На входи ШНМ подається вхідний образ, і сигнали збудження поширюються по всіх шарах, тобто для кожного нейрона розраховується зважена сума його вході, до якої потім застосовується активаційна (передатна) функція нейрона, у результаті чого отримується його вихідне значення , j=0..М_j-1, де М_j – число нейронів у шарі j, n = 0.. N-1, а N – число шарів у мережі.

c)  На підставі отриманих значень вхідних сигналів нейронів за (2.1) або (2.2) модифікуються ваги.

d)  Якщо вихідні значення ШНМ не за стабілізувалися з заданою точністю, перейти крок b).

На кроці b) поперемінно пред’являються всі образи з вхідного набору.

ШМН після навчання здатна узагальнювати схожі образи, відносячи їх до одного класу, що дозволяє визначити топологію самих класів у вихідному шарі. Для приведення відгуків ШНМ до зручного представлення її доповнюють ще одним шаром, що відображає вихідні реакції в необхідні образи, наприклад, за алгоритмом навчання одношарового перцептрона.

3. АЛГОРИТМ НАВЧАННЯ КОХОНЕНА

Цей алгоритм навчання без учителя передбачає підстроювання синапсів на підставі їхніх значень на попередній ітерації:

                                                           .                                                                                      (3.1)

Навчання зводиться до мінімізації різниці між вхідними сигналами нейрона, що надходять з виходів нейронів попереднього шару , і ваговими коефіцієнтами його синапсів.

Повний алгоритм навчання має приблизно таку ж структуру, як і у методах Хебба, але на кроці с) з усього шару вибирається нейрон, значення синапсів якого максимально схожі з вхідним образом, і модифікація ваги (3.1) проводиться тільки для нього. При цьому всі інші нейрони шару можуть гальмуватися. Іноді нейрони, що занадто часто „перемагають”, примусово виключаються з розгляду, щоб „зрівняти права” усіх нейронів шару. (Наприклад, включається нейрон, який тільки що „переміг”).

Для SOM після вибору із шару п нейрона j навчаються за (3.1) не тільки він, але й його сусіди, що розташовані в околиці R. Величина R на перших ітераціях дуже велика, тобто навчаються всі нейрони, але з часом вона зменшується до нуля, визначаючи групу нейронів , що відповідають кожному класу.

4. АЛГОРИТМ НАВЧАННЯ ПРОЦЕДУРОЮ ЗВОРОТНОГО ПОШИРЕННЯ ПОМИЛКИ

Даний алгоритм використовує певну зовнішню ланку, що надає ШНМ, крім вхідних, і цільові вихідні образи, які створюються на попередньому етапі для кожного вхідного образу експертами. Тому такі алгоритми називаються алгоритмами навчання з учителем.