Оглавление

Предисловие 3
Профессор, Lotfi A. Zadeh
Университет Беркли, штат Калифорния 3
Профессор, Robert Hecht-Nielsen
Вычислительная нейробиология, Институт нейронных вычислений
и факультет ЕСЕ Университета Калифорнии, Сан Диего 6
Профессор Shun-ichi Amari
директор RIKEN Brain Science Institute,Токио) 9

Введение 10

Раздел 1. Структура нейронных сетей 51

Глава 1. От логического базиса булевых элементов И, ИЛИ, НЕ
к пороговому логическому базису 51
1.1. Линейный пороговый элемент (нейрон) 51
1.2. Многопороговая логика 54
1.3. Непрерывная логика 55
1.4. Частные виды функций активации 56

Глава 2. Качественные характеристики архитектур
нейронных сетей 60
2.1. Частные типы архитектур нейронных сетей 60
2.2. Многослойные нейронные сети с последовательными
связями 62
2.3. Структурное и символическое описание многослойных
нейронных сетей 65

Глава 3. Оптимизация структуры многослойных нейронных сетей
с перекрестными связями 72
3.1. О критерии сложности задачи 72
3.2. Одномерный вариант нейронной сети с перекрестными
связями 73
3.3. Вывод верхней и нижней оценки количества областей 75
3.4. Частная задача оптимизации 78
3.5.Оптимизация структуры по некоторым основным
топологическим характеристикам 81
3.6. Оптимизация структуры многослойных нейронных
cетей с Kр решениями 85

Глава 4. Континуальные нейронные сети 89
4.1. Нейроны с континуумом признаков на входе 89
4.2. Континуум нейронов в слое 90
4.3. Континуум нейронов слоя и дискретное множество
признаков 91
4.4. Классификация континуальных моделей слоя
нейронов 92
4.4.1. Дискретное множество нейронов 92
4.4.2. Одномерное и двумерное m2 пространство
признаков 93
4.4.3.Континуум признаков. Одномерное m1, для нескольких
каналов 94
4.4.4. Континуум признаков. Двумерное m1 95
4.4.5. Слой нейронов с континуумом выходных значений 95
Раздел 2. Оптимальные модели нейронных сетей 98

Глава 5. Исследование характеристик входных сигналов 98
5.1. Постановка задачи 98
5.2. Совместный закон распределения вероятностей
входного сигнала для двух классов образов 100
5.3. Совместный закон распределения вероятностей
входного сигнала для K классов образов 107

Глава 6. Построение оптимальных моделей нейронных сетей 112
6.1. Общая структура оптимальной модели 112
6.2. Аналитическое представление разделяющих
поверхностей в типовых нейронных сетях 114
6.3. Оптимальная модель нейронной сети для многомерных
сигналов е(n) у (n) 138
6.4. Априорная информация о входном сигнале нейронной
сети в режиме самообучения 141
6.5. О критериях первичной оптимизации нейронной сети
в режиме самообучения 143
6.6. Оптимальные модели нейронной сети в режиме
самообучения и при произвольной квалификации учителя 145

Глава 7. Анализ разомкнутых нейронных сетей 151
7.1. Законы распределения аналоговой и дискретной ошибок
нейронной сети 151
7.1.1. Нейрон с двумя решениями 151
7.1.2. Нейрон с континуумом решений 154
7.1.3. Анализ нейрона с Кр решениями 156
7.1.4. Анализ системы распознавания образов с нелинейной
разделяющей поверхностью 158
7.2. Выбор функционала вторичной оптимизации 160
7.3. О выборе функционала вторичной оптимизации
в системе «Адалин» 162
7.4. Формирование функционалов вторичной оптимизации,
соответствующих заданному критерию первичной оптимизации 164
7.4.1. Критерий минимума средней функции 164
7.4.2. Критерий минимума R при условии равенства р1r1 = р2r2 165
7.4.3. Критерий минимума R при условии ptrt= a = const 166
7.5. Континуальные модели нейронной сети 167
7.5.1. Нейронная сеть с континуумом решений:
два класса образов 168
7.5.2. Нейронная сеть с континуумом решений:
континуум классов образов 170
7.5.3. Нейронная сеть с Кр решениями; К классов образов 171
7.5.4. Нейронная сеть с N*-выходными каналами;
К0 градаций сигнала по каждому классу 172
7.5.5. Нейронные сети с N*-выходными каналами;
континуум решений нейронных сетей 172
7.6. Нейронная сеть в режимах самообучения
и при произвольной квалификации учителя 173

Глава 8. Поиск экстремума функций многих переменных 175
8.1. Организация процедуры поиска экстремума функционала
вторичной оптимизации в многослойных нейронных сетях 175
8.2. Анализ итерационного метода поиска экстремума функций
многих переменных 176
8.3. О методе стохастической аппроксимации 179
8.4. Итерационные методы поиска экстремума функций многих
переменных при наличии ограничений типа равенств
на переменные 179
8.4.1. Алгоритм поиска 180
8.4.2. Анализ матрицы вторых производных функции Лагранжа 181
8.4.3. Оптимальность по быстродействию итерационной
процедуры поиска экстремума при ограничениях типа равенств 182
8.4.4. Оптимальность по быстродействию при ограничениях (8.6) 182
8.4.5. Случай ограничений типа равенств, решаемых
относительно переменных 183
8.4.6. Устойчивость итерационного процесса
при ограничениях типа равенств 184
8.4.7. Сходимость итерационного метода поиска
при ограничениях типа равенств 185
8.5. Итерационные методы поиска экстремума функций многих
переменных при наличии ограничений типа неравенств
на переменные 186
8.5.1. Условия оптимальности 186
8.5.2. Алгоритм поиска экстремума при наличии
ограничений типа неравенств 187
8.6. Алгоритм случайного поиска локальных и глобального
экстремумов функций многих переменных 188
8.7. Построение алгоритмов адаптации в многослойных нейронных
сетях с использованием оценок производных второго
порядка функционала вторичной оптимизации 190
8.7.1. Построение алгоритмов поиска 190
8.7.2. Одномерный случай 193
Раздел 3. Адаптивные нейронные сети 196

Глава 9. Алгоритмы настройки нейронных сетей 196
9.1. Постановка задачи 196
9.2. Нейрон с двумя и континуумом решений 197
9.3. Двухслойные нейронные сети 201
9.4. Многослойные нейронные сети из нейронов с континуумом
решений 204
9.5. Построение нейронных сетей, настраивающихся
по замкнутому циклу при ограничениях на переменные 204
9.6. Реализация критериев первичной оптимизации в нейронах
с двумя решениями 208
9.7. Реализация критерия минимума средней функции риска
в нейронах с континуумом и Kp решениями 210
9.8. Реализация критерия минимума средней функции риска
в нейронных сетях с N" выходными каналами (слой нейронов) 212
9.9. Реализация критерия минимума средней функции риска
в многослойных нейронных сетях 214
9.10. Построение замкнутых нейронных сетей
нестационарных образов 216
9.11. Построение нейронных сетей с перекрестными
и обратными связями, настраивающихся по замкнутому циклу 219
9.12. Построение замкнутых нейронных сетей в режимах
самообучения и произвольной квалификации учителя 221
9.13. Вывод выражений для оценок производных второго
порядка функционала вторичной оптимизации 223

Глава 10. Настройка континуальных нейронных сетей 226
10.1. Настройка нейрона с континуумом признаков 227
10.2. Настройка слоя, состоящего из континуума нейронов 227
10.3. Выбор параметрической матрицы для процедуры обучения
континуального слоя нейронов на основе данных
случайных выборок 227
10.4. Выбор параметрической функции K*(I,j) на основе
данных случайных выборок для процедуры обучения
нейрона с континуумом признаков 230
10.5. Особенности алгоритма настройки континуальной
двухслойной нейронной сети 233
10.6. Три варианта реализации весовых функций
континуального слоя нейронов и соответствующие
им процедуры обучения 233
10.7. Алгоритм обучения двухслойной континуальной нейронной
сети с функционалом вторичной оптимизации
а2g (в пространстве пяти признаков) 236
10.7.1. Алгоритм обучения второго слоя (нейрон
с континуумом признаков) 237
10.7.2. Алгоритм обучения первого слоя (континуальный слой
нейронов) 238
10.8. Континуальный слой нейронов с кусочно-постоянными
весовыми функциями 238
10.8.1. Разомкнутая структура слоя 238
10.8.2. Рекуррентная процедура настройки кусочно-
постоянных весовых функций 240
10.8.3. К вопросу об оценке матрицы K*(i) 241
10.9. Континуальный слой нейронов с кусочно-линейными
весовыми функциями 241
10.9.1. Разомкнутая структура слоя нейронов 241
10.9.2. Рекуррентная процедура настройки кусочно-линейных
весовых функций 242
10.10. Континуальный слой нейронной сети с кусочно-
постоянными весовыми функциями (случай фиксированных
величин «ступенек») 244
10.10.1 Разомкнутая структура слоя 244
10.10.2. Рекуррентная процедура настройки кусочно-постоянных
весовых функций с изменяемыми длинами отрезков s 245

Глава 11. Выбор начальных условий при настройке нейронных сетей.
Типовые входные сигналы многослойных нейронных сетей 247
11.1. О методах выбора начальных условий 247
11.2. Алгоритм детерминированного выбора начальных условий
в алгоритмах настройки многослойных нейронных сетей 248
11.3. Выбор начальных условий в многослойных нейронных сетях 251
11.4. Формирование начальных условий для настройки
коэффициентов нейронных сетей в различных задачах
оптимизации 256
11.4.1. Системы линейных уравнений 257
11.4.2. Системы линейных неравенств 258
1.4.3. Аппроксимация и экстраполяция функции 258
11.4.4. Распознавание образов 259
11.4.5 Кластеризации 261
11.4.6. Задача коммивояжера 262
11.4.7. Моделирование динамических систем 262
11.4.8. Заключение 263
11.5. Типовые входные сигналы многослойных нейронных сетей 263

Глава 12. Исследование замкнутых многослойных нейронных сетей 266
12.1. Постановка задачи синтеза контура настройки
многослойных нейронных сетей по замкнутому циклу 266
12.2. Исследование нейрона при многомодальном распределении
входного сигнала 267
12.2.1. Одномерный случай; поисковый алгоритм настройки 267
12.2.2. Многомерный случай. Аналитический алгоритм
настройки 271
12.3. Исследование динамики частного вида нейронных сетей
для распознавания нестационарных образов 277
12.4. Исследование динамики трехслойной нейронной сети
в режиме обучения 283
12.5. Исследование нейронной сети частного вида с обратными
связями 288
12.6. Исследование динамики однослойных нейронных сетей
в режиме самообучения 293
12.6.1. Нейронная сеть с поиском центров мод
распределения f(x) 293
12.6.2. Нейронная сеть с N* выходными каналами 297
12.6.3. Нейрон с K решениями 301
12.7. Двухслойная нейронная сеть в режиме самообучения 302
12.8. О некоторых инженерных методах выбора параметров
матриц в алгоритмах настройки многослойных
по замкнутому циклу 312
12.9. Построение многослойной нейронной сети для решения
задачи обращения матрицы 313
12.10. Построение многослойной нейронной сети для
решения задачи перевода чисел из двоичной системы
исчисления в десятичную 316
12.11. Исследование многослойной нейронной сети
при произвольной квалификации учителя 318
12.12. Аналитические методы исследования нейронных
сетей, настраивающихся по замкнутому циклу 319

Глава 13. Синтез многослойных нейронных сетей с переменной
структурой 332
13.1. Последовательный алгоритм обучения нейронов
первого слоя многослойной нейронной сети 332
13.2. Алгоритм обучения нейронов первого слоя
многослойной нейронной сети с применением метода
случайного поиска локальных и глобального
экстремумов функций 337
13.3. Анализ сходимости алгоритмов при увеличении
числа гиперплоскостей 341
13.4. Алгоритм обучения нейронов второго слоя
двухслойной нейронной сети 344
13.4.1. Условие реализуемости логической функции (у)
на одном нейроне 344
13.4.2. Синтез нейрона методом минимизации функционала 347
13.4.3. Синтез нейрона по таблицам пороговых функций 352
13.5. Алгоритм обучения второго и третьего слоев
нейронов трехслойной нейронной сети 353
13.6. Общая методика последовательного синтеза
многослойных нейронных сетей 356
13.7. Метод обучения нейронов первого слоя многослойной
нейронной сети с континуумом признаков 357
13.8. Использование алгоритма настройки многослойных
нейронных сетей с переменной структурой для решения
задачи выбора начальных условий 357
13.9. Об алгоритме самообучения многослойных нейронных
сетей с переменной структурой 359

Глава 14. Выбор информативных признаков в многослойных
нейронных сетях 360
14.1. Постановка задачи выбора информативных признаков
в режиме обучения 360
14.2. О структурных методах выбора информативных признаков
в многослойных нейронных сетях с фиксированной структурой 363
14.3. Выбор информативных признаков исходного пространства
с помощью многослойных нейронных сетей с последовательными
алгоритмами настройки нейронов первого слоя 366
14.4. Минимизация числа нейронов 368
14.5. О выборе информативных признаков в многослойных
нейронных сетях в режиме самообучения 370
Раздел 4. Надежность и диагностика нейронных сетей 372

Глава 15. Надежность нейронных сетей 372
15.1. Методы исследования функциональной надежности
нейронных сетей 372
15.2. Исследование функциональной надежности
восстанавливающих органов, выполненных в виде многослойных
нейронных сетей 375
15.3. Исследование функциональной надежности многослойных
нейронных сетей 378
15.4. Исследование параметрической надежности нейронных
сетей 380
15.5. Исследование функциональной надежности многослойных
нейронных сетей при наличии катастрофических отказов 390

Глава 16. Диагностика нейронных сетей 395
16.1. Граф состояний нейронной сети. Основные понятия
и определения 397
16.2. Алгоритм локализации отказов в нейронных сетях 398
16.3. Алгоритм построения минимального теста для отказов
типа логических констант на выходах нейронов 409
16.4. Метод адаптивной диагностики отказов в нейронных сетях 411
Раздел 5. Резюме 420

Глава 17. Методика решения задач в нейросетевам
логическом базисе 420
17.1. Нейроматематика – новый перспективный раздел
вычислительной математики 420
17.2. Теория нейронных сетей – логический базис разработки
нейросетевых алгоритмов решения задач 423
17.3. Выбор задач, адекватных сетевому логическому базису 424
17.4. Общая структура пакета программ решения задач
в нейросетевом логическом базисе 430
17.5. Многослойные нейронные сети с переменной структурой 432
17.6. Нейронная сеть с фиксированной структурой 437
17.6.1. Формирование входного сигнала нейронной сети 437
17.6.2. Формирование выходного сигнала многослойной
нейронной сети 441
17.6.3. Формирование критериев первичной оптимизации 441
17.6.4. Выбор структуры разомкнутой нейронной сети 442
17.6.5. Примечания к выбору структуры разомкнутой
нейронной сети в соответствии с классом решаемых задач 443
17.6.6. Примечания к выбору функции активации 445
17.6.7. Выбор структуры многослойных нейронных сетей
в соответствии с технологией аппаратной реализации 445
17.6.8. Формирование функционала вторичной оптимизации
в многослойных нейронных сетях 447
17.6.9. Формирование алгоритма поиска экстремума
функционала вторичной оптимизации 447
17.6.10. Формирование алгоритмов адаптации в многослойных
нейронных сетях 452
17.7. Верификация настроенной многослойной нейронной сети 453
17.8. Разработка плана экспериментов 454
17.9. О важности проблемы унификации обозначений в процессе
синтеза алгоритмов настройки нейронных сетей 456
17.10. О мифах на пути теории нейронных сетей 456
17.11. Заключение 457

Общее заключение 467

Приложение. Научные работы – основа данной монографии 469