DisCollection.ru

Авторефераты и темы диссертаций


Математическое моделирование физико-технических объектов на основе структурной и параметрической адаптации искусственных нейронных сетей

Тархов Дмитрий Альбертович, 11.03.2006

 

В пятом параграфе первой главы поставлена задача построения робастной математической модели по разнородным данным, включающим как уравнения, так и экспериментальные наблюдения. При этом уравнения могут быть как обыкновенными дифференциальными, так и в частных производных, интегральными, интегро-дифференциальными и т.д. Построение модели может сводиться к решению краевой задачи, а может состоять в подборе уравнения и решения по экспериментальным данным. К исследованию упомянутых выше задач найдены различные аналитические и численные подходы (метод сеток, конечных элементов, граничные интегральные уравнения, асимптотические разложения и др.). Однако это не мешает рассматривать использование нейронных сетей в качестве новой и более перспективной (в силу своей универсальности) методологии решения как старых, так и новых задач такого типа. Проверить работоспособность предлагаемых подходов нужно в процессе решения разнообразных практических задач.

В шестом параграфе описаны некоторые методы глобальной оптимизации. Обычно применяемые для обучения нейронных сетей алгоритмы являются локальными, т.е. позволяют найти только локальный минимум. Так как функция ошибки в большинстве случаев многоэкстремальная, локальные методы обычно не позволяют найти наилучшее решение исходной задачи. Для того, чтобы приблизится к такому решению, требуется применить процедуру, позволяющую найти приближённый глобальный минимум. Трудность в изучении алгоритмов глобальной оптимизации состоит в том, что либо их сходимость не доказана, либо теоретические оценки показывают крайне низкую их эффективность в задачах большой размерности, т.е. таких, которые нас интересуют. Ставится вопрос о создании алгоритмов, более приспособленных к обучению нейронных сетей, т.е. работоспособных в ситуации, когда число подбираемых переменных (весов сети) составляет сотни и тысячи.

Наступление эпохи Интернет привело к тому, что многие методы и парадигмы вычислений оказались устаревшими, а на первый план выходят совсем другие. Одной из таких парадигм, актуальность которой со временем будет только возрастать, являются распределённые вычисления. Под распределёнными вычислениями подразумеваются процессы решения одной задачи на нескольких (многих) компьютерах, сообщающихся между собой через Интернет. В данном параграфе анализируется специфика задачи более конкретно, применительно к нейронным сетям.

Предыдущие виды нейронных сетей не отражают в достаточной степени адекватно процессы, происходящие в мозге. Для математического моделирования этих процессов в работах по нейронным сетям применяются и другие типы сетей, например, в виде системы из нескольких связанных осцилляторов, совершающих квазипериодические колебания. Эта модель тоже не является идеальной, хотя бы потому, что мозг это целостная система, состоящая из миллиардов нейронов. Поэтому более адекватным представляется рассмотреть систему из бесконечного множества осцилляторов, связи между которыми ослабевают при переходе от одной группы к другой. При этом место квазипериодических колебаний занимают почти периодические колебания с бесконечным базисом частот. В седьмом параграфе первой главы ставится задача заложить основы такой теории.

Представленные выше методы могут привести к созданию распределённой по Интернет интеллектуальной системы, способной решать разнообразные задачи моделирования. Перспективы создания такой системы обсуждаются в восьмом параграфе первой главы. В качестве первого шага ставится задача создания нейроэмулятора на языке JAVA 2, реализующего созданные автором алгоритмы.

Для дальнейшего развития теории построения и обучения нейронных сетей в задачах математического моделирования физико-технических объектов необходимо решить следующие вопросы:

Можно ли на базе стандартных видов нейронных сетей образовать новые их виды, более подходящие для некоторых задач моделирования?

Как удачным образом подобрать начальные веса сети в связи с тем, что известна сильная зависимость процесса оптимизации от выбора начального приближения?

Как выбрать структуру сети или организовать процесс модификации структуры во время обучения в зависимости от решаемой задачи моделирования?

Ответам на эти вопросы посвящена вторая глава диссертации. Главная задача данной главы состоит в создании единой методологии определения структуры и весов нейронных сетей в процессе решения широкого круга задач математического моделирования. Отсутствие такой методологии является серьёзным препятствием, затрудняющим практическое использование нейронных сетей и заставляющим многих исследователей заново разрабатывать подходы к решению каждой конкретной задачи. В качестве примеров основе данной методологии разработан ряд новых методов и алгоритмов:

Генетический метод определения структуры многослойного персептрона и реализующий его алгоритм.

Генетический метод определения структуры сети прямого распространения с частичной структурой связей и реализующий его алгоритм

Генетический метод определения структуры сети Кохонена и реализующий его алгоритм.

Двойной генетический метод построения коллектива нейронных сетей и реализующий его алгоритм

Метод построения RBF – сети, основанный на кластеризации ошибок и главных компонентах и реализующий его алгоритм

Метод построения коллектива RBF-сетей и реализующий его алгоритм

Метод построения системы вложенных сетей и реализующий его алгоритм

Генетический метод определения структуры сети прямого распространения с временными задержками и частичной структурой связей и реализующий его

Блочный генетический метод определения структуры сети прямого распространения с временными задержками и частичной структурой связей и реализующий его алгоритм

Метод обучения сети Кохонена в случае кластеров, следующих друг за другом и реализующий его алгоритм

Метод сопоставления нейронов сети Кохонена в разные моменты времени и реализующий его алгоритм

Генетический метод построения коллектива нейронных сетей прямого распространения с временными задержками и реализующий его алгоритм

Двойной генетический метод построения коллектива нейронных сетей прямого распространения с временными задержками и реализующий его

Метод кластеризации ошибок для известных моментов событий и реализующий его алгоритм

Метод кластеризации ошибок для неизвестных моментов событий и реализующий его алгоритм

Метод построения коллектива динамических RBF-сетей и реализующий его

Метод последовательной метод динамической кластеризации с прогнозом и реализующий его алгоритм

Генетический метод определения структуры сети с обратными связями по набору выборок и реализующий его алгоритм

Метод моделирования неизвестного объекта и реализующий его алгоритм

Генетический метод определения структуры сети с обратными связями по пополняемой выборке и реализующий его алгоритм

Генетический метод определения структуры сети Хопфилда и реализующий его

Многорядный метод определения структуры сети Хемминга и реализующий его

Многорядный метод определения структуры сети Коско и реализующий его

Метод выращивания сети Джордана для моделирования неизвестного объекта и реализующий его алгоритм

Разработаны особые способы применения данных алгоритмов к различным задачам математического моделирования.

В первом параграфе второй главы решается задача построения статической нейронной сети прямого распространения по статической выборке. Анализируются известные и новые подходы к определению начальных значений весов сети, метод главных компонент предварительной настройки многослойного персептрона, процедуры добавления и удаления нейрона и слоя сети. На основе этих процедур строится генетический алгоритм определения структуры многослойного персептрона. При этом для задания работы генетического алгоритма необходимо ввести основные операции – мутации, транслокации и скрещивание, а также определить критерии отбора сетей в следующее поколение. Варианты таких операций определяются в естественных для нейронных сетей терминах, и строятся алгоритмы построения нейронных сетей на их основе. Рассмотренная в третьем параграфе первой главы конструкция сети с частичной структурой связей позволяет удобным образом строить генетический алгоритм подбора её архитектуры.

. Параметры моделей подбираются с помощью какого-либо алгоритма оптимизации функционала ошибки. При этом для каждой выходной переменной в выборке на каждом ряду строится свой набор моделей. Если нет оснований считать выходы рассматриваемой модели связанными, тогда эти наборы в дальнейшем не смешиваются и для каждой выходной переменной строится своя сеть. Если мы считаем выходы зависимыми (т.е. подчиняющимися какой-то общей закономерности), то на каждом ряду селекции переменные смешиваются, т.е. в отбор включаются линейные комбинации переменных, отобранные и по разным выходам.

Кроме того, в данном параграфе приведён двойной генетический алгоритм построения коллектива нейронных сетей, суть которого состоит в генетическом алгоритме разбиения выборки на кластеры и генетическом алгоритме построения сети для каждого кластера.

Во втором параграфе данной главы строятся алгоритмы определения структуры сетей Кохонена и Гроссберга. В частности, приведён генетический алгоритм, при этом основные операции определяются естественным для данных сетей образом, и приводится многорядный алгоритм определения структуры сети Кохонена с различными вариантами реализации генетических операций.

- вектор на единичной сфере.