Тикунов В. С. Геоинформатика. Основы создания нейронных сетей. Типы технических нейросетей.

Скачать полную версию учебника (с рисунками, формулами, картами, схемами и таблицами) одним файлом в формате MS Office Word Скачать книгу

4.2. Нейронные сети и ГИС

Основы создания нейронных сетей. Современные компьютеры устроены по так называемой схеме фон-Неймана, реализующей быстрые последовательности большого числа бинарных операций. Видимо, такой подход отчасти был обусловлен структурой математики первой половины XX в., когда высшие разделы математики опирались на арифметику, а последняя — на бинарную логику. Понятно, что если бы за основу было взято что-то иное, а не булева алгебра, могли бы получиться существенно иные компьютеры.
В качестве основной альтернативы подходу Дж. фон-Неймана обсуждалась ориентация на воспроизведение принципов работы биологических нейронных сетей. Примерно в те же годы, что и первый компьютер, была создана первая нейроподобная система — персептрон Розенблатта. Некоторое время оба направления — Дж. фон-Неймана и Ф. Розенблатта — развивались независимо, затем персептронное направление пережило кризис и возродилось уже в 80-е годы под именем нейронных сетей, при этом на новом этапе бинарнологический и бионический принципы стали сочетаться. Интересно, что кризис бионического направления во многом был обусловлен не техническими сложностями и не отсутствием приложений, а содержательным математическим рассмотрением, проведенным М. Минским и С.Пейпертом, — они показали, что не существует персептрона, способного надежно определять топологические характеристики образа, такие, как связность, и этого оказалось достаточно для резкого падения первоначального энтузиазма. Любопытно также, что и возрождение энтузиазма было связано не с опровержением выводов Минского и Пейперта, а просто с формированием обширной ориентированной на приложения сферы деятельности. Впрочем, в последние годы появились некоторые приложения нейроподобных алгоритмов и к задачам топологии. Сопоставление машины фон-Неймана и биологической нейронной сети приведено в табл. 4.1.

Таблица 4.1. Сопоставление машины фон-Неймана и биологической нейронной сети (доступно при скачивании полной версии книги)

Более конкретные характеристики мозга человека: кора головного мозга образована нейронами поверхностью толщиной от 2 до 3 мм и площадью около 2,2 дм кв, содержит около 1011 нейронов, каждый нейрон связан с 103-104 другими нейронами.
Нейроны взаимодействуют посредством короткой серии импульсов, как правило, продолжительностью несколько миллисекунд. Сообщение передается посредством частотно-импульсной модуляции. Частота может изменяться от нескольких единиц до сотен герц, что в миллион раз медленнее, чем самые быстродействующие переключательные электронные схемы. Тем не менее достаточно сложные решения по восприятию информации человек принимает за несколько сотен миллисекунд.
Сопоставим биологический нейрон с наиболее часто рассматриваемой схемой технического нейрона (рис. 44).

Рис. 44. Сравнение технического и биологического нейронов (доступно при скачивании полной версии книги)

Оба типа нейронов реагируют на воздействие со стороны многих нейронов, в зависимости от величины связей с этими нейронами. В отличие от технических нейронов, реакция биологического нейрона всегда неотрицательна, причем, если воздействие на него не достигло критического уровня, то реакции нет. Возможно, что с этим связано одно из наиболее очевидных отличий биологических нейронных сетей от существующих в настоящее время нейропрограмм — один и тот же мозг, в зависимости от того, какие нейроны «молчат», может работать весьма различным образом, это выглядит так, как будто мозг — «склад» процессоров, которые по-разному соединяются при разных задачах. Аппаратное обеспечение, реализующее технические нейроны, постепенно усложнялось — сначала это были релейные схемы, сейчас, например, операционные усилители, но чаще всего — эмуляция в обычном компьютере. Характеризуя вычислительную мощность, можно отметить, что по экспертным оценкам современные ПК могут моделировать уровень нервной системы сложных червей, лучшие нейросетевые спецпроцессоры — уровень мухи.
Если рассматривать биологические нейронные сети, то для них существует принципиальное внутреннее деление: нейронные сети могут реализовывать либо рефлекторное поведение, либо мышление. Нейрофизиологически рефлекторному поведению соответствует относительно короткий всплеск процессов в ответ на внешнее воздействие с последующим возвращением в спокойное состояние, а мышлению — длительная работа сети, нередко с весьма умеренным, но постоянным уровнем возбуждения мозга, при этом внешние воздействия скорее мешают. В технических системах воспроизводят в основном рефлекторное поведение, хотя возможно, что некоторые нейроалгоритмы, решающие «внутренне сложные» задачи, могут сопоставляться и с процессами мышления.

Типы технических нейросетей. В литературе заметное внимание уделяется вопросам архитектуры технических нейронных сетей, приведем вариант соответствующей классификации схем (рис. 45).

Рис. 45. Типы технических нейросетей (доступно при скачивании полной версии книги)

Более принципиальным является разбиение нейроалгоритмов на два класса — Supervised (обучающиеся по образцу, с учителем) и Unsupervised (обучающиеся без образца, без учителя). В первом случае обучение организовано как воспроизведение набора правильных образцов (обучающей выборки), после чего сеть может адекватно реагировать и на примеры, которых не было в обучающей выборке, во втором случае образцы правильной реакции исходно отсутствуют. В части русскоязычной литературы утвердились термины «обучение с учителем» и «обучение без учителя», что не является точным переводом с английского и не вполне точно по нормам русского языка. Видимо, нейросети, обучающиеся по образцу, неплохо воспроизводят рефлекторное поведение. Нейросети, обучающиеся без образца, быть может, иногда моделируют более интересную вещь — мышление, однако делают это несравненно менее успешно.
Нейросети, обучающиеся по образцу, произошли от персептронов и в современной трактовке могут рассматриваться как варианты и модификации сетей с обратным распространением ошибки (иногда как результат примитивизации такого рода сетей, в целях упрощения реализации). К этому классу можно отнести, например однослойный и многослойный перцептроны, машину Больцмана, сети, обучающиеся по правилу Хебба, рекуррентные слоистые и полносвязные сети обратного распространения ошибки, сети, использующие радиальные базисные функции. Различия между указанными системами порой достаточно велики, но всегда есть немало общего, а детали классификации различаются у разных авторов. Нейросети, обучающиеся без образца, более разнообразны, хотя стоящая за ними теория математически порой более примитивна — это карты Кохонена, системы с множественными локально устойчивыми состояниями, такие как сеть Хопфилда, сети, настраивающиеся на основе адаптивного резонанса. Прямые аналогии между данными классами не просматриваются, хотя часто исходно имеются необработанные данные, а в итоге возникают их образы, построенные в ходе работы нейросети, либо сама сеть, меняя свою структуру, моделирует образы данных. В живой природе есть аналоги и этому — строились карты возбуждения участков коры мозга в зависимости от возбуждения участков тела, получившие названия «гомункулусов», оттого, что на этих картах формируется узнаваемый образ человека, только ладони, например, получаются увеличенными, а спина — уменьшенной.
Наконец, разрабатываются, хотя и не нашли широкого применения, комбинированные подходы. Идеология такого комбинирования заставляет вспомнить лозунг «человека создал труд». За основу здесь берется алгоритм обучения по образцу, произвольно устанавливающий некое первоначальное, можно сказать «абстракционистское», соответствие между «сырыми данными» и «обработанными данными». Затем «обработанные данные» меняются в ходе внешней «трудовой деятельности» с учетом «свойств материала», так что соответствие улучшается. Устанавливается новое соответствие между исходными и обработанными данными, вновь меняются обработанные данные и так далее. В итоге нейросеть порождает, с одной стороны, «художественный образ» ситуации, а с другой — собственный навык быстрого, как бы рефлекторного, соотнесения реальных данных и их образов. Например, так можно проверять связность образа данных — если «природа материала» не позволяет ему изменять связность, а вышеобозначенный подход работает, то значит и у образа данных связность та же. Этот пример дан для того, чтобы напомнить о кризисе нейросетевого подхода, имевшем место до 80-х годов, в связи с пессимизмом по части возможностей использования нейроалгоритмов в задачах топологии.

В заключение укажем задачи, которые принято относить к чаще всего рассматриваемым в рамках нейросетевого подхода:
• обучение по образцу — классификация образов, аппроксимация функций, предсказание, управление, анализ данных, категоризация внутри класса, сжатие данных;
• обучение без образца — категоризация, категоризация внутри класса, анализ данных, сжатие данных, ассоциативная память.

Скачать полную версию учебника (с рисунками, формулами, картами, схемами и таблицами) одним файлом в формате MS Office Word Скачать книгу