Сравнительный анализ радиально базисной нейронной сети и сети типа — многослойный персепторн на примере прогнозирования объема экспорта

Актуальность данной тематики продиктована поиском адекватных моделей нейронных сетей (НС), определяемые типом и структурой НС, для задач прогнозирования. В ходе исследования установлено, что радиальные базисные сети (RBF) обладают рядом преимуществ перед сетями типа многослойных персептрон (MLP). Во-первых, они моделируют произвольную нелинейную функцию с помощью одного промежуточного слоя. Тем самым отпадает о числе слоев. Во-вторых, параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью известных методов моделирования, которые не испытывают трудностей с локальными минимумами, мешающими при обучении MLP. Поэтому сеть RBF обучается очень быстро (на порядок быстрее MLP)

С другой стороны, до того как применять линейную оптимизацию в выходном слое сети RBF, необходимо определить число радиальных элементов, положение их центров и величины отклонений. Для устранения этой проблемы предлагается использовать автоматизированный конструктор сети, который выполняет за пользователя основные эксперименты с сетью.

Другие отличия работы RBF от MLP связаны с различным представлением пространства модели: «групповым» в RBF и «плоскостным» в MLP. Опыт показывает, что для правильного моделирования типичной функции сеть RBF, с ее более эксцентричной поверхностью отклика, требует несколько большего числа элементов. Следовательно, модель, основанная на RBF, будет работать медленнее и потребует больше памяти, чем соответствующий MLP (однако она гораздо быстрее обучается, а в некоторых случаях это важнее).

С «групповым» подходом связано и неумение сетей RBF экстраполировать свои выводы за область известных данных. При удалении от обучающего множества значение функции отклика быстро спадает до нуля. Напротив, сеть MLP выдает более определенные решения при обработке сильно отклоняющихся данных, однако, в целом, склонность MLP к некритическому экстраполированию результата считается его слабостью.

Сети RBF более чувствительны к «проклятию размерности» и испытывают значительные трудности, когда число входов велико.

Проведенные вычислительные эксперименты позволили получить следующие результаты.

 

1. Для сетей типа MLP

2. Для сетей типа RBF

 

По работе можно сделать следующие выводы. Каждый из двух описанных подходов имеет свои достоинства и недостатки. Действие радиальных функций очень локально, в то время как при линейном подходе охватывается все пространство входов. Поэтому, как правило, RBF-сети имеют больше элементов, чем MLP-сети, однако MLP может делать необоснованные обобщения в ситуациях, когда ему попадается набор данных, непохожий ни на какие наборы из обучающего множества, в то время как RBF в таком случае всегда будет выдавать почти нулевой отклик. Надо отметить, что для второго случая удалось найти более адекватную структуру сети, об этом можно судить по регрессионному отношению и остаткам.

Литература

  1. Головко В.А. Нейронные сети: обучение, организация и применение. Учебное пособие для вузов.– М.: ИПРЖР, 2001. – 256 с.
  2. Нейронные сети. Statistica Neural Networks: Пер. с англ. – М.: Горячая линия – Телеком. 2001. – 182с., ил.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *