Нейрон является составной частью нейронной сети. На рис. 2.2 показаны два варианта представления его структуры.
|
б) |
Рис. 2.2. Структура искусственного нейрона
Нейрон состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента — выхода сумматора. Эта функция называется функцией активации или передаточной функцией нейрона. Нейрон в целом реализует скалярную функцию векторного аргумента.
Математическая модель нейрона:
, (2.1)
, (2.2)
где s- результат суммирования (sum); wi- вес (weight) синапса, 
; 
- компонент входного вектора (входной сигнал), ; b — значение смещения (bias); n- число входов нейрона; у - выходной сигнал нейрона; f — нелинейное преобразование (функция активации).
В общем случае входной сигнал, весовые коэффициенты и смещение могут принимать действительные значения, а во многих практических задачах – лишь некоторые фиксированные значения. Выход y определяется видом функции активации и может быть как действительным, так и целым.
Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами — тормозящими. Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов. Чтобы подчеркнуть различие нейронов биологических и искусственных, вторые иногда называют нейроноподобными элементами или формальными нейронами.
На входной сигнал s нелинейный преобразователь отвечает выходным сигналом f(s), который представляет собой выход y нейрона. Примеры активационных функций представлены в табл. 2.1, а графики наиболее распространенных активационных функций – на рис. 2.2.
Таблица 2.1
Функции активации нейронов
|
Название |
Формула |
Область значений |
|
1 |
2 |
3 |
|
Линейная |
|
(-∞, ∞) |
|
Полулинейная |
|
(0, ∞) |
|
Логистическая (сигмоидальная) |
|
(0, ∞) |
|
Гиперболический тангенс (сигмоидальная) |
|
(-1, 1) |
|
Экспоненциальная |
|
(0, ∞) |
|
Синусоидальная |
|
(-1, 1) |
|
Сигмоидальная (рациональная) |
|
(-1, 1) |
|
Шаговая (линейная с насыщением) |
|
(-1, 1) |
|
Пороговая |
|
(0, 1) |
|
Модульная |
|
(0, ∞) |
|
Знаковая (сигнатурная) |
|
(-1, 1) |
|
Квадратичная |
|
(0, ∞) |
Одной из наиболее распространенных является нелинейная функция активации с насыщением, так называемая логистическая функция или сигмоид (функция S-образного вида)(рис. 2.3):
. (2.3)
.
При уменьшении a сигмоид становится более пологим, в пределе при a = 0 вырождаясь в горизонтальную линию на уровне 0,5, при увеличении а сигмоид приближается к виду функции единичного скачка с порогом T. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне (0, 1). Одно из ценных свойств сигмоидальной функции — простое выражение для ее производной, применение которой будет рассмотрено в дальнейшем:
. (2.4)
Рис. 2.3. Графики активационных функций: а – функция единичного скачка; б – линейный порог (гистерезис); в – сигмоид (логистическая функция), формула (3); г – сигмоид (гиперболический тангенс)
Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.