Представим перечень основных терминов, используемых в теории и практике нейронных сетей.
Нейрон – neuron – базовый элемент нейронных сетей. Имеет входы, снабженные весами, смещение, суммирующий элемент и выходную активационную функцию. Является аналогом биологического нейрона. Нейрон выполняет функцию адаптивного сумматора с варьируемыми входными весовыми коэффициентами, суммарный выходной сигнал которого подвергается линейной или нелинейной обработке, образуя итоговый выходной сигнал.
Адалина – ADALINE (ADAptive LINear Element) – одно из наименований для линейного нейрона, для которого активационная функция – линейная.
Мадалина – простейшая однослойная линейная искусственная нейронная сеть, состоящая из адалин.
Смещение – bias – параметр нейрона, который суммируется со взвешенными входами нейрона, образуя текущее состояние нейрона – входную величину (аргумент) для функции активации нейрона.
Активационная (передаточная) функция – activation (transfer) function – функция линейного или нелинейного преобразования состояния нейрона. Эта функция преобразует сумму взвешенных входов нейрона в его выход.
Синапс – synapse – однонаправленная линейная связь, характерная для каждого из сумматоров, служащая для обозначения направления распространения сигнала, который умножается на заданный синаптический весовой коэффициент.
Аксон – axon – выходная связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов.
Архитектура – architecture – описание числа слоев в нейронной сети, передаточных (активационных) функций каждого слоя, числа нейронов в каждом слое и связей между слоями.
Узел – unit – отдельный нейрон в нейронной сети, имеющий, как правило, несколько сигналов на входе и лишь один выходной сигнал. Термин «узел» используется обычно для обозначения и представления единичного нейрона в структуре нейронной сети; в рамках графовой модели нейронной сети эквивалентен вершине графа.
Слой – layer – множество нейронов (узлов), имеющих общие входные или выходные сигналы.
Входной слой – input layer – слой нейронов (узлов), образованный совокупностью элементов, на входы которых подаются входные данные нейронной сети.
Скрытый (промежуточный) слой – hidden layer – слой, содержащий нейроны (узлы), на которые не поступают входные данные и с которых не считываются выходные данные нейронной сети.
Выходной слой – output layer – слой нейронов (узлов), выходные сигналы которых образуют выходной сигнал нейронной сети.
Нейронная сеть – neural network – структура соединенных между собой нейронов, которая характеризуется топологией, свойствами узлов, а также правилами обучения или тренировки для получения желаемого выходного сигнала.
Персептрон – perceptron – простейшая форма нейронной сети. В основном под перcептроном понимают элементарный нейрон, представляющий собой линейный сумматор, каждый из входных сигналов которого умножается на некоторый весовой множитель, а выходной суммарный сигнал является ненулевым, если сумма превышает некоторое пороговое значение. Иногда перcептроном называют любую НС слоистой структуры. Однако здесь и далее под перcептроном понимается только однослойная (single-layer perceptron) или многослойная (multilayer perceptron) сеть, состоящая из нейронов с активационными функциями единичного скачка (бинарная сеть).
Сеть с прямыми связями (сеть без обратных связей) – feedforward network – многослойная сеть, в которой каждый слой своими входами имеет выходы только предшествующих слоев.
Сеть с обратной связью – feedback network – сеть с соединениями с выхода сети на ее вход. Соединение обратной связи может охватывать различные слои.
Рекуррентная нейронная сеть – recurrent neural network – нейронная сеть, которая отличается от сети с прямыми связями (feedforward network) наличием, по крайней мере, одной петли обратной связи.
Обучение (тренировка) – learning (training) – этап функционирования нейронной сети, в процессе которого на ее вход поочередно поступают данные из обучающего набора с целью корректировки весовых коэффициентов синаптических связей для получения наиболее адекватного сигнала на выходе нейронной сети.
Обучение в режиме реального времени – on-line training – модификация алгоритма обучения, когда веса и смещения сети корректируются после предъявления каждого нового образа (вектора) обучающей последовательности.
Обучение в предварительном режиме – off-line training – разновидность алгоритма обучения, когда коррекция весов и смещений производится один раз за период обучения – после предъявления всех векторов обучающей последовательности («пачки» векторов, batch).
Образец (эталон) – pattern – «правильный» результат на выходе нейронной сети. Совокупность всех эталонов вместе с входным набором данных (фактов) образует обучающее множество данных.
Обучение с учителем – supervised learning – процесс обучения нейронной сети, непременным требованием которого является существование готового обучающего набора данных.
Обучение без учителя – unsupervised learning – процесс обучения нейронной сети, при котором наличие набора эталонов отсутствует.
Обратное распространение – backpropagation – наиболее применяемый способ управляемого обучения, при котором сигнал ошибки на выходе нейронной сети распространяется в обратном направлении: от нейронов выходного слоя к нейронам входного слоя с последующей корректировкой синаптических весов нейронной сети для достижения минимальной выходной погрешности.
Обратное распространение в автономном режиме – backpropagation batch – разновидность алгоритма обучения с обратным распространением ошибки, когда коррекция весов и смещений производится один раз за период обучения – после предъявления всех векторов обучающей последовательности («пачки» векторов, batch).
Обратное распространение в режиме реального времени – backpropagation on-line – модификация алгоритма обучения по методу обратного распространения ошибки, когда веса и смещения сети корректируются после предъявления каждого нового образа (вектора) обучающей последовательности.
Тестирование – testing – этап проверки работоспособности нейронной сети, в течение которого на вход сети подаются данные, которые не были использованы в процессе обучения, но входные эталоны для которых известны, что позволяет оценить выходную погрешность обученной нейронной сети. В процессе тестирования весовые коэффициенты нейронной сети не изменяются.
Обобщение – generalization – способность нейронной сети давать статистически корректный ответ для входных сигналов, которые принадлежат классу обучающих данных, но не были использованы ни на этапе обучения, ни на этапе тестирования.
Запоминание – storing – способность нейронной сети при увеличении ее размерности выделять случайные особенности в данных, которые, тем не менее, могут не отражать истинный характер отображения «вход-выход». Нейронные сети, обладающие высокой способностью запоминания, могут иметь пониженные возможности обобщения.
Переобучение – overfitting – ситуация, когда на обучающей последовательности ошибки сети были очень малы, но на новых данных становятся большими.