ИНС: Однослойные / Многослойные нейронные сети прямого распространения

Искусственная нейронная сеть (ИНС) имитирует работу естественной нейронной сети - человеческого мозга. ИНС - это программа, которая повторяет модель человеческих нейронных связей.

[0],[1], ... - номер слоя $x_n$ - входной сигнал - Эти входные сигналы, в совокупности обозначаемые вектором X, соответствуют сигналам, приходящим в синапсы биологического нейрона. (нижний индекс - номер сигнала в слое) Входной слой ([0]) содержит нейроны, которые принимают входные данные. Входной слой является начальным слоем сети и не выполняет никаких вычислений, а просто передает данные на следующий слой. Размерность входного слоя увеличивают на единицу за счет нейрона смещения ($x_0$). Смещение - особый нейрон, не имеющий входного синапса (связи). Его входное значение, как правило, равно либо +1, либо -1.
Смещение изменяется весами, поэтому выбор +/-1 не накладывает жестких ограничений. $k_{\mathrm{ij}}^{\text{[слой]}}$ вес соединения входного нейрона данного слоя (входящего сигнала, если речь идет о входящем слое) с выходным нейроном следующего слоя - степень взаимосвязи двух нейронов - эквивалент синаптической связи.
Эти коэффициенты могут быть как положительными (возбуждающими), так и отрицательными (тормозящими). Вес (представленный в виде действительного числа) влияет на силу передаваемого сигнала. Нулевой вес означает, что изменения входа не повлияют на выход. Отрицательный вес показывает, что увеличение входа уменьшит выход, положительный - увеличит. Вес определяет влияние ввода на вывод.
$k_{\mathrm{ij}}^{\text{[слой]}}$ - вес соединения между входным и выходным узлом (нижний индекс: первая цифра - номер нейрона в выходном слое, вторая цифра - номер нейрона во входном слое; верхний индекс:номер слоя) $f$ - функция активации нейрона - это функция, которая вычисляет выходной сигнал нейрона. Активационная функция применяется к сумме взвешенных входов нейрона. $a$ - искусственный нейрон - это такая функция, которая преобразует несколько входных параметров в один выходной (нижний индекс - номер нейрона в слое, верхний индекс - номер слоя)
$a_i^{\text{[слой]}}=f\left(S_i^{\text{[слой]}}\right)=f(\sum _j^{}{k}_{\mathrm{ij}}^{\text{[слой]}}*a_j^{\text{[слой-1]}})$ $y$ - выходной сигнал нейрона. Выходной (последний) слой содержит нейроны, которые выдают конечный результат.
Для однослойных сетей: $y_i^{\text{[1]}}=a_i^{\text{[1]}}=f(\sum _{\mathrm{j=1}}^n{k}_{\mathrm{ij}}^{\text{[1]}}*x_j)$
При решении задач классификации выходной слой - слой, каждый нейрон которого отвечает за конкретный класс, т.е. принимает решение об отнесении к конкретному классу. Слой содержит столько нейронов, сколько классов представлено в обучающей выборке. [Если класса два, то можно использовать два выходных нейрона или ограничиться одним]. Входной вектор: $\stackrel{}{X}=\left(x_1\text{,}{x}_2\text{, ... ,}{x}_n\right)$, n - количество сигналов (признаков) - пространство признаков. Входной вектор может быть расширен дополнительной единицей - $x_0$ (смещение). И тогда результатом будет (n+1) размерный вектор. Вектор весов: $\stackrel{}{K}=\left(k_0\text{,}{k}_1\text{,}{k}_2\text{, ... ,}{k}_n\right)$, где $k_0$ - вес смещения. Нейрон представляет из себя элемент, который вычисляет выходной сигнал из совокупности входных сигналов.
Последовательность действий нейрона: - прием сигналов от предыдущих элементов сети. У нейрона есть несколько входов, у каждого из которого есть вес, на который умножается сигнал, проходящий по связи. - комбинирование входных сигналов. Так как к каждому нейрону могут приходить несколько входных сигналов, то при моделировании нейронной сети необходимо задать определенное правило комбинирования всех этих сигналов. Как правило, используется правило суммирования взвешенных сигналов. Суммируя все взвешенные входные сигналы, мы получаем комбинированный ввод элемента сети - взвешенную сумму (S). - вычисление выходного сигнала Просто так передавать взвешенную сумму на выход достаточно бессмысленно — нейрон должен ее как-то обработать и сформировать адекватный выходной сигнал. Для каждого элемента сети имеется определенное правило, в соответствии с которым из значения комбинированного ввода элемента вычисляется его выходное значение. Это правило называется функцией активации. Функция активации определяет выходное значение нейрона в зависимости от результата взвешенной суммы входов и порогового значения. Для выходных слоев задача функции активации – помочь принять локальное решение в каждом из нейронов - Выходной слой — это слой, каждый нейрон которого отвечает за конкретный класс. Слой содержит столько нейронов, сколько классов представлено в обучающей выборке. Если класса два, то можно использовать два выходных нейрона или ограничиться всего одним. Задача выходного нейрона - определить принадлежность к классу (задачи бинарной классификации - "да"/"нет" - выход: 1/0) / определить вероятность принадлежности к классу (выход: 0.3, 0.5 и т.д).
Функция активации нейронов выходного слоя помогает нормализовать вывод любого входа в диапазоне от 0 до 1. Например, Пороговая функция Пороговая функция преобразовывает значения при их накоплении выше установленного порога. Применяется для отображения состояния нейрона: его возбудимости или спокойствия. Может отображать только два значения: 0 и 1. $f\mathrm{(S)}=\{\begin{array}{cc}1& S>\mathrm{threshold}\\ 0& S\le \mathrm{threshold}\end{array}$ Сигмоидальная функция Сигмоидальные функции применяются для сглаживания значений. Сигмоида позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. $f\mathrm{(S)}=\frac{1}{1+\exp (\mathrm{-\lambda }*S)}$,
где $\lambda$ - характеризует степень крутизны функции; При больших значениях $\lambda$ форма сигмоиды приближается к обычной пороговой функции, а при значениях параметра "кривизны" близких к 1, она напоминает прямую линию. Такая сигмоидная функция (логистическая функция) ($\lambda =1$) наиболее распространена. В отличие от пороговой, сигмоидная активационная функция непрерывна, что позволяет точнее оценить ошибку на выходе сети. Также сигмоида непрерывно дифференцируемая, что позволяет применять градиентные методы оптимизации при обучении ИНС. Для скрытых (промежуточных) слоев задача функции активации - решить, следует ли активировать нейрон или нет (0), какое влияние будет оказывать нейрон: тормозящее (-), возбуждающее (+). Функция активации скрытых слоев помогает нормализовать вывод любого входа, как правило, в диапазоне от 1 до -1 или от 0 до 1. Например, Гиперболический тангенс Эта функция на выходе дает значение в интервале от -1 до 1. В отличие от сигмоиды выход данной функции центрирован относительно нуля. $f\mathrm{(S)}=\frac{\exp (\lambda *S)-\exp (\mathrm{-\lambda }*S)}{\exp (\lambda *S)+\exp (\mathrm{-\lambda }*S)}$,
где $\lambda$ - характеризует степень крутизны функции; Выпрямленные линейные единицы или ReLU Функция ReLu отсекает только отрицательные значения. $f\mathrm{(S)}=\{\begin{array}{cc}\mathrm{S}& S\ge 0\\ 0& S<0\end{array}=\max \mathrm{(S,0)}$ Задача функции активации - помочь принять локальное решение в каждом из нейронов.

Сеть является множеством соединенных между собой нейронов. Возможны различные способы соединения и, следовательно, различные архитектуры сети. Но суть работы нейронной сети остается всегда одной и той же. По совокупности поступающих на вход сети сигналов на выходе формируется выходной сигнал (или несколько выходных сигналов). Рассмотрим полносвязные сети прямого распространения. "Полносвязная" — означает, что каждый нейрон предыдущего слоя соединён с каждым нейроном следующего слоя. "Прямого распространения" — означает, что сигнал проходит через нейронную сеть в одном направлении от входного к выходному слою.

Обучение нейронной сети Задача ИНС - по входным признакам (входному сигналу) принять решение. При рассмотрении ИНС как классификатора принять решение означает решить задачу классификации правильно. Для того, чтобы нейросеть была способна выполнить поставленную задачу, ее необходимо обучить. Этого можно добиться путем постоянного добавления примеров - объектов, каждый из которых описывается набором своих характеристик, называемых признаками. Такой процесс называется обучением. Машина учится, пытаясь на разных примерах найти признаки, по которым одно можно отличить от другого. Необходим обучающий набор данных (обучающая выборка) для того, чтобы ИНС могла выявить определенные закономерности в данных. Обучающая выборка - набор объектов, каждый из которых характеризуется набором признаков. Мы ждем от сети способности обобщать какие-то признаки и решать задачу на различных входных данных. Именно с этой целью и создаются обучающие выборки. Обучать нейронные сети выполнению задач можно по-разному: процесс развития навыков возможен с учителем, или без него, а также с подкреплением.
Обучение с учителем - подход, при котором машине заранее дают понять, какой ответ будет считаться правильным. Для каждого примера в обучающем наборе ИНС знает, какой результат является правильным. Т.е. каждый "вход" (набор признаков входящего объекта - учебного примера) связан с правильным "выходом" (известный класс). ИНС использует эти знания, чтобы попытаться обобщить их на новые примеры, которые сеть никогда раньше не видела; т.е. на новых данных после обучения, она попрежнему способна находить установленные закономерности. Так происходит настройка параметров (весововые коэффициенты) для минимизации ошибок между собственными предположениями и "правильными ответами" (метками). Сопоставляя их из раза в раз, ИНС будет самостоятельно обучаться отвечать и на последующие запросы правильно уже без помощи человека. Когда, например, ребенок увидит ряд разных кошек и ему на каждую кошку скажут, что это "кошка", в то время как другие объекты увиденные им будут относиться к другим классам ("собака", "медведь" и т.д - "не кошка" - ему также скажут об этом), то после n-ой по счету кошки он уже будет готов сам без подсказки отличить "кошку", от "не кошки"; равно как и другие классы животных. Каждый объект (в данном случае животное) будет обладать набором отличительных признаков (форма головы, ушей, окрас, рост, вес и т.д). В данном случае (обучение с учителем) решается задача классификации - отнесение объектов к одному из заранее известных классов Обучение может происходить и без учителя. Обучение без учителя - подход, при котором машине заранее не дают понять, какой ответ будет считаться правильным. Обучение без учителя особенно полезно в ситуациях, когда у нас нет заранее известной информации о категориях или метках данных. При обучении без учителя обучающее множество состоит только из "входа" (набор признаков входящего объекта - учебного примера). Основная цель обучения без учителя — обнаружение скрытых паттернов и группировок в данных. Процесс обучения выделяет статистические свойства обучающего множества и группирует сходные объекты в классы. В алгоритмах обучения без учителя выходная ошибка модели на обучающем множестве не вычисляется. Вместо нее используется информация о текущем состоянии параметров модели и примеров обучающего множества. Например, это может быть Евклидово расстояние между вектором признаков примера и вектором весов нейрона, которое и будет управлять коррекцией параметров модели в ходе обучения. В данном случае (обучение без учителя) решается задача кластеризации - деление большого массива данных на группы. Как и человек, нейросеть учится за счет изменения связей между нейронами. В любом варианте обучения веса и смещения играют ключевую роль в обучении нейронной сети, так как они определяют как входные данные преобразуются в выходные. Остановимся на обучении с учителем - решение задачи классификации.
При обучении ИНС как классификатора после слоя извлечения признаков добавляется полносвязный слой, активации нейронов которые нормируются функцией активации и представляют собой оценки вероятности принадлежности объекта соответствующим классам (каждому классу соответствует один нейрон). [или решение о принадлежности объекта к конкретному классу - если в качестве функции активации нейронов выходного слоя выбрана пороговая функция.] В ходе обучения ИНС должна обнаружить в данных присущие им закономерности и приобрести свойства, необходимые для отражения этих закономерностей. Что значит приобрести свойства? Подобрать весовые коэффициенты таким образом, чтобы решить задачу классификации правильно. Входные данные передаются в сеть, и её топология (структура межнейронных связей и выбранный вид функций активации нейронов) фиксированы и не изменяются после создания сети. Как именно реагировать на входящие данные, определяют весовые коэффициенты — эти значения определят влияние входных данных на выходной продукт. В процессе обучения будут изменяться только веса нейронов и смещения. Обучение нейронной сети — поиск такого набора весовых коэффициентов, при котором входной сигнал после прохода по сети преобразуется в нужный нам выходной. Каждый образец обучающей выборки подается на входы сети, затем проходит обработку внутри структуры ИНС, вычисляется выходной сигнал сети, который сравнивается с соответствующим значением целевого вектора, представляющего собой требуемый выход сети. Затем по определенному правилу вычисляется ошибка, и происходит изменение весовых коэффициентов связей внутри сети в зависимости от выбранного алгоритма обучения. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки и веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлимо низкого уровня. Рассмотрим один из самых используемых алгоритмов обучения нейронных сетей - градиентный спуск. В режиме обучения для весов и порогов ИНС первоначально устанавливаются случайные значения. Пока у сети нет данных. Потом на вход поступает первый пример (объект) из обучающей выборки. Есть набор признаков объекта (входящий сигнал - X) и есть установленный истинный класс этого объекта ($\hat{Y}$). Сеть исходя из своих весовых коэффициентов (для начала установленных случайным образом - K) и входящего сигнала (X) выдала ответ (решение - Y). Для начала нужно определить как оценивать этот ответ. У нас есть правильный ответ ($Y^{\text{^}}$) и ответ сети (Y). Для этого мы определяем функцию потерь.
Функция потерь — функция, которая в теории статистических решений характеризует потери при неправильном принятии решений на основе наблюдаемых данных. В статистике функция потерь обычно используется для оценки параметров моделей, а рассматриваемое событие является разностью между оцененным и истинным значениями для каждого наблюдения набора данных. Наиболее часто используемой является квадратичная функция потерь: $E\left(Y\text{,}\hat{Y}\right)=C*{(\hat{Y}-Y)}^2$, где где C — константа,
$\hat{Y}$ — истинное значение выхода модели (которое должно быть получено в идеальном случае),
Y — фактический выход модели. [Для обучения ИНС константу С часто принимают равной 1/2 для удобства дифференцирования (взятия производной)] Значит, потери при неправильном решении теперь уже можно оценить. Надо определить допустимый уровень этих потерь - допустимый уровень ошибки ИНС.
Далее, необходимо понять что делать если потери имеются и они превышают допустимый уровень. Иными словами каким образом нужно откорректировать веса, чтобы уменьшить потери. Задача - подобрать такие весовые коэффициенты, чтобы свести суммарную погрешность - ошибку сети (пока у нас только один пример, но впоследствии из будет больше) ниже допустимого уровня ошибки сети. На какую величину нужно изменить каждый из весов? Для ответа на этот вопрос надо взять частную производную функции потерь по каждому из весов. [частную производную можно найти, зафиксировав все переменные, кроме одной, считая их постоянными] Производная - скорость изменения функции относительно изменения ее аргумента. Геометрический смысл производной - производная функции в точке есть угловой коэффициент касательной к графику этой функции в этой точке. $k_{\mathrm{ij}}^{\text{[слой]}}$ $E\left(k_{\mathrm{ij}}\right)$ $t_1$ $t_2$ - + - Если производная в точке положительна это означает, что функция возрастает в этой точке, и наклон касательной направлен вверх - Если производная в точке отрицательна это означает, что функция убывает в этой точке, и наклон касательной направлен вниз. Если производная положительна, увеличение веса приведет к увеличению потерь, и мы должны уменьшить вес. Если производная отрицательна, увеличение веса уменьшит потери, и мы должны увеличить вес.
Градиент функции, то есть вектор, который аналитически выражается геометрической суммой частных производных. Градиент указывает направление наибольшего возрастания функции в каждой точке и используется в оптимизации функций и векторном анализе.
Градиент функции в точке $X_k=\left(x_1\text{,}{x}_2\text{, ... ,}{x}_n\right)$:
$\overrightarrow{\mathrm{grad}}F\left(x\right)=\left(\frac{\mathrm{\partial F}}{\partial x_1}\right)\overrightarrow{x_1}+\left(\frac{\mathrm{\partial F}}{\partial x_2}\right)\overrightarrow{x_2}\text{+ ... +}\left(\frac{\mathrm{\partial F}}{\partial x_n}\right)\overrightarrow{x_n}$
Прооизводную функции $F\left(x\right)$ одной переменной можно назвать производной по направлению - она характеризует скорость изменения функции $\frac{\mathrm{\partial F}}{\partial x_i}\overrightarrow{x_i}$ в направлении оси соответствующей переменной. Можно сказать, что производная по направлению дает скорость изменения функции в этом направлении.
Идея градиентного спуска заключается в том, что производная функции потерь относительно каждого веса покажет его направление и влияние на функцию потерь. Оптимизируемая функция: функция потерь $E\left(K\right)$ Точка для расчета градиента: весовой вектор $\overrightarrow{K_t}$ на t-ой итерации вдоль антиградиента ${\left(k_{\mathrm{ij}}^{\text{[слой]}}\right)}_{\mathrm{t+1}}={\left(k_{\mathrm{ij}}^{\text{[слой]}}\right)}_t-{\eta }_t*{\left(\frac{\mathrm{\partial E}}{\partial k_{\mathrm{ij}}^{\text{[слой]}}}\right)}_t$
[η - параметр шага (сходимости)] Т.о., обновление всех весов дает движение в направлении антиградиента функции потерь. В данном методе движение в направлении антиградиента продолжается до достижения минимума целевой функции. По мере приближения к оптимуму вектор градиента уменьшается по величине, стремясь к нулю, поэтому длина шага постепенно уменьшается. Вблизи оптимума длина вектора градиента стремится к нулю. Функция потерь относительно каждого из весовых коэффициентов $E\left(k_{\mathrm{ij}}\right)$ является сложной функцией, т.е. представлена как композиция нескольких вложенных функций. Функция потерь (E) зависит от фактического выхода (Y); фактический выход, в свою очередь, определяется как результат функции активации (F) нейрона последнего выводного слоя; результат функции активации зависит от входа нейрона, т.е. взвешенной суммы выходов нейронов предыдущего слоя (S).
$E\left(k_{\mathrm{ij}}^{\text{[слой]}}\right)=E\left(F\right(S\left(k_{\mathrm{ij}}^{\text{[слой]}}\right)\left)\right)$
Т.о., производная сложной функции: $E_k^{`}=E_F^{`}*F_S^{`}*S_k^{`}$
Для удобства записи: $\frac{\mathrm{\partial E}}{\mathrm{\partial k}}=\frac{\mathrm{\partial E}}{\mathrm{\partial F}}*\frac{\mathrm{\partial F}}{\mathrm{\partial S}}*\frac{\mathrm{\partial S}}{\mathrm{\partial k}}=\delta *\frac{\mathrm{\partial S}}{\mathrm{\partial k}}$ - градиент ошибки - частная производная, представляет собой скорость изменения функции относительно определенной переменной в определенной точке . Он измеряет, как изменяется значение функции при изменении выбранной переменной, при этом все остальные переменные остаются постоянными. $\delta$ - поправка нейрона данного уровня.
Если нейрон в первом слое после входного, то $\frac{\mathrm{\partial S}}{\mathrm{\partial k}}$ — это просто x - входной сигнал при соответствующем весе k. Если нет, то $\frac{\mathrm{\partial S}}{\mathrm{\partial k}}$ - выход нейрона предыдущего слоя ($a$), который связан с данным нейроном по связи k. Для нейронов скрытых (промежуточных) слоев (если сеть состоит более чем из одного выходного слоя) цепочка функций (функций активаций), ведущих их к выходному слою будет возрастать, а следовательно увеличиваться и цепочка производных. Поэтому удобно начинать с нейронов выходного слоя и двигаться вглубь сети, выражая поправку для узла более низкого уровня через поправки более высокого. Отсюда и название алгоритма - алгоритм обратного распространения ошибки Мы рассмотели пока один пример из обучающей выборки, но каждый новый учебный пример будет добавлять свою "лепту" в потери. Под обычным градиентным спуском (по умолчанию) обычно понимается "градиентный спуск со сменой коэффициентов после обсчёта всей выборки", то есть потери и градиент рассчитываются с использованием всех элементов набора данных.
$E\left(k\right)=\frac{1}{m}\sum _{i=1}^m{E\left(k\right)}_i$ Такой градиентный спуск называется пакетным. Пакетный градиентный спуск (Batch gradient descent) — реализация градиентного спуска, когда на каждой итерации обучающая выборка просматривается целиком, и только после этого изменяются веса модели. Возможен стохастический градиентный спуск - выбор одного случайно определенного примера из обучающей выборки на каждой итерации. Стохастический градиентный спуск (stochastic gradient descent) − оптимизационный алгоритм, отличающийся от обычного градиентного спуска тем, что градиент оптимизируемой функции считается на каждом шаге не как сумма градиентов от каждого элемента выборки, а как градиент от одного, случайно выбранного элемента. Возможен компромиссный вариант - мини-пакетный градиентный спуск. Мини-пакетный градиентный спуск (Mini-batch gradient descent) - это разновидность алгоритма градиентного спуска, который разбивает обучающий набор данных на небольшие партии, которые используются для расчета ошибки модели и обновления коэффициентов модели. Каждая итерация алгоритма пакетного градиентного спуска включает в себя вычисление среднего значения градиентов функции потерь по всей обучающей выборке. Одна итерация, называется эпохой. Эпоха - одна итерация в процессе обучения, включающая предъявление всех примеров из обучающего множества. Каждая возможная конфигурация весов определяет точку поверхности ошибки. Поверхность ошибки представляет собой кумулятивную ошибку на всем наборе данных как функцию потерь от весов сети. Имея определенную изначальную конфигурацию весов (точку отсчета), с помощью алгоритма обучения можно найти направление на этой поверхности, вдоль которого происходит наиболее быстрое уменьшение функции потерь (антиградиент). Происходит обновление весовых коэффициентов искусственной нейронной сети на каждой итерации обучения. Алгоритм градиентного спуска обновляет веса на каждом шаге, используя в качестве параметров значения градиента и скорости обучения.
${\left(k_{\mathrm{ij}}\right)}_{\mathrm{t+1}}={\left(k_{\mathrm{ij}}\right)}_t-{\eta }_t*{\left(\frac{\mathrm{\partial E}}{\partial k_{\mathrm{ij}}}\right)}_t$
$\eta$ - параметр сходимости. $0<\eta <1$ - множитель, задающий скорость "движения" [Когда мы берем частную производную функции потерь по каждому из весовых коэффициентов, мы определяем скорость изменения функции потерь в зависимости от изменения каждого из весов. Но в данном случае мы корректируем сам вес, поэтому нужен некий масштабирующий параметр. Значение производной может быть достаточно большим и алгоритм попросту "перескочит" через локальный минимум; или, наоборот, слишком маленьким - тогда будет слишком много шагов (больше, чем могло бы быть).]
[$\eta$ - величина шага которым мы движемся по направлению к локальному минимуму функции потерь; он не должен быть слишком большим - иначе мы просто проскочим этот минимум и будем бесконечно "топтаться" около него; он не должен быть слишком маленьким - иначе мы будем очень медленно "плестись" к этому минимуму. Если шаг выбирается малым (чтобы гарантировать сходимость), то метод сходится медленно. ] Коэффициент обучения ($\eta$) определяет насколько сильно будут изменяться веса на каждой итерации. Цели обратного распространения: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Целью обратного распространения ошибки (backpropagation) является обновление весов связи между всеми нейронами сети так, чтобы они привели к тому, чтобы фактический результат стал ближе к желаемому (целевому) результату, минимизировав тем самым ошибку предсказания, как для каждого выходного нейрона, так и сети в целом. Работа алгоритма backpropagation идет в обратном направлении: сначала на выходном слое, а затем на скрытом. Однослойная ИНС(выходной слой - 1 нейрон)
Обратное распространение ошибки [0][1] $\delta$ $F\left(S\right)$ $k_{10}=k_{10}-\eta *\delta *x_0$
$k_{11}=k_{11}-\eta *\delta *x_1$
$k_{12}=k_{12}-\eta *\delta *x_2$
$k_{13}=k_{13}-\eta *\delta *x_3$
$\delta =\frac{\mathrm{\partial E}}{\mathrm{\partial S}}=\frac{\mathrm{\partial E}}{\mathrm{\partial F}}*\frac{\mathrm{\partial F}}{\mathrm{\partial S}}$ Обучение ИНС может быть реализовано различными алгоритмами оптимизации. Градиентный спуск – один из алгоритмов оптимизации, широко используемый в обучении искусственных нейронных сетей. Градиентный спуск, метод градиентного спуска — численный метод нахождения локального минимума или максимума функции с помощью движения вдоль градиента, один из основных численных методов современной оптимизации. В обучении ИНС движение идет в направлении противоположном градиенту (антиградиент) - поиск локального минимума функции потерь.

Алгоритм обучения ИНС:
1. Задается желаемая среднеквадратичная ошибка $E_m$ - допустимый уровень ошибки сети.
2. Задается гиперпараметр - шаг обучения (скорость с которой будем двигаться в направлении антиградиента функции потерь)
3. Инициализируются случайным образом весовые коэффициенты (вектор K) и пороговые значения (изначальная точка откуда будет осуществляться градиентный спуск)
4. Подаются последовательно образы из обучающей выборки на вход ИНС. При этом для каждого образца выполняются следующие действия: - производится фаза прямого распространения входных сигналов по ИНС. Вычисляется выходное значение всех нейронов (выходного и скрытых слоев). На этом этапе каждый нейрон вычисляет взвешенную сумму своих входов и применяет активационную функцию. - вычисляются ошибки нейронов выходного и скрытых слоев. Этот этап включает вычисление частных производных функции потерь по отношению к весам сети. Вычислятся поправка для узлов последнего уровня, далее поправки для узлов более низкого уровня выражаются через поправки узлов более высокого уровня (т.е происходит обратное распространение ошибки). Веса корректируются на основе вычисленных градиентов и заданного коэффициента обучения. - производится изменение весовых коэффициентов нейронов для каждого слоя сети
5. Этот процесс повторяется до тех пор, пока ошибка не станет достаточно малой (меньше допустимого установленного уровня ошибки).
Градиентные алгоритмы обучения ИНС предполагают использование непрерывных дифференцируемых функций активации нейронов. Есть и другие алгоритмы оптимизации, которые предполагают минимизацию функции потерь независимо от вида активационной функции.