Скрытые слои нейронной сети — это слои, которые не являются ни входными, ни выходными, а являются промежуточными шагами в вычислениях сети.
Общие сведения о нейронных сетях и их слоях
Нейронные сети сумели совершить революцию в сере распознавания образов, но по причине невозможности точно интерпретировать принцип действия, их не применяют в таких сферах, как медицина и оценка рисков. Необходимо обеспечить наглядность представления работы сети, которое представит её не в виде чёрного ящика, а хотя бы сделает «полупрозрачным».
Изучить функционирование глубоких нейронных сетей в общем случае считается нетривиальной задачей. Проще изучать глубокие нейронные сети, имеющие низкую размерность, а именно, сети, в которых имеется лишь небольшое количество нейронов в каждом слое. Для сетей с низкой размерностью можно формировать визуализацию, для того чтобы можно было понимать процессы поведения и обучения таких сетей. Такая перспектива позволяет получать более глубокое понимание о поведении нейронных сетей и наблюдать связь, объединяющую нейронные сети с областью математики, называемой топологией.
Перцептроны, которые состоят только из входных и выходных узлов и называются однослойными перцептронами, считаются не очень полезными, так как они не способны к аппроксимации сложных связей вход-выход, характеризующих многие типы реальных явлений. А точнее, однослойные перцептроны ограничиваются решением линейно разделимых задач. И здесь следует отметить, что даже такая основная функция, как логическое «исключающее ИЛИ» (XOR), не считается как линейно разделимая.
Прибавление скрытого слоя между входным и выходным слоями способно превратить перцептрон в универсальный аппроксиматор, а это значит, что он сможет захватывать и воспроизводить чрезвычайно сложные связи между входом и выходом. Присутствие скрытого слоя может сделать процесс обучения немного более сложным, так как весовые коэффициенты между входным и скрытым слоями косвенно могут влиять на конечную ошибку. Ошибка обозначает разницу между выходным значением нейросети и целевым значением, которое задано обучающей информацией.
Метод, который обычно используется для обучения многослойного перцептрона, именуется обратным распространением, то есть, конечная ошибка распространяется обратно в сторону входа нейросети так, что можно эффективно менять веса, которые не подключены непосредственно к выходному узлу. Операция обратного распространения считается расширяемой, то есть, та же самая процедура может позволить обучать веса, которые связаны с произвольным количеством скрытых слоев.
Скрытые слои нейронной сети
На рисунке ниже приведена диаграмма, обобщающая базовую структуру многослойного перцептрона.
Рисунок 1. Структура многослойного перцептрона. Автор24 — интернет-биржа студенческих работ
На вопрос, сколько скрытых слоев необходимо создать, не существует простого ответа. Тем не менее следует отметить, что перцептрон даже с одним скрытым слоем представляет собой достаточно мощную вычислительную систему. Когда не удаётся получить адекватные результаты с одним скрытым слоем, то следует вначале попробовать другие модификации, такие как, оптимизация скорости обучения, увеличение количества эпох обучения или расширение набора обучающих данных. А прибавление второго скрытого слоя может увеличить сложность кода и время вычислений.
Необходимо также не забывать, что перегруженная нейронная сеть является не просто напрасной тратой ресурсов процессора и усилий на формирование кода, а ещё она способна на самом деле нанести «положительный вред», то есть, сделать сеть более восприимчивой к переобучению (перетренированности). Супермощный перцептрон способен вести обработку обучающих данных таким образом, который в определённой степени является аналогом того, как люди иногда могут «перемудрить» над чем-нибудь.
Когда человек уделяет слишком много внимания деталям и прикладывает чрезмерные интеллектуальные усилия к проблеме, которая на самом деле может быть достаточно простой, он упускает «общую картину» и в результате получает решение, которое может оказаться далеко не оптимальным. Аналогично, перцептрон, обладающий избытком вычислительной мощности и недостаточным количеством обучающих данных, способен использовать слишком специфическое решение, вместо того чтобы найти обобщенное решение, которое сможет более эффективно классифицировать новые входные выборки.
Так, когда же всё-таки действительно необходимо несколько скрытых слоев? Здесь можно сослаться на опыт доктора Джеффа Хитона, который утверждал, что один скрытый слой позволяет нейронной сети осуществить аппроксимацию любой функции, включающей непрерывное преобразование из одного конечного пространства в другое. С двумя скрытыми уровнями нейросеть способна предоставить произвольную границу решения с произвольной точностью.
Определение оптимальной размерности для скрытого слоя требует опираться на метод проб и ошибок. Как было указано выше, через чур большое количество узлов является нежелательным, но их количество должно быть достаточным, для того чтобы нейросеть смогла уловить сложности связей между входом и выходом.
Метод проб и ошибок конечно хорош, но, тем не менее, необходимо иметь обоснованную отправную точку. Существуют следующие практические правила, позволяющие выбрать размерности скрытого слоя:
- Если в нейросети присутствует лишь один выходной узел, и можно полагать, что необходимая связь между входом и выходом является достаточно простой, то следует начать с размерности скрытого слоя, которая равна двум третям входной размерности.
- Если имеется несколько выходных узлов или можно полагать, что необходимая требуемая связь между входом и выходом является сложной, то следует сделать размерность скрытого слоя равной сумме входная размерность плюс выходная размерность. Однако при этом она обязана оставаться меньше удвоенной входной размерности.
- Если можно полагать, что необходимая связь между входом и выходом является очень сложной, то следует установить размерность скрытого слоя равной на единицу меньше удвоенной входной размерности.
