Напомним формулу производной функции f(x1, …, xn) в направлении r:

(6)

Обозначим входной сигнал синапса через x, а синаптический вес через α. Тогда выходной сигнал синапса равен αx. Поскольку синапс является функцией одной переменной, константа Липшица равна максимуму модуля производной — модулю синаптического веса:

Λs=|α| (7)

Обозначим входные сигналы умножителя через x1, x2 Тогда выходной сигнал умножителя равен

. Используя (6) получаем . Выражение r1x2+r2x1 является скалярным произведением векторов (r1, r2) и, учитывая единичную длину вектора r, достигает максимума, когда эти векторы сонаправлены. То есть при векторе

Используя это выражение, можно записать константу Липшица для умножителя:

(8)

Если входные сигналы умножителя принадлежат интервалу [a,b], то константа Липшица для умножителя может быть записана в следующем виде:

(9)

Поскольку в точке ветвления не происходит преобразования сигнала, то константа Липшица для нее равна единице.

Производная суммы по любому из слагаемых равна единице. В соответствии с (6) получаем:

(10)

поскольку максимум суммы при ограничении на сумму квадратов достигается при одинаковых слагаемых.

Нелинейный Паде преобразователь или Паде элемент имеет два входных сигнала и один выходной. Обозначим входные сигналы через x1, x2. Используя (6) можно записать константу Липшица в следующем виде:

Знаменатель выражения под знаком модуля не зависит от направления, а числитель можно преобразовать так же, как и для умножителя. После преобразования получаем:

(11)

Нелинейный сигмоидный преобразователь, как и любой другой нелинейный преобразователь, имеющий один входной сигнал x, имеет константу Липшица равную максимуму модуля производной:

(12)

Для адаптивного сумматора на n входов оценка константы Липшица, получаемая через представление его в виде суперпозиции слоя синапсов и простого сумматора, вычисляется следующим образом. Используя формулу (7) для синапсов и правило (5) для вектор-функции получаем следующую оценку константы Липшица слоя синапсов:

.

Используя правило (4) для суперпозиции функций и оценку константы Липшица для простого сумматора (10) получаем:

ΛA ≤ ΛΣΛL = √n||α||. (13)

Однако, если оценить константу Липшица адаптивного сумматора напрямую, то, используя (6) и тот факт, что при фиксированных длинах векторов скалярное произведение достигает максимума для сонаправленных векторов получаем:

(14)

Очевидно, что оценка (14) точнее, чем оценка (13).

Рассмотрим слоистую сигмоидную сеть со следующими свойствами:

1. Число входных сигналов — n0.

2. Число нейронов в i-м слое — ni.

3. Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.

4. Все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику.