Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
выражение (74) можно рассматривать как начало разложения Тэйлора- Маклорена функции f(x,y) в окрестности точки (0,0): 2 ∂f ( x, y) ∂f ( x, y) 1 ∂ f ( x, y) f ( x, y) = f (0,0) + ⋅ x + ⋅ y + ⋅ x 2 ∂x ∂y 2 ∂x x= 0, y= 0 x= 0, y= 0 x= 0, y= 0 2 + + 1 2 ∂ 2 f ( x, y) 2 ∂y ⋅ y 2 + 1 2 2 ∂ f ( x, y) ∂x∂y x= 0, y= 0 x= 0, y= 0 ⋅ xy + K (77) Основная идея разработанного нами подхода состоит в использовании статистических характеристик, основанных на коэффициентах в разложении функции по Тэйлору-Маклорену, для интерпретации нейросетевых моделей. Рассмотрим теперь, как извлечь из набора данных ту же информацию о влиянии x и y на f при помощи нейросетей. В этом случае, если при построении нейросетевой модели отождествить x и y со входами нейросети, а f с ее выходом, то влияние x на f может быть выражено при помощи среднего значения частной производной функции f по отношению к переменной x, усредненного по всей выборке: N 1 ∂f ( x, y) a ~ M x = ∑ (78) N ∂ x i= 1 x= xi , y= y i Здесь основное отличие от рассмотренного выше случая множественной линейной регрессии состоит в том, что значения частной производной может несколько отличаться на разных точках вследствие нелинейности функции f, что и обуславливает необходимость усреднения. Аналогично, влияние другой переменной y на функцию f может быть выражено при помощи усредненного значения частной производной по отношению к ней: N 1 ∂f ( x, y) b ~ M x = ∑ (79) N ∂ y i= 1 x= xi , y= y i Итак, предлагаются следующие статистические характеристики для интерпретации нейросетевых моделей: • M x – среднее значение первой частной производной по выборке: M x N 1 ∂f ( x, K) = ∑ (80) N ∂ x i= 1 x= x i , K 122
• D x – среднее значение дисперсии первой частной производной по выборке: D x = 1 N ⎛ ( , ) ∑ ⎜ ∂f x K N ⎝ ∂x i= 1 x= xi , K − M x ⎞ ⎟ ⎠ 2 (81) • M xx – среднее значение второй частной производной по выборке: M xx N 2 1 ∂ f ( x, K) = ∑ (82) 2 N ∂ x i= 1 x= x i , K • M xy – среднее значение второй смешанной частной производной по отношению к двум переменным: M xy N 2 1 ∂ f ( x, K) = ∑ (83) N ∂x∂y i= 1 x= xi , y= y i , K Еще одна статистическая характеристика I x (сумма квадратов значений первой частной производной) может быть использована (и реально используется в программном комплексе NASAWIN) для определения относительной важности переменных: I x = N ∑ ⎛ ⎜ ∂f ( x, K) ⎝ ∂x i= 1 x= x , K i ⎞ ⎟ ⎠ 2 (84) Для многослойной нейросети с обратным распространением ошибки значения первых частных производных ∂f ∂x x= x i ,K могут быть легко получены из значений величин δ на входных нейронах, тогда как значения вторых частных производных 2 ∂ f 2 ∂x x= x i ,K и 2 ∂ f ∂x∂y x= xi , y= y i ,K можно вычислить по методу конечных разностей. Значение M x можно рассматривать как аналог коэффициента в уравнении линейной регрессии для переменной x, D x выражает степень нелинейности функции по отношению к переменной x, а M xx описывает взаимодействие между переменными x и y. Остановимся подробнее на использовании этих статистических характеристик для выявления типов нелинейного характера зависимости. Пусть функция f линейна по своим аргументам – переменным x и y: 123
- Page 71 and 72: ниях QSPR/QSAR/SAR. И дейс
- Page 73 and 74: В качестве характе
- Page 75 and 76: Некоторые типы ЦАФ
- Page 77 and 78: кроме того, они сно
- Page 79 and 80: Следует упомянуть
- Page 81 and 82: зисных графов, пред
- Page 83 and 84: рой равен 1 только в
- Page 85 and 86: множества различны
- Page 87 and 88: при проведении вир
- Page 89 and 90: 21 01 12 12 21 01 Рис. 17. Ре
- Page 91 and 92: ределенных атомных
- Page 93 and 94: элементам, что може
- Page 95 and 96: наличие или отсутс
- Page 97 and 98: использовались в н
- Page 99 and 100: ложенные в 1985 г. ато
- Page 101 and 102: 2.3. Ограничения фра
- Page 103 and 104: ГЛАВА 3. МАТЕМАТИЧЕ
- Page 105 and 106: качестве меток исп
- Page 107 and 108: ной нумерации граф
- Page 109 and 110: нейронной сети с пр
- Page 111 and 112: ГЛАВА 4. РАЗРАБОТКА
- Page 113 and 114: линейные комбинаци
- Page 115 and 116: таться внешней по о
- Page 117 and 118: Предсказанное знач
- Page 119 and 120: рипторе, то он пере
- Page 121: Для решения этой пр
- Page 125 and 126: R 1 R 2 R 1 R 2 X R 6 X R N + 3 (CH
- Page 127 and 128: В соответствии с вы
- Page 129 and 130: зовании рассмотрен
- Page 131 and 132: R4 R5 R3 R6 N (a) R2 6 N 2 6 2 6 2
- Page 133 and 134: f ( x, y) ≡ f ( y, x) ⇔ f ( x,
- Page 135 and 136: R3 R2 R5 R6 Общая формул
- Page 137 and 138: ко, эта разница все
- Page 139 and 140: переставленными эк
- Page 141 and 142: лей приведен в рабо
- Page 143 and 144: деленными» атомами
- Page 145 and 146: 5.1.2. Иерархическая
- Page 147 and 148: водородного соседа
- Page 149 and 150: Атом кислорода в со
- Page 151 and 152: PA1 -PH 2 Атом фосфора,
- Page 153 and 154: Br2 -Br= Формально нез
- Page 155 and 156: то в дальнейшем буд
- Page 157 and 158: После нахождения п
- Page 159 and 160: 5.2.1. Прогнозировани
- Page 161 and 162: зей, а также учитыв
- Page 163 and 164: Эксперимент 50 40 30 20
- Page 165 and 166: Построение QSPR-моде
- Page 167 and 168: работе [268], но с при
- Page 169 and 170: ляются удобным инс
- Page 171 and 172: чета этого свойств
выражение (74) можно рассматривать как начало разложения Тэйлора-<br />
Маклорена функции f(x,y) в окрестности точки (0,0):<br />
2<br />
∂f<br />
( x,<br />
y)<br />
∂f<br />
( x,<br />
y)<br />
1 ∂ f ( x,<br />
y)<br />
f ( x,<br />
y)<br />
= f (0,0) +<br />
⋅ x +<br />
⋅ y +<br />
⋅ x<br />
2<br />
∂x<br />
∂y<br />
2 ∂x<br />
x=<br />
0, y=<br />
0<br />
x=<br />
0, y=<br />
0<br />
x=<br />
0, y=<br />
0<br />
2<br />
+<br />
+<br />
1<br />
2<br />
∂<br />
2<br />
f ( x,<br />
y)<br />
2<br />
∂y<br />
⋅ y<br />
2<br />
+<br />
1<br />
2<br />
2<br />
∂ f ( x,<br />
y)<br />
∂x∂y<br />
x=<br />
0, y=<br />
0<br />
x=<br />
0, y=<br />
0<br />
⋅ xy + K<br />
(77)<br />
Основная идея разработанного нами подхода состоит в использовании<br />
статистических характеристик, основанных на коэффициентах в разложении<br />
функции по Тэйлору-Маклорену, для интерпретации нейросетевых моделей.<br />
Рассмотрим теперь, как извлечь из набора данных ту же информацию о<br />
влиянии x и y на f при помощи нейросетей. В этом случае, если при построении<br />
нейросетевой модели отождествить x и y со входами нейросети, а f с ее выходом,<br />
то влияние x на f может быть выражено при помощи среднего значения частной<br />
производной функции f по отношению к переменной x, усредненного по<br />
всей выборке:<br />
N<br />
1 ∂f<br />
( x,<br />
y)<br />
a ~ M<br />
x<br />
= ∑<br />
(78)<br />
N ∂ x<br />
i=<br />
1<br />
x=<br />
xi , y=<br />
y i<br />
Здесь основное отличие от рассмотренного выше случая множественной<br />
линейной регрессии состоит в том, что значения частной производной может<br />
несколько отличаться на разных точках вследствие нелинейности функции f,<br />
что и обуславливает необходимость усреднения. Аналогично, влияние другой<br />
переменной y на функцию f может быть выражено при помощи усредненного<br />
значения частной производной по отношению к ней:<br />
N<br />
1 ∂f<br />
( x,<br />
y)<br />
b ~ M<br />
x<br />
= ∑<br />
(79)<br />
N ∂ y<br />
i=<br />
1<br />
x=<br />
xi , y=<br />
y i<br />
Итак, предлагаются следующие статистические характеристики для интерпретации<br />
нейросетевых моделей:<br />
• M x – среднее значение первой частной производной по выборке:<br />
M<br />
x<br />
N<br />
1 ∂f<br />
( x,<br />
K)<br />
= ∑<br />
(80)<br />
N ∂ x<br />
i=<br />
1<br />
x=<br />
x i<br />
, K<br />
122