На правах рукописи

На правах рукописи На правах рукописи

cdn.scipeople.com
from cdn.scipeople.com More from this publisher
19.11.2014 Views

выражение (74) можно рассматривать как начало разложения Тэйлора- Маклорена функции f(x,y) в окрестности точки (0,0): 2 ∂f ( x, y) ∂f ( x, y) 1 ∂ f ( x, y) f ( x, y) = f (0,0) + ⋅ x + ⋅ y + ⋅ x 2 ∂x ∂y 2 ∂x x= 0, y= 0 x= 0, y= 0 x= 0, y= 0 2 + + 1 2 ∂ 2 f ( x, y) 2 ∂y ⋅ y 2 + 1 2 2 ∂ f ( x, y) ∂x∂y x= 0, y= 0 x= 0, y= 0 ⋅ xy + K (77) Основная идея разработанного нами подхода состоит в использовании статистических характеристик, основанных на коэффициентах в разложении функции по Тэйлору-Маклорену, для интерпретации нейросетевых моделей. Рассмотрим теперь, как извлечь из набора данных ту же информацию о влиянии x и y на f при помощи нейросетей. В этом случае, если при построении нейросетевой модели отождествить x и y со входами нейросети, а f с ее выходом, то влияние x на f может быть выражено при помощи среднего значения частной производной функции f по отношению к переменной x, усредненного по всей выборке: N 1 ∂f ( x, y) a ~ M x = ∑ (78) N ∂ x i= 1 x= xi , y= y i Здесь основное отличие от рассмотренного выше случая множественной линейной регрессии состоит в том, что значения частной производной может несколько отличаться на разных точках вследствие нелинейности функции f, что и обуславливает необходимость усреднения. Аналогично, влияние другой переменной y на функцию f может быть выражено при помощи усредненного значения частной производной по отношению к ней: N 1 ∂f ( x, y) b ~ M x = ∑ (79) N ∂ y i= 1 x= xi , y= y i Итак, предлагаются следующие статистические характеристики для интерпретации нейросетевых моделей: • M x – среднее значение первой частной производной по выборке: M x N 1 ∂f ( x, K) = ∑ (80) N ∂ x i= 1 x= x i , K 122

• D x – среднее значение дисперсии первой частной производной по выборке: D x = 1 N ⎛ ( , ) ∑ ⎜ ∂f x K N ⎝ ∂x i= 1 x= xi , K − M x ⎞ ⎟ ⎠ 2 (81) • M xx – среднее значение второй частной производной по выборке: M xx N 2 1 ∂ f ( x, K) = ∑ (82) 2 N ∂ x i= 1 x= x i , K • M xy – среднее значение второй смешанной частной производной по отношению к двум переменным: M xy N 2 1 ∂ f ( x, K) = ∑ (83) N ∂x∂y i= 1 x= xi , y= y i , K Еще одна статистическая характеристика I x (сумма квадратов значений первой частной производной) может быть использована (и реально используется в программном комплексе NASAWIN) для определения относительной важности переменных: I x = N ∑ ⎛ ⎜ ∂f ( x, K) ⎝ ∂x i= 1 x= x , K i ⎞ ⎟ ⎠ 2 (84) Для многослойной нейросети с обратным распространением ошибки значения первых частных производных ∂f ∂x x= x i ,K могут быть легко получены из значений величин δ на входных нейронах, тогда как значения вторых частных производных 2 ∂ f 2 ∂x x= x i ,K и 2 ∂ f ∂x∂y x= xi , y= y i ,K можно вычислить по методу конечных разностей. Значение M x можно рассматривать как аналог коэффициента в уравнении линейной регрессии для переменной x, D x выражает степень нелинейности функции по отношению к переменной x, а M xx описывает взаимодействие между переменными x и y. Остановимся подробнее на использовании этих статистических характеристик для выявления типов нелинейного характера зависимости. Пусть функция f линейна по своим аргументам – переменным x и y: 123

выражение (74) можно рассматривать как начало разложения Тэйлора-<br />

Маклорена функции f(x,y) в окрестности точки (0,0):<br />

2<br />

∂f<br />

( x,<br />

y)<br />

∂f<br />

( x,<br />

y)<br />

1 ∂ f ( x,<br />

y)<br />

f ( x,<br />

y)<br />

= f (0,0) +<br />

⋅ x +<br />

⋅ y +<br />

⋅ x<br />

2<br />

∂x<br />

∂y<br />

2 ∂x<br />

x=<br />

0, y=<br />

0<br />

x=<br />

0, y=<br />

0<br />

x=<br />

0, y=<br />

0<br />

2<br />

+<br />

+<br />

1<br />

2<br />

∂<br />

2<br />

f ( x,<br />

y)<br />

2<br />

∂y<br />

⋅ y<br />

2<br />

+<br />

1<br />

2<br />

2<br />

∂ f ( x,<br />

y)<br />

∂x∂y<br />

x=<br />

0, y=<br />

0<br />

x=<br />

0, y=<br />

0<br />

⋅ xy + K<br />

(77)<br />

Основная идея разработанного нами подхода состоит в использовании<br />

статистических характеристик, основанных на коэффициентах в разложении<br />

функции по Тэйлору-Маклорену, для интерпретации нейросетевых моделей.<br />

Рассмотрим теперь, как извлечь из набора данных ту же информацию о<br />

влиянии x и y на f при помощи нейросетей. В этом случае, если при построении<br />

нейросетевой модели отождествить x и y со входами нейросети, а f с ее выходом,<br />

то влияние x на f может быть выражено при помощи среднего значения частной<br />

производной функции f по отношению к переменной x, усредненного по<br />

всей выборке:<br />

N<br />

1 ∂f<br />

( x,<br />

y)<br />

a ~ M<br />

x<br />

= ∑<br />

(78)<br />

N ∂ x<br />

i=<br />

1<br />

x=<br />

xi , y=<br />

y i<br />

Здесь основное отличие от рассмотренного выше случая множественной<br />

линейной регрессии состоит в том, что значения частной производной может<br />

несколько отличаться на разных точках вследствие нелинейности функции f,<br />

что и обуславливает необходимость усреднения. Аналогично, влияние другой<br />

переменной y на функцию f может быть выражено при помощи усредненного<br />

значения частной производной по отношению к ней:<br />

N<br />

1 ∂f<br />

( x,<br />

y)<br />

b ~ M<br />

x<br />

= ∑<br />

(79)<br />

N ∂ y<br />

i=<br />

1<br />

x=<br />

xi , y=<br />

y i<br />

Итак, предлагаются следующие статистические характеристики для интерпретации<br />

нейросетевых моделей:<br />

• M x – среднее значение первой частной производной по выборке:<br />

M<br />

x<br />

N<br />

1 ∂f<br />

( x,<br />

K)<br />

= ∑<br />

(80)<br />

N ∂ x<br />

i=<br />

1<br />

x=<br />

x i<br />

, K<br />

122

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!