第三章回归分析

第三章 回归分析
处理变量与变量之间的统计相关关系
星系
太阳
氢含量、色指数、光度
耀斑、黑子、太阳射电 辐射流量
统计相关关系 不完全确定
观测误差 深入了解
函数关系 完全确定
实质:概率统计+最小二乘法
regression analysis

回归分析
§ 一元线性回归 single variable linear regression
一 一元线性回归模型及参数估计
yk β0
βxk
εk
E(
y ) β
k
D(
y
k
0
2
)
一元线性回归模型
βx ~ N(
0,
σ
k
ε k
正态误差回归模型
寻找0 , 的好的估计值,得到最能描述y和x关系的回归直线
yˆ k b0
bxk
利用最小二乘法给出b0 , b的计算公式
Q ( yk
2
yˆ
k ) (
yk
2
b0
bxk
) min
Q
0
b0
Q
0
b
1
b0
( yk
b
xk
) y bx
n
(
xk
x)(
yk
y)
lxy
b
2
( x x)
l
k
xx
2
)

回归分析
0
0)
( β
b
E β
b
E
)
(
]
)
(
1
[
)
( 2
2
2
0
x
x
x
n
σ
b
D
k
]
)
(
1
[
)
( 2
2
x
x
σ
b
D
k
二 回归方程的显著性检验
U
Q
y
y
y
y
y
y
y
y
y
y
y
y
y
y
y
y
y
y
k
k
k
k
k
k
k
k
k
k
k
k
k
2
2
2
2
2
2
)
ˆ
(
)
ˆ
(
)
ˆ
)(
ˆ
(
2
)
ˆ
(
)
ˆ
(
)
ˆ
ˆ
(
)
(
Q: 残差平方和 剩余平方和 residual sum of squares
U: 回归平方和 自变量变化引起 regression sum of squares
0
)
(
)
(
)]
(
)
[(
)
ˆ
)](
ˆ
(
)
[(
)
ˆ
)(
ˆ
(
1
1
1
1
xx
xy
k
k
k
k
k
k
k
k
k
l
b
l
b
x
x
b
x
x
b
y
y
y
y
y
y
y
y
y
y
y
y

1. 相关系数的检验
回归分析
r U l l l l r l l l 0 r 1
2 2
yy xy xx yy xy xx yy
r 大
r小
r 1
r
0
r 0
r 0
r rα
y与
x线性相关密切
y与
x线性相关较弱
y与
x完全线性相关
y与
x毫无线性关系
b 0 正相关
b 0 负相关
r在α水平上显著
2. F检验(方差分析)
2
l yy
2
U
2
Q
~ 2
χ
~ 2
χ
~ 2
χ
( n 1)
( 1)
( n
2)

回归分析
)
2
,
1
(
~
)
2
(
n
F
Q
n
U
回归方程显著
拒绝域
)
2
,
1
(
n
F
F α
相关系数显著性检验 回归方程的F检验
)
2
,
1
(
n
F
F
r
r a
α
即
F
n
F
r
r
r
n
Q
n
U
F
l
r
U
l
Q
l
r
U yy
yy
yy
)
2
(
1
)
2
(
)
2
(
)
1
(
2
2
2
2
证:
)
2
,
1
(
)
2
(
)
2
,
1
(
n
F
n
n
F
r
α
α
α

回归分析
三 回归系数和回归值的精度估计
、y的区间估计
1. 的置信区间
1) 已知
E(
b)
β D(
b)
σ
b ~ N(
β,
σ
b β
σ
l
xx
2
lxx
)
2
~ N(
0,
1)
lxx
b β
P( uα 2 lxx
uα
2)
1
α
σ
β的区间估计 ( b uα
σ lxx
, b uα
2σ
2 xx
regression coefficient
regression value
l
)

回归分析
2) 未知
)
2
(
~
)
2
(
ˆ 2
2
n
t
l
S
β
b
n
Q
σ
S
xx
y
y
)
2
(
~
2
)
2
(
~
)
1
,
0
(
~
2
2
2
n
t
n
σ
Q
l
σ
β
b
n
χ
Q
N
l
σ
β
b
xx
xx
2
2
n
Q
S y
而
)
2
(
~
n
t
l
S
β
b
xx
y
有
)
,
(
1
))
2
(
)
2
(
(
2
2
2
2
xx
y
α
xx
y
α
α
xx
y
α
l
S
t
b
l
S
t
b
β
α
n
t
l
S
β
b
n
t
P
的区间估计

回归分析
3. 回归值的置信区间
定义残差 i
i
i
y
y
δ ˆ
0
)
(
)
( 0
0
i
i
i
i
bx
b
ε
βx
β
E
δ
E
则
)
(
)
( 0 i
i
i
bx
b
y
D
δ
D
)]
(
[ x
x
b
y
y
D i
i
k
k
j
j
i
k
i
y
x
x
x
x
x
x
y
y
D 2
)
(
)
)(
(
k
k
j
j
i
k
i
y
x
x
x
x
x
x
n
y
D 2
)
(
)
)(
(
1
2
2
2
)
(
)
(
1
1 σ
x
x
x
x
n
j
j
i

回归分析
])
)
(
)
(
1
1
[
,
0
(
~ 2
2
2
j
j
i
x
x
x
x
n
σ
N
j
j
i
n
n
n
n
n
x
x
x
x
n
u
y
y
y
α
y
y
P
2
2
)
(
)
(
1
1
)
ˆ
,
ˆ
(
1
)
ˆ
(
的区间估计

回归分析
四 五种一元线性回归及其在天文上的应用
1. 五种线性回归方法
a. OLS(Y | X ):观测点和回归直线上同一 x 的 y 的差;
b. 逆回归OLS(X | Y ):观测点和回归直线上同一 y 的 x
的差;
c. 正交回归线OR :观测点到回归线的垂直距离;
d. 简化主轴回归RMA :观测点对回归线在垂直、水平两
个方向测量的距离;
e. OLS平分线: OLS(Y | X )和OLS(X | Y )的平分线。
Y
c
a
b
O X
d

回归分析
用五种回归方法测椭圆星系速度弥散 和光学光度之间的关系L ~ n
图:L和σ的对数散点图及它们的五种回归线:1. OLS(Y | X )
2. OLS(X | Y ) 3. OLS平分线(点虚线) 4. OR(虚线) 5. RMA(点线)

回归分析
§ 曲线回归分析 curvilinear regression
一 曲线回归类型的确定
1. 散点图
利用观测数据的散点图,对比已知函数形式的各种曲线,选择
最为接近的曲线作为回归函数
2. 多项式
2
m
y 0 1x
2
x
mx
二 曲线回归参数的确定
I
y
β
y
β
y
β
0
0
0
β e
βx
l
x
β ln x
x
e
y β βx
x
ln x
0
x
x
x
l

回归分析
β
βx
x
x
β
y
β
y
β
β
y
0
0
0
e
e
1
II
y
y
x
x
β
β
y
y
β
β
y
y
x
β
β
y
ln
ln
ln
ln
ln
1
0
0
0
0
0
x
β
x
β
y
2
1 e
e
III
I、II进行变换,转化为线性回归;III泰勒级数展开,变为线性。
三 曲线回归的有效性检验
2
)
ˆ
(
)
(
)
ˆ
(
1
2
2
2
n
y
y
S
y
y
y
y
R
i
i
y
i
i
i
标准剩余差
相关指数

回归分析
§ 多元线性回归 multiple linear regression
一 模型参数估计
y
m
β0
i 1
Y βX
ε
yˆ b0
β y E( ˆ)
0
Q
Q
Q
n
k 1
( y
b
b
0
j
i
k
b
β
i
x
ixi
i
yˆ
0
0
k
i
ε
i i x β
2
)
min
ε
~
j 1,
2,
,
m
N(
0,
σ
2
)
回归超平面
回归方程

回归分析
n
k
k
i
ki
iy
n
k
j
kj
i
ki
ij
y
y
x
x
l
x
x
x
x
l
1
1
)
)(
(
)
)(
(
my
m
mm
m
m
y
m
m
y
m
m
l
b
l
b
l
b
l
l
b
l
b
l
b
l
l
b
l
b
l
b
l
2
2
1
1
2
2
2
22
1
21
1
1
2
12
1
11
表示为矩阵形式
j
j
j
m
j
jy
ij
i
y
y
y
x
b
y
b
m
i
l
c
b
0
1
1
1
,
,
2
,
1
CL
L
L
B
L
C
L
LB

回归分析
标准化模型:对原数据进行标准化变换,而对变换后的数
据建立的回归模型。 WHY?量纲不同
0
1
0
1
i
i
y
ii
i
yy
y
i
i
ki
ki
y
k
k
x
σ
y
σ
l
σ
l
σ
σ
x
x
x
σ
y
y
y
其中
标准化变换
新的正规方程组
my
m
mm
m
m
y
m
m
y
m
m
l
b
l
b
l
b
l
l
b
l
b
l
b
l
l
b
l
b
l
b
l
2
2
1
1
2
2
2
22
1
21
1
1
2
12
1
11
其中
jj
ii
ij
n
k
kj
ki
n
k
j
kj
i
ki
ij
l
l
l
x
x
x
x
x
x
l
1
1
)
)(
(

回归分析
记 ij
ij
l
r
正规方程组可表示为矩阵形式
0
)
(
)
(
0
1
1
b
r
c
b
r
m
j
jy
ij
i
y
y
ij
R
C
B
R
C
R
B
R
R
标准回归方程
m
i
ki
i
k
x
b
y
1
ˆ
m
i i
i
i
m
i i
ki
i
m
i i
i
ki
i
y
k
σ
x
b
σ
x
b
σ
x
x
b
σ
y
y
1
1
1
ˆ
即
m
i
i
i
y
i
ki
m
i i
y
i
k
x
σ
σ
b
x
σ
σ
b
y
y
1
1
ˆ
m
i
i
i
y
i
i
y
i
i
x
σ
σ
b
y
b
σ
σ
b
b
1
0

回归分析
二 多元回归效果检验
1. 回归方程的显著检验
U
Q
y
y
y
y
y
y
l
m
i
β
H
k
k
k
k
yy
i
2
2
2
0
)
ˆ
(
)
ˆ
(
)
(
~
1
0
:
原假设
0
0
2
2
2
2
)
1
,
(
~
)
1
(
)
1
(
~
)
(
~
H
F
F
H
F
F
m
n
m
F
m
n
Q
m
U
F
m
n
χ
Q
m
χ
U
α
α
接受
;
拒绝
回归平方和、剩余平方和的计算
m
i
iy
i
yy
m
i
iy
i
l
b
l
Q
l
b
U
1
1
yy
y
l
U
R
m
n
Q
S
复相关系数
剩余标准差 )
1
(

回归分析
2. 回归系数的显著性检验
后的回归平方和
去除
:
偏回归平方和
j
m
j
m
j
m
j
x
U
U
U
p
1
1
0
0
2
2
2
2
0
)
1
,
1
(
~
)
1
(
)
1
(
~
)
1
(
~
0
:
H
F
F
H
F
F
m
n
F
m
n
Q
p
F
m
n
χ
σ
Q
χ
σ
p
β
H
α
α
j
j
j
接受
;
拒绝
原假设
k
k
k
j
jj
jk
k
k
j
x
b
y
b
j
k
b
c
c
b
b
x
*
*
0
*
后回归系数
剔除
m
j
c
b
p
jj
j
j
~
1
2

回归分析
证: 1
m
j
m
j
U
U
p
m
j
i
i
iy
i
m
i
iy
i
l
b
l
b
1
*
1
m
j
i
i
iy
j
jj
ji
i
m
i
iy
i
l
b
c
c
b
l
b
1
1
)
(
m
j
i
i
iy
ji
jj
j
jy
j
l
c
c
b
l
b
1
m
j
i
i
iy
ji
jj
j
jy
jj
jj
j
l
c
c
b
l
c
c
b
1
m
i
iy
ji
jj
j
l
c
c
b
1
jj
j
c
b 2

回归分析
3. 回归系数的精度估计
)
1
,
0
(
~
)
,
(
~
)
(
)
(
2
2
N
σ
c
β
b
σ
c
β
N
b
σ
c
b
D
β
b
E
ii
i
i
ii
i
i
ii
i
i
i
三 残差检验
1. 残差图分析
图
作
残差 ki
k
k
k
k
x
v
y
y
v ~
ˆ
)
缺自变量(图
)
方差不等(图
)
模型不适(图
d
c
b

2. 残差的统计检验
回归分析
1) 等方差检验 将观测值分成两段,分别拟合利用F 检
验方差是否相等
2) 正态检验 a. 残差直方图 b. χ 2 拟合检验
3) 随机检验——游程检验
符号序列
游程总数R
+
n1 –
n2 概率函数
+ + –––+ ––+ + + ––+ R=7
P(
R 2k)
C
P(
R 2k
1)
1
2C
k
n 1
C
k
C
C
k 1
k 1
n1
1
n2
1
n1
n1
n2
1 k 1
n C
2 1
n1
1
n1
Cn
n
1
2
C
k
n
2
1

回归分析
)
1
(
)
(
)
2
(
2
)
(
1
2
2
1
2
2
1
2
1
2
1
2
1
2
2
1
2
1
n
n
n
n
n
n
n
n
n
n
R
σ
n
n
n
n
R
2
2
2
1
1
1
)
(
)
(
R
α
R
R
P
R
R
α
R
R
P
R
α
α
最小整数
最大整数
假设
拒绝残差序列为随机的
α
α
R
R
R
R 2
1
样本的游程检验: 确定中位数m, x>m记为+
x

回归分析
§ 逐步回归分析 stepwise regression
一 基本思想
最优回归方程: 1. 包含的自变量是显著的
2. 剩余标准差小
基本思想:根据对因变量影响的大小,逐个引入自变量到回归方
程,进行显著性检验加以选择 多元回归
二 线性方程组的求解求逆紧凑变换
解正规方程组
系数矩阵逆矩阵
回归系数
偏回归平方和
显著检验
逐步回归实质:无回代消去法 + 挑选重要变量
求解求逆并行

回归分析
)
1
(
)
(
)
1
(
)
1
(
)
(
)
1
(
)
1
(
)
(
)
1
(
)
1
(
)
1
(
)
1
(
)
(
1
,
l
kk
l
kk
l
kk
l
ik
l
ik
l
kk
l
kj
l
kj
l
kk
l
kj
l
ik
l
ij
l
ij
r
r
k
i
r
r
r
k
j
r
r
r
k
j
k
i
r
r
r
r
r
节
省
内
存
单
元
求
解
求
逆
紧
凑
变
换
三 计算步骤
1. 计算相关阵
y
x、
1) 计算均值
y
k
k
i
i
ki
ki
σ
y
y
y
σ
x
x
x
2) 标准化
jj
ii
ij
ij
n
k
j
kj
i
ki
ij
l
l
l
r
x
x
x
x
l
1
)
)(
(
3) 计算相关阵

2. 逐步计算
回归分析
1) 挑选变量(已计算l步)
I. 计算所有未选变量的偏回归平方和
p
( l )
II. 引进变量检验
Q
F
( l 1)
1
p
i
Q
( l )
k
[
( l )
r
r
( l )
yy
( l )
iy
p
]
2
( l )
k
p
( l )
k
r
( l )
ii
r
( l )
yy
[ n ( l 1)
1]
F 1 F α (1,n–l–2),引进变量。
2) 剔除变量
I. 计算已选变量的偏回归平方和
( l1)
[
( l 1)
2
]
( l 1)
p
i
r
iy
r
ii
p
( l )
k

回归分析
II. 剔除变量检验
( l1)
( l )
Q
F
2
p
3. 计算回归结果
r
( l1)
1) 标准回归系数
2) 剩余平方和
3) 实际回归系数
4) m元回归方程
k
yy
r
p
( l 1)
yy
( l )
k
r
( n l 2)
( l )
yy
[
r
( l 1)
ky
F 2 >F α (1,n–l–2),结束剔除;
F 2

回归分析
4. 几点说明
1) 临界值F α的选取
多选变量,F 1 、F 2 小;少选变量, F 1 、F 2 大
2) 控制计算量
Rii 不能等于或接近0
3) 没有唯一的最优子集
4) 不合理的“最优”子集