线性回归教程
在本教程中,我们将涵盖以下主题 回归分析 .请参阅下面的相关示例问题列表,以及逐步解决方案。
样本线性回归问题
问题 1: 最小二乘线的公式是通过求解方程组找到的
\[nb+m\left( \sum{x} \right)=\sum{y}\]
\[b\left( \sum{x} \right)+m\left( \sum{x^2} \right)=\sum{xy}\]
求解 b 和 m 的这些方程以表明
\[\begin{align} & m=\frac{n\left( \sum{xy} \right)-\left( \sum{x} \right)\left( \sum{y} \right)}{n\left(\sum{{{x}^{2}}} \right)-{{\left( \sum{x} \right)}^{2}}} \\ & b=\frac{\sum{y-m\left( \sum{x}\right)}}{n} \\ \end{align}\]
解决方案: 从
\[ nb+m\left( \sum{x} \right)=\sum{y}\]
\[b\left( \sum{x} \right)+m\left( \sum{x^2} \right)=\sum{xy}\]
我们有两个方程和两个未知数(m 和 b)
我们得到将第一个方程乘以 \(\left( \sum{x} \right)\) 和第二个乘以 -n 我们得到
\[\begin{align} & nb\left( \sum{x} \right)+m{{\left( \sum{x} \right)}^{2}}=\left( \sum{y}\right)\left(\sum{x} \right) \\ & -nb\left( \sum{x} \right)-mn\left( {{\sum{x}}^{2}}\right)=n\sum{xy} \\ \end{align}\]
现在添加这些:
\[m\left( {{\left( \sum{x} \right)}^{2}}-n\left( {{\sum{x}}^{2}} \right) \right)=\left( \sum{x} \right)\left(\sum{y} \right)-n\left( \sum{xy} \right)\]
\[\Rightarrow \,\,\,\,m=\frac{\left( \sum{x} \right)\left( \sum{y} \right)-n\left( \sum{xy} \right)}{{{\left( \sum{x} \right)}^{2}}-n\left( {{\sum{x}}^{2}} \right)}=\frac{n\left( \sum{xy} \right)-\left( \sum{x} \right)\left( \sum{y} \right)}{n\left( {{\sum{x}}^{2}} \right)-{{\left( \sum{x} \right)}^{2}}}\]
现在,从这个等式:
\[nb+m\left( \sum{x} \right)=\left( \sum{y} \right)\]
我们可以解决 乙 :
\[nb+m\left( \sum{x} \right)=\left( \sum{y} \right)\,\,\Rightarrow \,\,\,nb=\left( \sum{y} \right)-m\left( \sum{x} \right)\,\Rightarrow \,\,\,b=\frac{\left( \sum{y} \right)-m\left( \sum{x} \right)}{n}\]
问题2: 确定相关系数并为以下数据集绘制带有回归系数的回归线图。
森林火灾和土地被烧毁。火灾次数及烧毁面积如下
火灾 (x) |
72 |
69 |
58 |
47 |
84 |
62 |
57 |
45 |
英亩(和) |
62 |
41 |
19 |
26 |
51 |
15 |
30 |
15 |
解决方案: (a) 得到如下散点图:
根据上面的散点图,我们观察到存在中等至强的正线性关联。
(b) 另一方面,我们有下表显示了计算 Pearson 相关所需的计算:我们得到
X |
和 |
X² |
Y² |
XY |
|
72 |
62 |
5184 |
3844 |
4464 |
|
69 |
41 |
4761 |
1681 |
2829 |
|
58 |
19 |
3364 |
361 |
1102 |
|
47 |
26 |
2209 |
676 |
1222 |
|
84 |
51 |
7056 |
2601 |
4284 |
|
62 |
15 |
3844 |
225 |
930 |
|
57 |
30 |
3249 |
900 |
1710 |
|
45 |
15 |
2025 |
225 |
675 |
|
和 |
494 |
259 |
31692 |
10513 |
17216 |
皮尔逊相关 r 计算为
\[r = \frac{n\sum\limits_{i=1}^{n}{{{x}_{i}}{{y}_{i}}}-\left( \sum\limits_{i=1}^{n}{{{x}_{i}}} \right)\left( \sum\limits_{i=1}^{n}{{{y}_{i}}} \right)}{\sqrt{n\left( \sum\limits_{i=1}^{n}{x_{i}^{2}} \right)-{{\left( \sum\limits_{i=1}^{n}{{{x}_{i}}} \right)}^{2}}}\sqrt{n\left( \sum\limits_{i=1}^{n}{y_{i}^{2}} \right)-{{\left( \sum\limits_{i=1}^{n}{{{y}_{i}}} \right)}^{2}}}} = \frac{8 \times {17216}-{494}\times {259}}{\sqrt{8\times {31692}-{494}^{2}}\sqrt{8\times 10513-{259}^{2}}}\]
\[=0.7692\]
(c) 决定系数是
\[{{r}^{2}}={0.7692}^{2}= {0.5917}\]
这意味着 Acres(y) 中 59.17% 的变化由 Fires (x) 解释。
(d) 计算回归系数
\[b=\frac{n\left( \sum\limits_{i=1}^{n}{{{x}_{i}}{{y}_{i}}} \right)-\left( \sum\limits_{i=1}^{n}{{{x}_{i}}} \right)\left( \sum\limits_{i=1}^{n}{{{y}_{i}}} \right)}{n\left( \sum\limits_{i=1}^{n}{x_{i}^{2}} \right)-{{\left( \sum\limits_{i=1}^{n}{{{x}_{i}}} \right)}^{2}}}=\frac{8 \times {17216}-{494}\times {259}}{8 \times {31692}-{494}^{2}}= 1.0297\]
and\[a=\bar{y}-b \bar{x}={32.375}{+} {1.0297}\,\cdot \, {61.75} = {-31.208}\]
这意味着回归方程是
\[\hat{y}= {-31.208}{+}{1.0297}\,x\]
Graphically:
问题 3: 您进行了一项研究,以确定每周在计算机实验室花费的平均时间与计算机课程的课程成绩是否相关。使用下面给出的数据,您对这个问题会得出什么结论?
student
|
# hours in lab
|
Course Grade
|
1
|
20
|
96
|
2
|
11
|
51
|
3
|
16
|
62
|
4
|
13
|
58
|
5
|
89
|
|
6
|
15
|
81
|
7
|
10
|
46
|
8
|
10
|
51
|
解决方案: 下表显示了计算 Pearson 所需的计算 相关性 : 我们得到
X
|
Y
|
X²
|
Y²
|
X·Y
|
|
20
|
96
|
400
|
9216
|
1920
|
|
11
|
51
|
121
|
2601
|
561
|
|
16
|
62
|
256
|
3844
|
992
|
|
13
|
58
|
169
|
3364
|
754
|
|
17
|
89
|
289
|
7921
|
1513
|
|
15
|
81
|
225
|
6561
|
1215
|
|
10
|
46
|
100
|
2116
|
460
|
|
10
|
51
|
100
|
2601
|
510
|
|
Sum
|
112
|
534
|
1660
|
38224
|
7925
|
皮尔逊相关 r 计算为
\[r = \frac{n\sum\limits_{i=1}^{n}{{{x}_{i}}{{y}_{i}}}-\left( \sum\limits_{i=1}^{n}{{{x}_{i}}} \right)\left( \sum\limits_{i=1}^{n}{{{y}_{i}}} \right)}{\sqrt{n\left( \sum\limits_{i=1}^{n}{x_{i}^{2}} \right)-{{\left( \sum\limits_{i=1}^{n}{{{x}_{i}}} \right)}^{2}}}\sqrt{n\left( \sum\limits_{i=1}^{n}{y_{i}^{2}} \right)-{{\left( \sum\limits_{i=1}^{n}{{{y}_{i}}} \right)}^{2}}}} = \frac{8 \times {7925}-{112}\times {534}}{\sqrt{8\times {1660}-{112}^{2}}\sqrt{8\times 38224-{534}^{2}}}\]
\[=0.9217\]
我们想检验相关系数的显着性。更具体地说,我们要测试
\[\begin{align}{{H}_{0}}:\rho {=} 0 \\ {{H}_{A}}:\rho {\ne} 0 \\ \end{align}\]
为了检验零假设,我们使用 t 检验。 t 统计量计算为
\[t= r \sqrt{\frac{n-2}{1-{{r}^{2}}}}= {0.9217} \times \sqrt{\frac{6}{1-{0.9217}^2}}= {5.8198}\]
此测试的双尾 p 值计算为
\[p=\Pr \left( |{{t}_{6}}|>5.8198 \right)=0.0011\]
由于\(p = 0.0011 {<} 0.05\) ,这意味着我们拒绝原假设 H 0 .
因此,我们有足够的证据支持实验室小时数与课程成绩之间的相关性显着不同于零的说法。