怎样用方差分析法来检验回归方程的显著性?
1、回归方程的显著性检验
(1) 回归平方和与剩余平方和
建立回归方程以后, 回归效果如何呢？因变量与自变量是否确实存在线性关系呢？这是需要进行统计检验才能加以肯定或否定, 为此, 我们要进一步研究因变量取值的变化规律。的每次取值是有波动的, 这种波动常称为变差, 每次观测值的变差大小, 常用该次观侧值与次观测值的平均值的差(称为离差)来表示, 而全部次观测值的总变差可由总的离差平方和
,
其中:
称为回归平方和, 是回归值与均值之差的平方和, 它反映了自变量的变化所引起的的波动, 其自由度(为自变量的个数)。
称为剩余平方和(或称残差平方和), 是实测值与回归值之差的平方和, 它是由试验误差及其它因素引起的, 其自由度。总的离差平方和的自由度为。
如果观测值给定, 则总的离差平方和是确定的, 即是确定的, 因此大则小, 反之, 小则大, 所以与都可用来衡量回归效果, 且回归平方和越大则线性回归效果越显著, 或者说剩余平方和越小回归效果越显著, 如果＝0, 则回归超平面过所有观测点; 如果大, 则线性回归效果不好。
(2) 复相关系数
为检验总的回归效果, 人们也常引用无量纲指标
, (3.1)
或
, (3.2)
称为复相关系数。因为回归平方和实际上是反映回归方程中全部自变量的“方差贡献”, 因此就是这种贡献在总回归平方和中所占的比例, 因此表示全部自变量与因变量的相关程度。显然。复相关系数越接近1, 回归效果就越好, 因此它可以作为检验总的回归效果的一个指标。但应注意, 与回归方程中自变量的个数及观测组数有关, 当相对于并不很大时, 常有较大的值, 因此实际计算中应注意与的适当比例, 一般认为应取至少为的5到10倍为宜。
(3) 检验
要检验与是否存在线性关系, 就是要检验假设
, (3.3)
当假设成立时, 则与无线性关系, 否则认为线性关系显著。检验假设应用统计量, (3.4)
这是两个方差之比, 它服从自由度为及的分布, 即
, (3.5)
用此统计量可检验回归的总体效果。如果假设成立, 则当给定检验水平α下, 统计量应有
≤, (3.6)
对于给定的置信度α, 由分布表可查得的值, 如果根据统计量算得的值为, 则拒绝假设, 即不能认为全部为O, 即个自变量的总体回归效果是显著的, 否则认为回归效果不显著。
利用检验对回归方程进行显著性检验的方法称为方差分析。上面对回归效果的讨论可归结于一个方差分析表中, 如表3.1。
表3.1 方差分析表
来 源
平方和
自由度
方 差
方差比
回 归
剩 余
总 计
根据与的定义, 可以导出与的以下关系:
,
。
利用这两个关系式可以解决值多大时回归效果才算是显著的问题。因为对给定的检验水平α, 由分布表可查出的临界值, 然后由即可求出的临界值:
, (3.7)
当时, 则认为回归效果显著。
例3.1 利用方差分析对例2.1的回归方程进行显著性检验。
方差分析结果见表3.2。
表3.2
来 源
平方和
自由度
方 差
方差比
回 归
剩 余
总 计
取检验水平α＝0.05, 查分布表得, 而, 所以例2.1的回归方程回归效果是显著的。
2、回归系数的显著性检验
前面讨论了回归方程中全部自变量的总体回归效果, 但总体回归效果显著并不说明每个自变量对因变量都是重要的, 即可能有某个自变量对并不起作用或者能被其它的的作用所代替, 因此对这种自变量我们希望从回归方程中剔除, 这样可以建立更简单的回归方程。显然某个自变量如果对作用不显著, 则它的系数就应取值为0, 因此检验每个自变量是否显著, 就要检验假设:, , (3.8)
(1) 检验:
在假设下, 可应用检验:
, , (3.9)
其中为矩阵的对角线上第个元素。
对给定的检验水平α, 从分布表中可查出与α对应的临界值, 如果有, 则拒绝假设, 即认为与0有显著差异, 这说明对有重要作用不应剔除; 如果有则接受假设, 即认为成立, 这说明对不起作用, 应予剔除。
(2) 检验:
检验假设, 亦可用服从自由度分别为1与的分布的统计量
, (3.10)
其中为矩阵的主对角线上第个元素。对于给定的检验水平α, 从分布表中可查得临界, 如果有, 则拒绝假设, 认为对有重要作用。如果, 则接受假设, 即认为自变量对不起重要作用, 可以剔除。一般一次检验只剔除一个自变量, 且这个自变量是所有不显著自变量中值最小者, 然后再建立回归方程, 并继续进行检验, 直到建立的回归方程及各个自变量均显著为止。
最后指出, 上述对各自变量进行显著性检验采用的两种统计量与实际上是等价的, 因为由(3.9)式及(3.10)式知, 有
(3.11)
例3.2 对例2.1的回归方程各系数进行显著性检验。
经计算:
,
于是
,
其中＝0.002223, ＝0.004577。由(3.7)式知
,
,
查分布表得, , 因为, , 所以两个自变量及都是显著的。又由, 说明体长比胸围对体重的影响更大。
如果应用检验, 查分布表有, 又由
,
,
因为, , 因此及都是显著的, 均为重要变量, 应保留在回归方程中。
(3) 偏回归平方和
检验某一自变量是否显著, 还可应用偏回归平方和进行检验。
个自变量的回归平方和为
,
如果自个自变量中去掉, 则剩下的个自变量的回归平方和设为, 并设
,
则就表示变量在回归平方和中的贡献, 称为的偏回归平方和或贡献。可以证明
偏回归平方和越大, 说明在回归方程中越重要, 对的作用和影响越大, 或者说对回归方程的贡献越大。因此偏回归平方和也是用来衡量每个自变量在回归方程中作用大小(贡献大小)的一个指标。
例如在例2.1中, 和的偏回归平方和分别为
,
,
, 说明在回归方程中的作用比大。
又如在例2.2中及的偏回归平方和分别为:
,
,
,
,
的值最小, 即在回归方程中所起的作用最小, 最大, 说明在回归方程中所起的作用最大。
, (3.12)
~
方差分析回归方程中的f、均方、 df、 SIG表示什么?
答：1、回归是方法，残差在数理统计中是指实际观察值与估计值(拟合值)之间的差，平方和有很多个，不同的平方和的意思不一样，与样本量及模型中自变量的个数有关，样本量越大，相应变异就越大 2、df是自由度，是自由取值的变量个数 3、均方指的是一组数的平方和的平均值，在统计学中，表示离差平方和...
logistic回归模型中常用什么进行系数的显著性检验
答：回归模型的显著性检验采用方差分析方法进行。回归系数显著性检验（significance test ofregression coefficient)是对于线性回归模型y，=Bo+B1xu +?+B.xip+ei(i=1.?.n），检验一个或几个回归系数组成的系数向量B，x1（q≤p）对于响应变量是否有显著影响的方法。F检验：线性回归方程显著性的另外一种检验...
统计学作业:已知方差分析表,怎样计算相关系数、判定系数和回归方程?有...
答：SSR 除以SST 的商再开2次方根，即判定系数R2开平方根
什么是方差分析和回归分析?
答：回归分析是研究各因素对结果影响的一种模拟经验方程的办法，回归分析（regression analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的变量的多少，分为一元回归和多元回归分析。回归分析中，会用到方差分析来判断各变量对结果的影响程度，从而确定哪些...
方差分析是否有应用的条件?
答：方差分析的应用条件为：1、各样本须是相互独立的随机样本；2、各样本来自正态分布总体；3、各总体方差相等，即方差齐。方差分析的用途：1、两个或多个样本均数间的比较；2、分析两个或多个因素间的交互作用；3、回归方程的线性假设检验；4、多元线性回归分析中偏回归系数的假设检验；5、两样本的方差齐...
arch检验结果怎么看是否存在异方差
答：应用统计软件法、F检验法。1、应用统计软件法：如SPSS、SAS等，可以直接应用方差分析方法进行异方差的检验，可以通过比较不同组的方差来推断是否存在异方差。2、F检验法：利用F分布对异方差进行检验，这种方法通过比较回归方程中异方差项的系数是否显著为0来推断是否存在异方差。
什么条件下方差分析可以用来做统计分析?
答：方差分析的应用条件为：1、各样本须是相互独立的随机样本；2、各样本来自正态分布总体；3、各总体方差相等，即方差齐。方差分析的用途：1、两个或多个样本均数间的比较；2、分析两个或多个因素间的交互作用；3、回归方程的线性假设检验；4、多元线性回归分析中偏回归系数的假设检验；5、两样本的方差齐...
元线性回归方程有效性检验及解释率的计算方法是
答：【答案】：B 回归模型有效性检验常用的方法包括：测定系数和相关系数的拟合程度的测定，回归系数b的检验，回归方程整体检验判定，以及估计标准差的计算等。通常使用方差分析的思想和方法进行。相关系数的平方(r2)等于回归平方和在总平方和中所占比例，能够说明y变量的变异有多少可以由x解释，被称为测定系数...
回归方程直线转折点怎么确定
答：回归方程的直线转折点通常称为拐点，也称为断点。拐点是指在某个点上，回归方程中的斜率发生了变化，因此，在这个点之前和之后，回归方程的斜率不同。拐点的确定方法取决于所使用的回归分析方法。如果使用最小二乘法进行线性回归分析，可以通过计算残差平方和或方差分析来确定拐点。残差平方和方法可以通过...
方差分析与回归分析的异同
答：二、方差分析与回归分析的不同点 1、原理不同 方差分析：方差分析的基本原理是认为不同处理组的均数间的差别基本来源有两个，分别为实验条件和 随机误差。回归分析：回归分析的原理是利用实验获得的数据构建解释变量对响应变量的线性模型，当利用这个解释模型来预测未知数据时为预测模型。2、分析方法不同 ...
