离群点异常值高杠杆值

A. spss 如何做异常点的检验

异常点。即：异常值
Spss中异常值检查方法如下：
检查异常值方法1：
最常用的方法就是对变量进行排序，这也是最简单的方法。排序后对照最大值和最小值、全距等统计量可以看出数据的离群状况。

检查异常值方法2：
散点图的优势就在于直观的呈现两两变量间的关系，尤其在两变量间的线性关联比较强的时候，如果有离群值，图形侦察的结果会很明显，不过（也包括矩阵散点等图形）其局限在于，其本质还是变量间的两两间的关系，更多的多维信息的提供还是需要经验去判断。

检查异常值方法3：
箱体图为我们提供了数据百分位数的概念，例如四分位数（25%和75%）是将该变量分成约4个部分，分别提供了数据不同分位点附件的离散性，而且同时提供描述数据集中性的中位数，这样在中间50%的数据上提供的信息将是异常丰富的。

检查异常值方法4：
在主要统计建模过程中大多会提供异常值或极端值的诊断，例如距离的测算：cook距离、杠杆值等；影响统计量：DfBeta、协方差比率等。它们均有相应的经验上的判断标准，如果有些指标没有相应的判断异常值的标准，则可以通过排序的方式，找到其相对大小。

检查异常值方法5：
标识异常个案，这里提供的是统计建模的方式侦查异常个案（注意它的结果有可能和我们其他方式侦查的结果有出处），这种方法主要通过两步聚类的思想，找到不同个案间的相似性，通过对所在类别的评价计算出异常索引，然后找到对应的ID号，则该个案可能为异常值，至于对这些异常个案怎么处理，分析人员作出何种决定，这个最好结合专业背景综合判断后续的处理方法。

检查异常值方法6：
如果涉及的是时序数据，控制图是不错的选择，在控制规则里提供了异常丰富的侦查异常个案的选项。
当然其他过程里也有一些细节的处理，例如，排列图、误差条形图、可视离散化、缺失值诊断、数据验证过程等。

B. 请教关于离群值的处理问题

我们在分析数据的时候，经常会碰到某些数据远远大于或小于其他数据，这些明显偏离的数据就是离群值，也叫奇异值、极端值。

离群值产生的原因大致有两点：
1.总体固有变异的极端表现，这是真实而正常的数据，只是在这次实验中表现的有些极端，这类离群值与其余观测值属于同一总体。
2.由于试验条件和实验方法的偶然性，或观测、记录、计算时的失误所产生的结果，是一种非正常的、错误的数据，这些数据与其余观测值不属于同一总体。

由于数据的分布不同，判断离群值的方法也有所差别，在此只介绍国标GB/T4883-2008对于正态分布情况下的离群值判断方法，其他分布情况下，我还没有找到相关资料。
对于离群值，国标也有一些概念定义：
1.检出水平
为检验出离群值而指定的统计检验的显著性水平，和大多数检验一样，α一般为0.05
2.剔除水平
为检验出离群值是否为高度离群值而指定的统计检验的显著性水平，剔除水平α*不应超过检出水平α，通常为0.01，个人认为这个剔除水平就是判断该离群值是否需要实际剔除，也就是说该离群值有可能是第二类原因产生的非正常样本数据。
3.统计离群值
在剔除水平下统计检验为显著的离群值
4.歧离值
在检出水平下显著，而在剔除水平下不显著的离群值。
================================================
正态分布情况下的离群值判断方法，大致可分为两类：可以检验剔除水平和不可检验剔除水平
一、可检验剔除水平

1.总体标准差已知时，奈尔检验法
对样本数据按从小到大顺序排序，
如怀疑最大值X(n)为最大值，则计算统计量Rn

确定检出水平α，查奈尔系数表（见国标GB/T4883-2008），得出临界值
当Rn>R1-α(n)时，判定X(n)为离群值，否则不能判定
确定剔除水平α*，查奈尔系数表（见国标GB/T4883-2008），得出临界值
当Rn>R1-α*(n)时，判定X(n)为统计离群值，否则不能判定

如怀疑最小值X(1)为最大值，则计算统计量Rn'

确定检出水平α，查奈尔系数表（见国标GB/T4883-2008），得出临界值
当Rn'>R1-α(n)时，判定X(1)为离群值，否则不能判定
确定剔除水平α*，查奈尔系数表（见国标GB/T4883-2008），得出临界值
当Rn'>R1-α*(n)时，判定X(1)为统计离群值，否则不能判定

2.总体标准差未知时，格拉布斯检验法
对样本数据按从小到大顺序排序，然后计算样本均值和样本标准差s

如怀疑最大值X(n)为最大值，计算统计量Gn

确定检出水平α，查出格拉布斯系数表（见国标GB/T4883-2008），得出临界值
当Gn>G1-α(n)时，判定X(n)为离群值，否则不能判定
确定剔除水平α*，查出格拉布斯系数表（见国标GB/T4883-2008），得出临界值
当Gn>G1-α*(n)时，判定X(n)为统计离群值，否则不能判定

如怀疑最小值X(1)为最大值，则计算统计量Gn'

确定检出水平α，查出格拉布斯系数表（见国标GB/T4883-2008），得出临界值
当Gn'>G1-α(n)时，判定X(1)为离群值，否则不能判定
确定剔除水平α*，查出格拉布斯系数表（见国标GB/T4883-2008），得出临界值
当Gn'>G1-α*(n)时，判定X(1)为统计离群值，否则不能判定

3.总体标准差未知时，狄克逊(Dixon)检验法
对样本数据按从小到大顺序排序
样本量n在3-30时
计算统计量

样本量n在30-100时
计算统计量

确定检出水平α，查狄克逊系数表（见国标GB/T4883-2008），得出临界值
当Dn>D1-α(n)时，判定高端值X(n)为离群值，否则不能判定
当Dn'>D1-α*(n)时，判定低端值X(1)为离群值，否则不能判定
4.总体标准差未知时，偏度-峰度检验法
我们知道峰度和偏度是判断数据是否为正态分布的指标，而离群值则明显偏离样本主体，因此我们也可以使用偏度-峰度检验法来判断离群值
<1>单侧情形——偏度检验法
当离群值处于高端或低端一侧时，可使用偏度检验法判断，首先构造偏度统计量bs

确定检出水平α，查偏度检验系数表（见国标GB/T4883-2008），得出临界值
当bs>b1-α(n)时，判定高端值X(n)为离群值，否则不能判定
当bs'>b1-α(n)时，判定低端值X(1)为离群值，否则不能判定
确定剔除水平α*，查偏度系数表（见国标GB/T4883-2008），得出临界值
当bs>b1-α*(n)时，判定高端值X(n)为统计离群值，否则不能判定
当bs'>b1-α*(n)时，判定低端值X(1)为统计离群值，否则不能判定
<2>双侧情形——峰度检验法
当高端、低端两侧都可能出现离群值时，可使用峰度检验法判断，首先构造峰度统计量bk

确定检出水平α，查峰度检验系数表（见国标GB/T4883-2008），得出临界值
当bk>b'1-α(n)时，判定离均值最远的观测值为离群值，否则判定未发现离群值

确定剔除水平α*，查峰度系数表（见国标GB/T4883-2008），得出临界值
当bk>b'1-α*(n)时，判定离均值最远的观测值为统计离群值，否则未发现统计离群值。

二、不可检验剔除水平
1.观察法
根据直方图或四分位图进行判断，现在很多统计软件在绘制这两种图时，都会将离群值特殊标记，一般认为在均值±3倍标准差以外都属于离群值，高出四分位距两倍以上也属于离群值。
2.莱伊达法
又称为3σ准则，在已知总体标准差的情况下使用σ进行判断，但是实际上总体标准差往往未知，因此常使用样本标准差s替代σ，以样本均值替代真值，具体为

Xd是疑似离群值，X为均值
如果疑似离群值与均值的差值大于三倍标准差，则可认为该值为离群值。
3.肖维特法
统计量

如果计算出的ω值大于肖维特系数表中相应测定次数n时的值，则可认为该值为异常值

3.罗曼诺夫斯基检验法
又称t检验，首先将疑似离群值剔除，然后计算剔除后的均值和标准差

根据测量次数n和显著性水平α，进行t检验，得出系数k，如果

则认为xj为离群值

4.4d检验法

5.中位数与算数平均值比较判断法
我们知道中位数居于一组数据中间的数，而均值则可认为是一组数字的“重心”或“平衡点”，当二者相等的时候，可认为这组数字是绝对平衡、没有离群值的，我们可以据此进行判断，当二者相差较大时，表面该组数据可能存在离群值，将疑似离群值剔除之后，再计算均值和中位数，如果二者相差变小，则可认为被剔除值是离群值。
======================================
判断离群值方法的选择与应注意的问题
1.合理选择离群值的判断方法
离群值的判断方法很多，实际中到底选用哪一个，需根据对测量要求的精准度和测量次数多少来综合确定，一般情况下，测量次数多于30，或大于10次且只做粗略判断时，使用莱伊达法即可；判断精度要求不高，但要求快捷方便时，可以选用4d和中位数与算数平均数比较法。实际上，对于不用查表的方法大都比较便捷，但是代价是精度不够，且无法检验剔除水平，相反一些需要借助查表的方法精度较高但是计算复杂，各有利弊。
2.准确找出离群值
一般情况下，测量列中残差较大者就是疑似离群值，它也就是样本数据中的最大值或最小值
3.查找产生离群值的原因
已经判断为离群值的，即使是统计离群值，也不要简单剔除了之，应进一步分析产生离群值的原因。

C. 从数据集中剔除异常数据一般用什么数据算法

常用的方法有：
1、可以通过“分析”下“描述统计“下“频率”的”绘制“直方图”，看图发现频数出现最少的值，就可能是异常值，但还要看距离其它情况的程度。
2、可通过“分析”下的“描述统计”下的“探索”下的“绘制”选项的“叶茎图”，看个案偏离箱体边缘（上端、下端）的距离是箱体的几倍，“○”代表在1.5-3倍之间（离群点），“*”代表超过3倍（极端离群点）。
3、可以通过“分析”下“描述统计“下“描述”下的选项“将标准化存为变量Z”，选择相应的变量，“确定”。将生成新变量，如果值超过2，肯定是异常值。
-

D. 怎么对统计数据的异常值进行判断和处理

异常值也称离群值，具体地说，判断标准依据实际情况，根据业务知识及实际需要而定。

上界=75%分位数+（75%分位数-25%分位数）*1.5

下界=25%分位数- （75%分位数-25%分位数）*1.5

比上界大的和比下界小的都是异常值。

(4)离群点异常值高杠杆值扩展阅读：

取检出水平α为5%，剔除水平α’为1%，按双侧情形检验，从附表中查得检出水平α对应格拉布斯检验临界值G0.975,剔除水平α’对应格拉布斯检验临界值G0.995。

若Gn>Gn’，且Gn>G0.975，则判断fn为异常值，否则，判断无异常值；

若Gn>Gn’，且Gn>G0.995，则判断fn为高度异常值，可考虑剔除；

若Gn’>Gn，且Gn’>G0.975，则判断f1为异常值，否则，判断无异常值；

若Gn’>Gn，且Gn’>G0.995，则判断f1为高度异常值，可考虑剔除；

E. 统计学里异常值的概念

异常值也称离群值，具体地说，判断标准依据实际情况，根据业务知识及实际需要而定。
要是一般地说，可以用公式计算：
upper adjacent value = 75th percentile + (75th percentile – 25th percentile) * 1.5
lower adjacent value = 25th percentile – (75th percentile – 25th percentile) * 1.5
翻译过来：
上界=75%分位数+（75%分位数-25%分位数）*1.5
下界=25%分位数- （75%分位数-25%分位数）*1.5
比上界大的，和比下界小的都是异常值。
所谓75%分位数，就是把数据从小到大排除，当中的即中位数，也是50%分位数，在75%位置的值即75%分位数，其它同理。

F. 如何判断和处理离群点

简单判断，你可以用公式取得每个值与均值的绝对差值，至于绝对差值多大的时候判断为离群值，你自己掌握就可以了。
绝对差值=ABS(值-average(所有值))

G. 点状图中的离群值是什么

离群值(outlier)，也称逸出值，是指在数据中有一个或几个数值与其他数值相比差异较大。
如果有某一个点或者某几个点偏离大多数点，也就是离群值，通过散点图可以一目了然。
比如你所提供的点状图中最右边的点

H. 一道大学统计学关于离群点的题目，16题知道答案但不知道为什么。求大佬详解，多谢！

假设车速是正态分布，选项D速度超过正负三倍标准差范围了

I. 统计量受异常值什么影响最大

异常值包括缺失值，离群值等，是指数据中有异常表现的数据点。
离群值是指y远离模型预测值的点，也就是偏离数据范围很远的点。
杠杆点是观测点x是异常的，但是y的值却在合理的预测范围内，杠杆点对模型的拟合影响很大值得关注。

异常值中缺失值一般根据缺失值的产生状况有不同处理，有随机缺失，完全随机缺失和完全非随机缺失三类，一般处理方法包括去缺失值，插补法等。
缺失值的检测在r中有VIM包可以查看数据中的确实值的情况。

J. 什么是高杠杆点

支点：杠杆绕着转动的固定点，一般情况下该点是不移动的。简单一点讲，就是在杠杆转动时，唯一的一个不动点。你只要找到这一点，就将其判断为支点。动力：使杠杆转动的力。这个力的作用点在杠杆上，你需要知道的是这个力的大小及方向。题目一般都会把这两个条件告诉你，然后你将这个力的方向延长，这条画出来的虚线我们称之为动力作用线。阻力：阻碍杠杆转动的力。阻力的方向的判断比较难，但是必须知道。举例子好理解：用木头撬动石头时，杠杆是要克服石头重力转动的，所以此时石头重力是阻力，方向是竖直向下。初中题目如果没有直接或间接告诉你阻力的方向和大小，一般就是要克服重力转动的，类似于上面的题目。阻力作用线和动力作用线一样，需要画出来。动力臂：从支点到动力作用线的距离。只要画出过支点的垂直于动力作用线的线段，这个线段长度就是动力臂的长度，所谓距离，就是支点离线段的最近距离嘛！阻力臂：从支点到阻力作用线的距离。杠杆是个物理模型．通常支点就是相对”固定”的位置．用筷子夹食物，那么支点在筷子与手的上部（不是手指）接触的部位．有些情况下支点是移动的，例如动滑轮看成动力臂为阻力臂二倍的杠杆时．还有时杠杆的支点是可以任意选定的．例如一座”独木桥”的问题，可将支点选在任意一端（甚至桥上任意一点）