離群點異常值高杠桿值

A. spss 如何做異常點的檢驗

異常點。即：異常值
Spss中異常值檢查方法如下：
檢查異常值方法1：
最常用的方法就是對變數進行排序，這也是最簡單的方法。排序後對照最大值和最小值、全距等統計量可以看出數據的離群狀況。

檢查異常值方法2：
散點圖的優勢就在於直觀的呈現兩兩變數間的關系，尤其在兩變數間的線性關聯比較強的時候，如果有離群值，圖形偵察的結果會很明顯，不過（也包括矩陣散點等圖形）其局限在於，其本質還是變數間的兩兩間的關系，更多的多維信息的提供還是需要經驗去判斷。

檢查異常值方法3：
箱體圖為我們提供了數據百分位數的概念，例如四分位數（25%和75%）是將該變數分成約4個部分，分別提供了數據不同分位點附件的離散性，而且同時提供描述數據集中性的中位數，這樣在中間50%的數據上提供的信息將是異常豐富的。

檢查異常值方法4：
在主要統計建模過程中大多會提供異常值或極端值的診斷，例如距離的測算：cook距離、杠桿值等；影響統計量：DfBeta、協方差比率等。它們均有相應的經驗上的判斷標准，如果有些指標沒有相應的判斷異常值的標准，則可以通過排序的方式，找到其相對大小。

檢查異常值方法5：
標識異常個案，這里提供的是統計建模的方式偵查異常個案（注意它的結果有可能和我們其他方式偵查的結果有出處），這種方法主要通過兩步聚類的思想，找到不同個案間的相似性，通過對所在類別的評價計算出異常索引，然後找到對應的ID號，則該個案可能為異常值，至於對這些異常個案怎麼處理，分析人員作出何種決定，這個最好結合專業背景綜合判斷後續的處理方法。

檢查異常值方法6：
如果涉及的是時序數據，控制圖是不錯的選擇，在控制規則里提供了異常豐富的偵查異常個案的選項。
當然其他過程里也有一些細節的處理，例如，排列圖、誤差條形圖、可視離散化、缺失值診斷、數據驗證過程等。

B. 請教關於離群值的處理問題

我們在分析數據的時候，經常會碰到某些數據遠遠大於或小於其他數據，這些明顯偏離的數據就是離群值，也叫奇異值、極端值。

離群值產生的原因大致有兩點：
1.總體固有變異的極端表現，這是真實而正常的數據，只是在這次實驗中表現的有些極端，這類離群值與其餘觀測值屬於同一總體。
2.由於試驗條件和實驗方法的偶然性，或觀測、記錄、計算時的失誤所產生的結果，是一種非正常的、錯誤的數據，這些數據與其餘觀測值不屬於同一總體。

由於數據的分布不同，判斷離群值的方法也有所差別，在此只介紹國標GB/T4883-2008對於正態分布情況下的離群值判斷方法，其他分布情況下，我還沒有找到相關資料。
對於離群值，國標也有一些概念定義：
1.檢出水平
為檢驗出離群值而指定的統計檢驗的顯著性水平，和大多數檢驗一樣，α一般為0.05
2.剔除水平
為檢驗出離群值是否為高度離群值而指定的統計檢驗的顯著性水平，剔除水平α*不應超過檢出水平α，通常為0.01，個人認為這個剔除水平就是判斷該離群值是否需要實際剔除，也就是說該離群值有可能是第二類原因產生的非正常樣本數據。
3.統計離群值
在剔除水平下統計檢驗為顯著的離群值
4.歧離值
在檢出水平下顯著，而在剔除水平下不顯著的離群值。
================================================
正態分布情況下的離群值判斷方法，大致可分為兩類：可以檢驗剔除水平和不可檢驗剔除水平
一、可檢驗剔除水平

1.總體標准差已知時，奈爾檢驗法
對樣本數據按從小到大順序排序，
如懷疑最大值X(n)為最大值，則計算統計量Rn

確定檢出水平α，查奈爾系數表（見國標GB/T4883-2008），得出臨界值
當Rn>R1-α(n)時，判定X(n)為離群值，否則不能判定
確定剔除水平α*，查奈爾系數表（見國標GB/T4883-2008），得出臨界值
當Rn>R1-α*(n)時，判定X(n)為統計離群值，否則不能判定

如懷疑最小值X(1)為最大值，則計算統計量Rn'

確定檢出水平α，查奈爾系數表（見國標GB/T4883-2008），得出臨界值
當Rn'>R1-α(n)時，判定X(1)為離群值，否則不能判定
確定剔除水平α*，查奈爾系數表（見國標GB/T4883-2008），得出臨界值
當Rn'>R1-α*(n)時，判定X(1)為統計離群值，否則不能判定

2.總體標准差未知時，格拉布斯檢驗法
對樣本數據按從小到大順序排序，然後計算樣本均值和樣本標准差s

如懷疑最大值X(n)為最大值，計算統計量Gn

確定檢出水平α，查出格拉布斯系數表（見國標GB/T4883-2008），得出臨界值
當Gn>G1-α(n)時，判定X(n)為離群值，否則不能判定
確定剔除水平α*，查出格拉布斯系數表（見國標GB/T4883-2008），得出臨界值
當Gn>G1-α*(n)時，判定X(n)為統計離群值，否則不能判定

如懷疑最小值X(1)為最大值，則計算統計量Gn'

確定檢出水平α，查出格拉布斯系數表（見國標GB/T4883-2008），得出臨界值
當Gn'>G1-α(n)時，判定X(1)為離群值，否則不能判定
確定剔除水平α*，查出格拉布斯系數表（見國標GB/T4883-2008），得出臨界值
當Gn'>G1-α*(n)時，判定X(1)為統計離群值，否則不能判定

3.總體標准差未知時，狄克遜(Dixon)檢驗法
對樣本數據按從小到大順序排序
樣本量n在3-30時
計算統計量

樣本量n在30-100時
計算統計量

確定檢出水平α，查狄克遜系數表（見國標GB/T4883-2008），得出臨界值
當Dn>D1-α(n)時，判定高端值X(n)為離群值，否則不能判定
當Dn'>D1-α*(n)時，判定低端值X(1)為離群值，否則不能判定
4.總體標准差未知時，偏度-峰度檢驗法
我們知道峰度和偏度是判斷數據是否為正態分布的指標，而離群值則明顯偏離樣本主體，因此我們也可以使用偏度-峰度檢驗法來判斷離群值
<1>單側情形——偏度檢驗法
當離群值處於高端或低端一側時，可使用偏度檢驗法判斷，首先構造偏度統計量bs

確定檢出水平α，查偏度檢驗系數表（見國標GB/T4883-2008），得出臨界值
當bs>b1-α(n)時，判定高端值X(n)為離群值，否則不能判定
當bs'>b1-α(n)時，判定低端值X(1)為離群值，否則不能判定
確定剔除水平α*，查偏度系數表（見國標GB/T4883-2008），得出臨界值
當bs>b1-α*(n)時，判定高端值X(n)為統計離群值，否則不能判定
當bs'>b1-α*(n)時，判定低端值X(1)為統計離群值，否則不能判定
<2>雙側情形——峰度檢驗法
當高端、低端兩側都可能出現離群值時，可使用峰度檢驗法判斷，首先構造峰度統計量bk

確定檢出水平α，查峰度檢驗系數表（見國標GB/T4883-2008），得出臨界值
當bk>b'1-α(n)時，判定離均值最遠的觀測值為離群值，否則判定未發現離群值

確定剔除水平α*，查峰度系數表（見國標GB/T4883-2008），得出臨界值
當bk>b'1-α*(n)時，判定離均值最遠的觀測值為統計離群值，否則未發現統計離群值。

二、不可檢驗剔除水平
1.觀察法
根據直方圖或四分點陣圖進行判斷，現在很多統計軟體在繪制這兩種圖時，都會將離群值特殊標記，一般認為在均值±3倍標准差以外都屬於離群值，高出四分位距兩倍以上也屬於離群值。
2.萊伊達法
又稱為3σ准則，在已知總體標准差的情況下使用σ進行判斷，但是實際上總體標准差往往未知，因此常使用樣本標准差s替代σ，以樣本均值替代真值，具體為

Xd是疑似離群值，X為均值
如果疑似離群值與均值的差值大於三倍標准差，則可認為該值為離群值。
3.肖維特法
統計量

如果計算出的ω值大於肖維特系數表中相應測定次數n時的值，則可認為該值為異常值

3.羅曼諾夫斯基檢驗法
又稱t檢驗，首先將疑似離群值剔除，然後計算剔除後的均值和標准差

根據測量次數n和顯著性水平α，進行t檢驗，得出系數k，如果

則認為xj為離群值

4.4d檢驗法

5.中位數與算數平均值比較判斷法
我們知道中位數居於一組數據中間的數，而均值則可認為是一組數字的「重心」或「平衡點」，當二者相等的時候，可認為這組數字是絕對平衡、沒有離群值的，我們可以據此進行判斷，當二者相差較大時，表面該組數據可能存在離群值，將疑似離群值剔除之後，再計算均值和中位數，如果二者相差變小，則可認為被剔除值是離群值。
======================================
判斷離群值方法的選擇與應注意的問題
1.合理選擇離群值的判斷方法
離群值的判斷方法很多，實際中到底選用哪一個，需根據對測量要求的精準度和測量次數多少來綜合確定，一般情況下，測量次數多於30，或大於10次且只做粗略判斷時，使用萊伊達法即可；判斷精度要求不高，但要求快捷方便時，可以選用4d和中位數與算數平均數比較法。實際上，對於不用查表的方法大都比較便捷，但是代價是精度不夠，且無法檢驗剔除水平，相反一些需要藉助查表的方法精度較高但是計算復雜，各有利弊。
2.准確找出離群值
一般情況下，測量列中殘差較大者就是疑似離群值，它也就是樣本數據中的最大值或最小值
3.查找產生離群值的原因
已經判斷為離群值的，即使是統計離群值，也不要簡單剔除了之，應進一步分析產生離群值的原因。

C. 從數據集中剔除異常數據一般用什麼數據演算法

常用的方法有：
1、可以通過「分析」下「描述統計「下「頻率」的」繪制「直方圖」，看圖發現頻數出現最少的值，就可能是異常值，但還要看距離其它情況的程度。
2、可通過「分析」下的「描述統計」下的「探索」下的「繪制」選項的「葉莖圖」，看個案偏離箱體邊緣（上端、下端）的距離是箱體的幾倍，「○」代表在1.5-3倍之間（離群點），「*」代表超過3倍（極端離群點）。
3、可以通過「分析」下「描述統計「下「描述」下的選項「將標准化存為變數Z」，選擇相應的變數，「確定」。將生成新變數，如果值超過2，肯定是異常值。
-

D. 怎麼對統計數據的異常值進行判斷和處理

異常值也稱離群值，具體地說，判斷標准依據實際情況，根據業務知識及實際需要而定。

上界=75%分位數+（75%分位數-25%分位數）*1.5

下界=25%分位數- （75%分位數-25%分位數）*1.5

比上界大的和比下界小的都是異常值。

(4)離群點異常值高杠桿值擴展閱讀：

取檢出水平α為5%，剔除水平α』為1%，按雙側情形檢驗，從附表中查得檢出水平α對應格拉布斯檢驗臨界值G0.975,剔除水平α』對應格拉布斯檢驗臨界值G0.995。

若Gn>Gn』，且Gn>G0.975，則判斷fn為異常值，否則，判斷無異常值；

若Gn>Gn』，且Gn>G0.995，則判斷fn為高度異常值，可考慮剔除；

若Gn』>Gn，且Gn』>G0.975，則判斷f1為異常值，否則，判斷無異常值；

若Gn』>Gn，且Gn』>G0.995，則判斷f1為高度異常值，可考慮剔除；

E. 統計學里異常值的概念

異常值也稱離群值，具體地說，判斷標准依據實際情況，根據業務知識及實際需要而定。
要是一般地說，可以用公式計算：
upper adjacent value = 75th percentile + (75th percentile – 25th percentile) * 1.5
lower adjacent value = 25th percentile – (75th percentile – 25th percentile) * 1.5
翻譯過來：
上界=75%分位數+（75%分位數-25%分位數）*1.5
下界=25%分位數- （75%分位數-25%分位數）*1.5
比上界大的，和比下界小的都是異常值。
所謂75%分位數，就是把數據從小到大排除，當中的即中位數，也是50%分位數，在75%位置的值即75%分位數，其它同理。

F. 如何判斷和處理離群點

簡單判斷，你可以用公式取得每個值與均值的絕對差值，至於絕對差值多大的時候判斷為離群值，你自己掌握就可以了。
絕對差值=ABS(值-average(所有值))

G. 點狀圖中的離群值是什麼

離群值(outlier)，也稱逸出值，是指在數據中有一個或幾個數值與其他數值相比差異較大。
如果有某一個點或者某幾個點偏離大多數點，也就是離群值，通過散點圖可以一目瞭然。
比如你所提供的點狀圖中最右邊的點

H. 一道大學統計學關於離群點的題目，16題知道答案但不知道為什麼。求大佬詳解，多謝！

假設車速是正態分布，選項D速度超過正負三倍標准差范圍了

I. 統計量受異常值什麼影響最大

異常值包括缺失值，離群值等，是指數據中有異常表現的數據點。
離群值是指y遠離模型預測值的點，也就是偏離數據范圍很遠的點。
杠桿點是觀測點x是異常的，但是y的值卻在合理的預測范圍內，杠桿點對模型的擬合影響很大值得關注。

異常值中缺失值一般根據缺失值的產生狀況有不同處理，有隨機缺失，完全隨機缺失和完全非隨機缺失三類，一般處理方法包括去缺失值，插補法等。
缺失值的檢測在r中有VIM包可以查看數據中的確實值的情況。

J. 什麼是高杠桿點

支點：杠桿繞著轉動的固定點，一般情況下該點是不移動的。簡單一點講，就是在杠桿轉動時，唯一的一個不動點。你只要找到這一點，就將其判斷為支點。動力：使杠桿轉動的力。這個力的作用點在杠桿上，你需要知道的是這個力的大小及方向。題目一般都會把這兩個條件告訴你，然後你將這個力的方向延長，這條畫出來的虛線我們稱之為動力作用線。阻力：阻礙杠桿轉動的力。阻力的方向的判斷比較難，但是必須知道。舉例子好理解：用木頭撬動石頭時，杠桿是要克服石頭重力轉動的，所以此時石頭重力是阻力，方向是豎直向下。初中題目如果沒有直接或間接告訴你阻力的方向和大小，一般就是要克服重力轉動的，類似於上面的題目。阻力作用線和動力作用線一樣，需要畫出來。動力臂：從支點到動力作用線的距離。只要畫出過支點的垂直於動力作用線的線段，這個線段長度就是動力臂的長度，所謂距離，就是支點離線段的最近距離嘛！阻力臂：從支點到阻力作用線的距離。杠桿是個物理模型．通常支點就是相對」固定」的位置．用筷子夾食物，那麼支點在筷子與手的上部（不是手指）接觸的部位．有些情況下支點是移動的，例如動滑輪看成動力臂為阻力臂二倍的杠桿時．還有時杠桿的支點是可以任意選定的．例如一座」獨木橋」的問題，可將支點選在任意一端（甚至橋上任意一點）