一、缺失數(shù)據(jù)的產(chǎn)生機(jī)制

在抽樣調(diào)查中，經(jīng)常會(huì)遇到調(diào)查問卷中某些項(xiàng)目沒有回答的情況，這就是數(shù)據(jù)缺失的問題。數(shù)據(jù)缺失問題無論是在市場調(diào)查、政府調(diào)查還是學(xué)術(shù)調(diào)查中都呈現(xiàn)越來越嚴(yán)重的趨勢。這是由多種原因造成的。首先，公民越來越重視個(gè)人的隱私權(quán)，不愿意透露一些個(gè)人信息；其次，不規(guī)范的市場調(diào)查影響了調(diào)查的嚴(yán)肅性，使得受訪者對各類調(diào)查不屑一顧，不能認(rèn)真對待；第三，問卷設(shè)計(jì)不規(guī)范，問卷內(nèi)容過長或過難，尤其是市場調(diào)查中的各類“搭車調(diào)查”使得問卷過長，造成受訪者的厭倦心理；第四，調(diào)查主辦單位不重視訪問員的培訓(xùn)，訪問員缺乏一些必備的追問、補(bǔ)問、查漏等基本技巧。

缺失數(shù)據(jù)根據(jù)其產(chǎn)生機(jī)制可以分為完全隨機(jī)缺失（MCAR）、隨機(jī)缺失（MAR）和非隨機(jī)缺失（MNAR）。完全隨機(jī)缺失是指這樣一種情況：缺失情況相對于所有可觀測和不可觀測的數(shù)據(jù)來說，在統(tǒng)計(jì)學(xué)意義上是獨(dú)立的。比如說，受訪者在街頭接受訪問時(shí)，突然沙粒吹進(jìn)了眼睛導(dǎo)致問卷后面的問題無法回答，從而造成了數(shù)據(jù)缺失。隨機(jī)缺失是一個(gè)觀測出現(xiàn)缺失值的概率是由數(shù)據(jù)集中不含缺失值的變量決定的，而不是由含缺失值的變量決定的。非隨機(jī)缺失是與缺失數(shù)據(jù)本身存在某種關(guān)聯(lián)，比如問題設(shè)計(jì)過于敏感造成的缺失。

識別缺失數(shù)據(jù)的產(chǎn)生機(jī)制是極其重要的。首先這涉及到代表性問題。從統(tǒng)計(jì)上說，非隨機(jī)缺失的數(shù)據(jù)會(huì)產(chǎn)生有偏估計(jì)，因此不能很好地代表總體。其次，它決定數(shù)據(jù)插補(bǔ)方法的選擇。隨機(jī)缺失數(shù)據(jù)處理相對比較簡單，但非隨機(jī)缺失數(shù)據(jù)處理比較困難，原因在于偏差的程度難以把握。

缺失數(shù)據(jù)的插補(bǔ)是指選擇合理的數(shù)據(jù)代替缺失數(shù)據(jù)。不同的插補(bǔ)法對總體推斷會(huì)產(chǎn)生較大的影響，尤其是在缺失數(shù)量較大的情況下。目前國內(nèi)學(xué)者對缺失數(shù)據(jù)的插補(bǔ)問題尚未有充分的認(rèn)識。筆者發(fā)現(xiàn)，研究者在抽樣調(diào)查報(bào)告中很少會(huì)說明缺失值的處理方法，但事實(shí)上，絕大部分社會(huì)科學(xué)調(diào)查（包括市場調(diào)查）都會(huì)包含不完整的數(shù)據(jù)，理應(yīng)對此有所說明。

二、幾種常見的缺失數(shù)據(jù)插補(bǔ)方法

（一）個(gè)案剔除法(Listwise Deletion)

最常見、最簡單的處理缺失數(shù)據(jù)的方法是用個(gè)案剔除法(listwise deletion)，也是很多統(tǒng)計(jì)軟件（如SPSS和SAS）默認(rèn)的缺失值處理方法。在這種方法中如果任何一個(gè)變量含有缺失數(shù)據(jù)的話，就把相對應(yīng)的個(gè)案從分析中剔除。如果缺失值所占比例比較小的話，這一方法十分有效。至于具體多大的缺失比例算是“小”比例，專家們意見也存在較大的差距。有學(xué)者認(rèn)為應(yīng)在5%以下，也有學(xué)者認(rèn)為20%以下即可。然而，這種方法卻有很大的局限性。它是以減少樣本量來換取信息的完備，會(huì)造成資源的大量浪費(fèi)，丟棄了大量隱藏在這些對象中的信息。在樣本量較小的情況下，刪除少量對象就足以嚴(yán)重影響到數(shù)據(jù)的客觀性和結(jié)果的正確性。因此，當(dāng)缺失數(shù)據(jù)所占比例較大，特別是當(dāng)缺數(shù)據(jù)非隨機(jī)分布時(shí)，這種方法可能導(dǎo)致數(shù)據(jù)發(fā)生偏離，從而得出錯(cuò)誤的結(jié)論。

（二）均值替換法(Mean Imputation)

在變量十分重要而所缺失的數(shù)據(jù)量又較為龐大的時(shí)候，個(gè)案剔除法就遇到了困難，因?yàn)樵S多有用的數(shù)據(jù)也同時(shí)被剔除。圍繞著這一問題，研究者嘗試了各種各樣的辦法。其中的一個(gè)方法是均值替換法(mean imputation)。我們將變量的屬性分為數(shù)值型和非數(shù)值型來分別進(jìn)行處理。如果缺失值是數(shù)值型的，就根據(jù)該變量在其他所有對象的取值的平均值來填充該缺失的變量值；如果缺失值是非數(shù)值型的，就根據(jù)統(tǒng)計(jì)學(xué)中的眾數(shù)原理，用該變量在其他所有對象的取值次數(shù)最多的值來補(bǔ)齊該缺失的變量值。但這種方法會(huì)產(chǎn)生有偏估計(jì)，所以并不被推崇。均值替換法也是一種簡便、快速的缺失數(shù)據(jù)處理方法。使用均值替換法插補(bǔ)缺失數(shù)據(jù)，對該變量的均值估計(jì)不會(huì)產(chǎn)生影響。但這種方法是建立在完全隨機(jī)缺失（MCAR）的假設(shè)之上的，而且會(huì)造成變量的方差和標(biāo)準(zhǔn)差變小。

（三）熱卡填充法（Hotdecking）

對于一個(gè)包含缺失值的變量，熱卡填充法在數(shù)據(jù)庫中找到一個(gè)與它最相似的對象，然后用這個(gè)相似對象的值來進(jìn)行填充。不同的問題可能會(huì)選用不同的標(biāo)準(zhǔn)來對相似進(jìn)行判定。最常見的是使用相關(guān)系數(shù)矩陣來確定哪個(gè)變量（如變量Y）與缺失值所在變量（如變量X）最相關(guān)。然后把所有個(gè)案按Y的取值大小進(jìn)行排序。那么變量X的缺失值就可以用排在缺失值前的那個(gè)個(gè)案的數(shù)據(jù)來代替了。與均值替換法相比，利用熱卡填充法插補(bǔ)數(shù)據(jù)后，其變量的標(biāo)準(zhǔn)差與插補(bǔ)前比較接近。但在回歸方程中，使用熱卡填充法容易使得回歸方程的誤差增大，參數(shù)估計(jì)變得不穩(wěn)定，而且這種方法使用不便，比較耗時(shí)。

（四）回歸替換法(Regression Imputation) 

回歸替換法首先需要選擇若干個(gè)預(yù)測缺失值的自變量，然后建立回歸方程估計(jì)缺失值，即用缺失數(shù)據(jù)的條件期望值對缺失值進(jìn)行替換。與前述幾種插補(bǔ)方法比較，該方法利用了數(shù)據(jù)庫中盡量多的信息，而且一些統(tǒng)計(jì)軟件（如Stata）也已經(jīng)能夠直接執(zhí)行該功能。但該方法也有諸多弊端，第一，這雖然是一個(gè)無偏估計(jì)，但是卻容易忽視隨機(jī)誤差，低估標(biāo)準(zhǔn)差和其他未知性質(zhì)的測量值，而且這一問題會(huì)隨著缺失信息的增多而變得更加嚴(yán)重。第二，研究者必須假設(shè)存在缺失值所在的變量與其他變量存在線性關(guān)系，很多時(shí)候這種關(guān)系是不存在的。

（五）多重替代法(Multiple Imputation)

多重估算是由Rubin等人于1987年建立起來的一種數(shù)據(jù)擴(kuò)充和統(tǒng)計(jì)分析方法，作為簡單估算的改進(jìn)產(chǎn)物。首先，多重估算技術(shù)用一系列可能的值來替換每一個(gè)缺失值，以反映被替換的缺失數(shù)據(jù)的不確定性。然后，用標(biāo)準(zhǔn)的統(tǒng)計(jì)分析過程對多次替換后產(chǎn)生的若干個(gè)數(shù)據(jù)集進(jìn)行分析。最后，把來自于各個(gè)數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果進(jìn)行綜合，得到總體參數(shù)的估計(jì)值。由于多重估算技術(shù)并不是用單一的值來替換缺失值，而是試圖產(chǎn)生缺失值的一個(gè)隨機(jī)樣本，這種方法反映出了由于數(shù)據(jù)缺失而導(dǎo)致的不確定性，能夠產(chǎn)生更加有效的統(tǒng)計(jì)推斷。結(jié)合這種方法，研究者可以比較容易地，在不舍棄任何數(shù)據(jù)的情況下對缺失數(shù)據(jù)的未知性質(zhì)進(jìn)行推斷。

三、五種插補(bǔ)方法的實(shí)證比較

為了比較這五種缺失值插補(bǔ)方法的不同結(jié)果，我們使用實(shí)際數(shù)據(jù)庫進(jìn)行實(shí)證研究。數(shù)據(jù)來源于零點(diǎn)研究咨詢集團(tuán)于2006年秋對云南農(nóng)村169位農(nóng)民進(jìn)行的居民生活調(diào)查。我們以此次調(diào)查中涉及到的4個(gè)變量為例：年齡、收入、精神生活滿意度、壓力感得分。其中，年齡沒有缺失值。收入以“千”為單位，有21%的缺失值。精神生活滿意度為6項(xiàng)指標(biāo)得分之和，總分為30分，有2%的缺失值。壓力感得分（本次調(diào)查的因變量）為3項(xiàng)指標(biāo)得分之和，總分為15分，有16%的缺失值。

（一）描述性指標(biāo)比較

我們首先比較采用5種方法插補(bǔ)后，每個(gè)變量的均值和標(biāo)準(zhǔn)差的變化。除了在個(gè)案剔除法中有58位個(gè)案被剔除之外，其余4種方法都有169個(gè)個(gè)案參與計(jì)算與分析。

從表1中可以發(fā)現(xiàn)采用不同的插補(bǔ)方法，其變量的均值和標(biāo)準(zhǔn)差是不同的。當(dāng)變量的缺失值比較少時(shí)（如精神生活滿意度），采用5種方法插補(bǔ)后的均值和標(biāo)準(zhǔn)差差異較小。但當(dāng)缺失值所占比例增大時(shí)（如收入、壓力感得分），采用不同方法后的均值和標(biāo)準(zhǔn)差差異較大。5種方法中，使用個(gè)案剔除法后各變量的標(biāo)準(zhǔn)差都明顯增大，使用均值替換法后各變量的標(biāo)準(zhǔn)差都明顯減小。（二）回歸分析比較

我們以壓力感得分為因變量，其余3個(gè)變量為自變量進(jìn)行回歸分析。觀察表2可以發(fā)現(xiàn)，從F值上看，個(gè)案剔除法與回歸替換法的F值較高。

由于回歸分析中，各個(gè)變量是相互關(guān)聯(lián)的，所以雖然年齡變量沒有缺失值，但由于其他變量存在缺失，導(dǎo)致年齡變量在回歸方程中的系數(shù)也會(huì)發(fā)生變化。從表2中可以看出這種變化是比較大的，其中T值從-0.38變化至1.01，與之相應(yīng)的P值也從0.314變化至0.71。這提醒我們，在進(jìn)行多元分析時(shí)，尤其要注重缺失數(shù)據(jù)插補(bǔ)方法的使用，因?yàn)樗�不僅會(huì)影響到有缺失值的變量，而且影響沒有缺失值的變量。

采用不同插補(bǔ)方法對“收入”變量的影響較大。其中，使用熱卡填充法后的系數(shù)是最大的，并且明顯高于了采用其他方法插補(bǔ)后的系數(shù)。從P值上看，使用熱卡填充法該變量的影響不是顯著的，但使用其他插補(bǔ)方法，卻可以使得該變量對因變量的影響是顯著的。這和前面的分析是一致的，即在回歸分析中，用熱卡填充法獲得的系數(shù)是不穩(wěn)定不可靠的。