以下文章来源于定量群学 ，作者许琪
今天要给大家分享的是Groves等学者在2004年出版的调查研究领域的一本经典教材Survey Methodology中的第二章。Survey Methodology这本书是我学习调查研究方法的一个起点，而第二章“Inference and Error in Surveys”在该书中具有统摄全局的地位。记得2009年夏天我刚刚拿到这本书的时候，就被其丰富的内容和深入浅出的语言所吸引，因而忍不住翻译了几章，目前这篇推送中呈现的就是我当年译稿的一部分。
在进入正题之前，大家先跟我脑补一下小时候常玩的一个“猜谜游戏”。游戏是这样进行的：首先邀请五个游戏者，让他们背对黑板站成一排，然后出题者在黑板上写一句话，由于五个游戏者都是背对黑板，所以他们看不见这句话的内容。接下来，第一个游戏者转身默读黑板上的话，然后他需要在一分钟内将这句话转述给第二个游戏者，但在转述过程中，他不能发出任何声音，而只能依靠肢体动作或面部表情来完成这一任务。接下来，第二个游戏者要将他的所见所得按同样的规则转述给第三个游戏者，依此类推，直到第五个游戏者。在游戏过程中，除了第一个游戏者，其余四个人都必须始终保持背对黑板的状态。最后，第五个游戏者猜测黑板上的那句话，猜对了游戏者获胜，猜错了出题者获胜。
类似这样的游戏每天都在社会调查的世界中重复进行着。研究者很想知道“黑板上的内容”，但他们却不得不依靠一些不是很精确的手段来推论真实的结果。这些手段包括测量和抽样，偏差和错误就是从测量和抽样以及伴随着测量和抽样的推论过程衍生出来，而调查研究方法论的目的则是研究这些错误，探求它们的来源，并寻找控制它们的办法。
一、抽样调查中的两次推论
图1刻画了社会调查的一般过程，这个过程涉及到两次推论。
第一次推论发生在图1的左下角，在那里，研究者试图从受访者的回答推论出受访者的特征。研究者的目标是要刻画受访者的各种社会特征，但这些特征并不会赤裸裸地呈现在研究者面前，所以他们需要使用各种专业的测量工具去测量这些特征，问卷就是其中最常用的一种。在一份问卷中，研究者设计了很多问题去测量受访者的很多特征，受访者回答了问卷中的某一个问题，也就将与这个问题相对应的自身的某个特征报告给研究者，也就是说，研究者通过受访者对问题的回答推论出该受访者的社会特征。
图1
第二次推论发生在图1的右上角，在那里，研究者从样本的特征推论出总体的特征。研究者关心的不是某一个特别的受访者的特征，而是与这个受访者相关联的总体的特征。但是目标总体往往是非常庞大的，有时甚至是没有边界的，所以研究者不可能调查到总体中的每一个个体，而只能调查其中的一部分个体，也就是一个样本。研究者需要从他所调查的一个样本的特征去推论出总体的特征。
这两次推论在调查中扮演着极其重要的角色，它们的可靠性程度决定了调查的质量。所以，一个好的社会调查必须同时满足以下两个条件[注]：
第一，受访者的回答准确地反应了该受访者的特征。
第二，调查的样本的特征必须能够代表总体的特征。
只要这两个条件中的一个不能得到满足，调查就会出现误差。在这里，误差被定义为调查得到的结果与真实结果之间的偏离。与两次推论相对应，社会调查中的错误可以区分为两种类型，第一种被称为“观察误差”，它代表的是受访者的回答与该受访者真实特征之间的误差；第二种被称为“非观察误差”，它代表的是样本统计量与总体真值之间的误差。而总误差就是“观察误差”和“非观察误差”之和。
二、抽样调查的实施步骤
以上文对推论类型和错误类型的划分为基础，整个社会调查的过程可被细分为两个并行不悖的组成部分。如图2所示，第一个部分是测量过程，在这个过程中，研究者从一个抽象的理论概念出发，逐步具体化，最终发展出可以在统计分析中直接加以使用的数字结果。第二个过程是抽样过程，在这个过程中，研究者从试图了解的目标总体出发，逐步修正受访对象的范围，直到最终得到实际接受访问的受访者的一个集合。这两个过程最后汇集到用来估计总体特征的样本统计量上。
图2
1、测量过程
测量过程是从一个理论概念开始的，理论概念是研究者实际所关心的要素，也是研究者通过社会调查真正想了解的东西。但是理论概念往往是抽象的，也是模糊的，比如经济地位就是一个理论概念，研究者想了解每一个受访者的经济地位，但是他不能直接询问，因为经济地位很抽象，受访者根本不知道应该回答什么。所以，要将理论概念应用于实际的社会调查，就必须经过操作化的处理。
理论概念经过操作化，就会产生一个操作概念，操作概念是理论概念的具体化，它将理论世界与经验世界勾连起来，从而使得理论概念的测量得以成为可能。操作概念是具体的清晰的概念，社会调查中实际测量的都是操作概念。比如上文所说的经济地位，在实际调查中常用受访者在某一个时间段内的个人收入来操作化。操作化的方式是不唯一的，比如经济地位既可以用个人收入来衡量，也可以用个人所占有的财产来衡量，而哪种操作化的方式更合适则取决于它与理论概念的相符程度。
制定了操作化的策略之后，下一步就涉及到受访者对操作化问题的回答。有时候受访者被要求在一些选项间进行选择，这被称作封闭型问题；有时候受访者可以自由地回答，这被称作开放型问题。无论是封闭型问题还是开放型问题，受访者都需要调动各种可能的途径去提供答案，受访者可以通过回忆，也可以向别人求助，也可以借助一些记录帮助作答。但是有的时候，受访者也会拒绝或者表示不能提供答案。
受访者提供的答案还不能直接用来进行统计分析，在这之前，必须对它们进行仔细的检查和清理。首先是要复核数据中的非法值，非法值是指那种超出给定的合理范围的值，比如一个受访者报告他出生在1870年，或者一个14岁的少女报告她已经生育了5个孩子等。除了非法值，研究者还需要对极端值进行分析，极端值指的是那些极大或者极小的值，研究者需要与受访者取得联系，核对这些值的准确性。在经过这一系列的步骤之后，最终得到的数据就可以用来对所感兴趣的最初的理论概念进行推论了。
2、抽样过程
抽样过程是从目标总体开始的，目标总体就是研究者实际要研究的总体。比如对中国农民工的调查，目标总体就是中国所有的农民工；对中国大学生的调查，目标总体就是中国所有的大学生。目标总体是一个模糊的理论上的总体，研究者不知道它的边界在哪里，比如研究者不可能获得中国所有农民工的名单，也不可能获得中国所有大学生的名单，所以真正的抽样不是从目标总体抽取的，而是从研究者实际掌握的被研究对象的名单抽取的。
研究者实际掌握的被研究对象的名单称作抽样框，只有进入抽样框的个体，才有可能被研究者抽中并接受访问。有了抽样框，研究者的下一步操作就是制定一个抽样策略从抽样框中抽取一个样本。随机抽样是一种适宜的抽样方式，但有时，受到各种现实条件的限制，比如时间和成本，研究者会采用其他的抽样策略，比如整群抽样、分层抽样等。
一旦样本被抽取出来，研究者就需要拿着问卷去访问这些样本。有些被抽中的样本乐意接受访问，他们被称为受访者；但是有些样本不愿意接受访问，他们被称为拒访者。由于拒访的存在，研究者实际得到的样本数量会小于抽样过程产生的样本数量。研究者实际访问到的样本被称为有效样本。
有效样本还不能直接用来分析，为了能够更加精确地从样本推论到总体，研究者需要对实际采集到的样本进行适当的调整。如前所述，抽样框和目标总体之间可能存在不一致，抽样得到的样本可能不具有随机性，拒访的存在也会破坏样本的代表性，研究者需要调整每个受访者在分析过程中的权重，以弥补样本与总体之间的不一致所造成的估计值的偏离。在调整之后，研究者就可以通过统计计算对总体的特征进行推论了。
三、抽样调查中的误差
如前所述，测量过程和抽样过程是社会调查研究中的两个基本环节，它们共同对样本统计量的估计值产生影响。社会调查的最终目标是获取总体的相关信息，而这是通过样本统计量反应出来的。样本统计量的精确性取决于两个方面：第一，单个的个体特征测量得是否准确，这是测量过程要解决的问题；第二，样本对总体是否具有代表性，这是抽样过程所要解决的问题。
无论是测量过程还是抽样过程，都是由许多环节环环相扣相连而成。在这个过程中，环节之间的过渡不可能是完美无缺的，因而错误就在这种过渡中产生，而且之前产生的错误也会通过这种环环相扣的链条传递下去，最终汇集到样本统计量上。
所以，从一个环节过渡到另一个环节就会产生一种误差，图3标出了这些误差。
图3
首先，在测量过程中，我们试图获得真实的个体特征，但我们往往使用一个不太完美的操作性概念去代替这个特征，由此就产生了效度问题。受访者在回答各种操作性问题的时候往往不够精确，由此就产生了测量误差。我们得到受访者的回答以后还要对其进行一系列的编辑和处理（如数据清理和事后编码），这样就产生了处理误差。
其次，在抽样过程中，我们试图获得目标总体的特征，但是由于抽样框的问题，我们只能去调查一个不完美的总体，因而产生了覆盖偏差。更糟糕的是，我们常常连抽样框都不能完全了解，而只能调查其中的一个样本，样本并不能完美地代表抽样框，这样就产生了抽样误差。有时候抽中的个体不愿意接受调查，这样就产生了无应答误差。最后，在调查结束后研究者会使用加权的方法调整抽样过程的各种问题，但是这种调整本身也会产生问题，这被称作事后调整误差。
测量过程和抽样过程的各种误差最终会汇集到样本统计量的计算上，所以，样本统计量也就不会是完全可靠的，计算得到的样本统计量和真实结果之间的差异就是整个调查过程的总误差。
调查的误差来源于推论，而推论又涉及到与推论有关的有效性和可信性的问题，即效度和信度的问题，由此产生了两种误差的类型：系统误差和随机误差。因为每一种推论涉及的效度和信度问题并不一样，有的只涉及效度问题，有的只涉及信度问题，有的效度和信度都会成为问题，所以在调查研究中，各种错误的组成成分也不一样，有的主要是系统误差，有的主要是随机误差，有的既包含系统误差也包含随机误差。
因为调查研究不可能不涉及推论，所以调查研究不可能没有误差。从这个角度说，没有一个调查数据是完美无缺的。不过幸运的是，研究者已经在多年的调查实践中积累了丰富的理论和经验，这些理论和经验能够帮助我们尽可能地控制各种误差的产生，从而获得一个比较有效且可信的调查结果。在本月接下来的推送中，我将从测量和抽样这两个调查研究的核心环节出发，详细介绍误差的产生原因、对数据分析结论的影响和相应的处置方法。
注：连接这两次推论的是一次统计计算，在那里，研究者通过一些标准化的程序将样本中的每个个体的特征汇总，得到刻画样本特征的统计量，如样本均值、方差等。统计计算是一个纯数学过程，是可靠的，它不会影响整个调查的质量。
参考文献
Groves, R. M., Fowler, F. J. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. 2004. Survey Methodology. Wiley John + Sons.
本文转发自定量群学，特此感谢！作者许琪，南京大学社会学院。
转自：“量化研究方法”微信公众号
如有侵权，请联系本站删除！
