(一)概念抽象、复杂、宏观,产生测量误差问题
抽样调查用结构化的问卷采集数据,形成结构化的问卷需要对概念进行操作化处理。政治学研究中的概念和其他社会科学中的概念相比具有更为抽象、复杂、宏观的特点。政治学的核心概念包括:权力、权利、权威、利益;体制、制度、规则、规范;民主、政治发展、现代化;政治行为;政治文化、政治价值、政治态度;政治知识;政治绩效、公共服务绩效、公共政策绩效,等等。将这些概念写成问卷中的题目,形成可定量测量的变量,具有非常大的难度。这是因为受访者常常无法对题目有相同理解,或者不具备回答问题所需的知识,或者对题目很陌生,或者没有切实的与政治有关的经历。也正因为概念的抽象、复杂、宏观,常常导致研究者在设计问卷时遇到以下问题:
1.概念定义不明确。例如:“您认为本县政府官员为政清廉吗?”为政清廉的定义不明确。“您认为美国的民主程度如何?”民主的概念不明确,人们有不同的理解,给出的答案不具有可比性。民主的概念可以从价值、原则、制度、程序、要素、绩效评价等多维度进行测量,用任何一个单一测量的题目都无法准确获得人们对这个概念的完整理解。类似的概念和不明确的测量方式不胜枚举。
2.负担过重,难以理解或回答。包括专业词汇、过长量表、过长题干、逻辑复杂等带来的难以理解和难以回答等。例如:“‘生意人赚钱实际上最终对所有人都有好处,所以是可以接受的。’您对这种说法是非常同意、比较同意、不太同意,还是非常不同意?”受访者会提出质疑,为什么生意人赚钱对所有人都有好处,受访者难以理解其中的逻辑关系。
3.易发诱导。例如:“您认为市政府应该花费更多的税收去拆毁棚户区吗?”也是给出了不平衡的选择,只提到了拆,没有提到建,导致受访者的答案偏向一方。政治学中的有争论性的观点较多,在设计上本应该提供平衡的选择,但很多调查问卷设计者忽视了这一点,从而发生了诱导受访者的结果。
4.产生评价参照系偏差。政治学研究比较关注政府行为和公共政策绩效,调查内容中经常有类似“评价”的题目。例如:“您认为本市当前的公共医疗服务居于什么水平?”受访者在回答这类题目时,各自的参照系不同,给出的答案则不具有可比性。例如,有的受访者在回答时会询问:“医疗服务水平和谁比呢?和过去5年相比,还是和我心中的期望相比?和北京比,还是和哪个城市比?”如果在没有一致参照系的情况下,直接使用原始测量得来的数据进行统计推断则会导致估计偏差,这被称为评价参照系偏差。
5.产生社会期许偏差。政治学研究中的一些题目测量的内容已经形成了一般社会规范,受访者回答时,迫于社会规范压力,会少报社会非期许行为,而倾向于回答出社会所希望的行为,这类回答被称为社会期许回答(socially desirable responding,SDR),即个体在特定情境下给出适应社会或文化规则及标准的倾向性回答。这类回答在面对面访问模式或电话访问模式中由访员的“社会在场”(social presence)效应所致。访员的“社会在场”会促使受访者在应答时考虑社会规范。使得调查结果系统性偏向那些“正确的”或者社会所提倡的行为,与实际情况发生偏离,这种偏离被称为社会期许偏差(social desirability bias),一些中文文献也称其为“社会意愿偏差”“社会称许性偏差”“社会期许效应”等。社会期许回答容易发生在以下题目中:政治支持、政治信任;国家认同、爱国主义;自尊、公民行为、违法行为等。敏感题目通常也会产生社会期许回答。
(二)依赖面访调查和概率抽样,产生成本高昂问题
抽样调查常用的调查模式有面对面访问、电话访问、网络访问、集中自填问卷等。政治学研究中的理论假设通常具有复杂的关系结构,例如,评估公共政策绩效,不仅要考虑人们自身和家庭的客观受益、主观获得感,还要考虑人们对政治、经济、社会、人文自然环境等大环境的评价和感受,还要考虑到人们对公共政策的知晓度、期望值等。复杂的关系结构需要测量更多的变量,需要依赖面访调查来实现,这是因为面访调查可以容纳30分钟及以上的问卷容量,而电话访问和网络访问则不具备这方面的优势。但是面访调查成本高昂,通常是电访调查成本的2~4倍。
另一方面,政治学研究对概率抽样调查比较依赖,主要原因在于机构统计数据不如经济学丰富,网络大数据不如社会学、新闻传播学丰富。在抽样调查中首先要解决覆盖偏差问题。覆盖偏差来自抽样框总体和研究总体的不一致,例如,要研究一个城市的常住居民对公共政策的评价,如果使用社区居民户籍册资料作为抽样框,则会导致已经在这个城市居住半年以上的外来人口无法被抽中。覆盖偏差由两部分构成,一个是未覆盖总体占研究总体的比例,另一个是在某一研究变量上未覆盖总体与覆盖总体之间的系统性差异。如果存在覆盖偏差,用样本推断总体时则会产生偏差。为了解决这个问题,在以人或家户为研究对象的抽样调查中,国内学者经常使用住宅地址抽样框。中国社会综合状况调查(CGSS)、中国家庭追踪调查(CFPS)、世界价值观调查(WVS)等均采用了地址抽样,可有效推断常住人口的状况,对于公共政策研究、政治参与研究具有重要意义。但是,构建地址抽样框的成本比较高,和户籍抽样框相比,到实地画住宅地址分布图,制作住宅地址列表所发生的交通差旅费、人员劳务费全部是额外增加的成本。
(三)受访者对政治不感兴趣,产生高比例无应答问题
多数受访者对政治话题或者政治行为不感兴趣,对政治学主题的问卷调查也相应地表现出更高比例的无应答。无应答包括单元无应答和题目无应答,前者是指在一次抽样调查中,无法从样本那里获得任何一项回答。后者指样本虽然接受了访问,但是对某个调查问题没有提供答案。政治学抽样调查中的单元无应答和题目无应答比例已经高于5%,例如,2012年政府公共产品与公共服务调查的单元无应答率为34%,2015年国际化与城市治理调查的单元无应答率为35%,一些题目无应答比例能够达到20%左右,很多题目无应答比率比其他学科的要高。而高比例的无应答通常会产生估计偏差。
针对以上难点和问题,从事政治学定量研究的学者们一直在寻求解决方案,近年来也在方法上取得了一些创新性成果。