问卷调查法的应用
志愿者英语作文-江西省高招办
一、为何选择问卷调查法
产品方对于此次用研项目提出的需求如下:
初看上
去,需求比较多、比较杂,似乎无法用一个方法解决所有问题。经过反复
和产品方的沟通交流,就能挖掘
出他们心中最希望了解的内容。再整理一下,就
变成下面的表格:
最终结果除了要展示出网易
XX用户的上述情况,还涉及对调查对象的多种分类,
以及不同类别用户在具体题目上的横向比较——这
可能更为重要。
而问卷调查法特别适用于调查:用户的使用目的、使用行为习惯、态度和观点、
人口学信息;不适合探索用户新的、模糊的需求。
所以,此次调研项目适宜于选择问卷调查法作为主
要方法(同时选用访谈法、运
营数据作补充参考)。
二、问卷素材的来源和依据
1.二手资料(已有的理论、报告及行业资讯)
2.自己的使用体验、竞品分析
需
要把自己培养成产品的深度用户,并且还要坚持使用竞争产品。这样有助于形
成自己对产品的直觉和感性
认识。
而竞品分析能帮助自己对产品有更充分的理解,让我们从感性认识中提炼出理性
看法,
同时确保能全面地细致地审视(不会遗漏重要细节)。
3.对产品设计人员、普通用户的简单访谈
“三人行,必有吾师”,自学完了,再让产品设计人员、普通用户教你一些知识
吧。
此时的访谈采用轻松聊天的形式(半结构式),访谈的对象也是方便取样、就近
选择——目的不在于得出
什么结论,更多地是帮助自己进一步加深理解、穷尽多
种可能性,为编写问卷做准备。
而且对
于产品设计人员的访谈,还能顺便获悉产品部门工作流程、组织架构、人
员配置、可动用的资源等信息—
—看似无关紧要,其实能使我们最终调查报告的
建议更有针对价值!
三、问卷细节
1.指示性说明
社会调查类的教科书里通常要求我们写上长长的一大段说明文字,但在互联网
上
有多少人会认真看一大坨文字?看看《don’t make me think》作者如何做的:<
br>从103个单词删减到41个单词(该书中文第二版,P34)!非必要信息不得出现
在问卷的指
示性说明中。
需要提及的核心信息无非就这几个:A.目的:帮助改进网易XX,也欢迎非网易用
户作答?
?B.时间:3-5分钟 ?C. 匿名和保密? D.有奖:通过质量检核的完整答卷
可参与抽奖
2.题目编制思路
3.题目设置需注意的细节
1)?简洁、明确:有时这两者是个矛盾,但尽量做到平衡。
【例子】
您使用XX的历史多久?——简洁
您第一次使用XX是什么时候?——简洁、通俗
您第一次
使用XX(不一定是目前最常用的这个)是什么时候?——稍微牺牲了“简
洁”,但是更“明确”!
2) 态度中立、无诱导性
【例子】 您对目前常用的XX满意吗?
您对目前常用XX的满意程度为?
4.选项设置需注意的细节
1)?选项互斥
【例子】 您平时上网较常浏览的内容为?
A.热点头条新闻?? ?B.娱乐八卦
?C.时事政治? ?D.游戏动漫 ……
选项A原本是为了对应于“每天都会看新闻头条、但对于内
容领域没有特别偏好”
的这样一部分人的行为;但A选项与后面选项存在着重叠,尤其A与C重叠的程<
br>度非常高。于是,删除C选项,把A选项改为“时事新闻”。
2)?包含所有的可能
能否做到这一点,就反映出准备阶段的工作是否充分。当怀疑选项设置可能不全
时,可以
再去找产品、设计、运营人员探讨、核对。
此外,可以设置【其它________】选项,以确保用
户始终可以作出选择;同时,
选择【其它_______】选项的比例高低也反映了选项设置是否全面。
3)?用户易理解
【例子】询问用户使用的手机操作系统时,选项“iOS(iPhone)
、symbian(塞
班)”就比“iOS、symbian”更容易理解,虽然前一种表达貌似不伦不
类。
4) 变量的测量类型
实际工作中,只大体区分为“类别变量”和“连续变量”两大类。就统计测量层
次上来说, “
连续变量”比“类别变量”级别高,包含信息丰富,也可以使用稍
高级的统计方法。所以,可能的情况下
,尽量让选项“变为连续变量”。
【例子】
想了解用户平时分享站外内容的情况,两种选项设置(后一种更好):
A.分享????B.不分享
A.频繁?? ?B.经常??? C.一般??? D.很少?? ?E.从不
5)?
态度中立、无诱导性
【例子】选项“时事政治”改为“时事新闻”;“愤青”改为“热衷点评时政的
普通人”
6)?随机顺序呈现
若选项为事实性的、类别变量,而非按程度顺序递进的连
续变量,那么选项应该
随机顺序呈现给答题者,这样可以排除首尾选项或中间选项更易被选择的倾向。
5.避免反应心向
反应心向是指回答问卷的人具有一种比较固定的作答倾向。有时可能是有意
识的:
讨好出题者;给别人留下好印象。有时可能是无意识的:习惯回答“是”、“同
意”;社
会赞许性——避免社会文化规范里不赞同、或负面的评价;回避、防卫
敏感隐私问题或社会禁忌话题。
在线下、面对面、有奖品的答题环境下,更易发生有意识的反应心向的问题。在
互联网上、匿名
的情况下,有意识的反应心向会减弱很多,无意识的反应心向也
可以通过以下努力得到缓解。具体做法如
下:
1)?指示性说明部分:强调匿名和保密;强调认真、如实回答才能参与抽奖。
2)?
问卷中:非必要情况下,不要求用户填写收入状况、手机号码。即便确实是调
查所需,也要说明缘由,且
保留用户自主决定是否回答的权利。
3)?问卷中:设计一些呼应的题目互相印证;并且可以适当采用反向计分的方式。
4)?数
据分析时:涉及自家产品和别家产品的满意度、好感度等这些态度评价的比
较时,一定要小心得出结论(
可能存在反应心向,用户对自己产品的评价很好)。
6.建立不同问题、选项间的呼应
一方面,可以互相印证,提升问卷的信度(当然,没必要仅仅为此而增加题量——
得不偿失)
。另一方面,便于在统计分析时采用交叉分析列联表的方法——这会
为你的调查报告在“丰富、准确、有
价值”方面提升很多!
【例子】“选择目前这家XX作为您最常用的XX的主要原因为?”、“您对目
前
最常用这个XX主要不满之处为?”这两个题目的结果可以用来互相印证。
【例子】“您在
XX上比较关心什么类型的人?”“您在XX上感兴趣的内容为?”
这两个题目可以用来做交叉分析,能
找出“人”和“内容”最典型、最具代表性
的组合。
7.题目的排序
总体的题目排
序原则如上,有时也要考虑一些特殊情况,比如“接触产品时间有
先后关系、操作流程有特定的顺序”,
此时局部的题目则按“时间流程先后”排
序。
8.问卷题量
先看问卷法和量表法的区别:
可以这样通俗地理解:量表是许多专家、花了大量精力在编制环
节(工具本身的
信效度很高);测试时需要的样本量稍小一些,就能达到研究目的。问卷原本就
需要大量代表性的样本才能实现目的,况且问卷本身的信效度还欠佳,更需要大
量样本了
。
为了得到大量的样本,且希望数据质量较高,问卷本身就会受到限制——题量要
偏少。实际
工作中,将问卷总题目数控制在25题之内,平均答题时间不超过300
秒(事后统计)。
四、预测试
经过了这么细致和长久的准备,似乎不会再有问题,迫不及待地想要投放问卷了。
且慢!智者千虑,必有一失。此时应该再找一些产品设计人员、普通用户来预测
试一下(方便取
样、最好找之前没有参与过讨论的人)。依据个人经验,这个环
节还是能检查出一些遗漏问题的。 【例子】问卷中的一题:“您在XX上查找他人的方式为?”自我感觉选项中已经
列举了各种常用方
式,一位交互设计师在预测试时问我:为何没有“直接搜索找
人”选项?原来我忽略了这个最直接、原始
的查找方式。
五、问卷投放
除了问卷本身的质量,直接影响调查成败的因素就是样本质量(
实际也就是问卷
投放策略的考虑)。顺便总结一下,量表调查法最重要的是工具本身(量表的质
量、常模指标)和高级统计方法;实验法最重要的是控制和操控(对无关变量的
控制、对自变量的操控)
;而问卷调查法最重要的是样本(样本量足够大,且具
有代表性)。想要样本量大,就尽可能多地动用投
放渠道,当然还有些投放小技
巧(越处于操作流程结束后、入口文案的排版越独立,反馈
问卷的打开率越高,
详见taobao UED渡劫的《卖家反馈的影响因素的量化研究》)。
这边着重谈一下样本代表性的问题。首先得承认,网上投放问卷不是完全随机抽
样,我们无法苛求调查
对象的各种特征完全匹配现实生活中的总体,但是,我们
要尽可能争取覆盖到不同类别用户群,以具有更
大代表性。
【例子】此次调查,我们除了想知道网易XX用户的情况,我们还希望能够了解新
浪、腾讯、其它XX用户的情况。为此,我们做了以下努力:
1) ?除了在网易门户投放问卷,我们
希望尽可能扩大站外投放渠道比例,比如:
全国各大论坛、一些搜索引擎页面、视频网站页面等,甚至最
好能投放到其它门
户网站(当然实际上不可能花这么多代价)。
2)?当推广和市场部门的同
事希望问卷的点击图片包含“网易XX”的字眼(可顺便
起到广告宣传的作用)。对此,我坚决反对,因
为这样无疑会严重影响“新浪、
腾讯、其它XX用户”的点击。
3)?在论坛投放问卷链接,
市场的同事采用软文帖的形式,大意是“目前XX产品
很火,大家可以去通过此问卷能了解XX产品”,
写得幽默风趣、激发看帖人的好
奇心。有同事不认可这种做法,认为不符合问卷指示说明的规范,可能会
对用户
作答产生影响。但我个人反而认为这是个比较好的技巧。首先,在工作中是不可
能完美地
遵循到所有的原则,一定要有“主要矛盾、和矛盾的主要方面”的辩证
思维方式,必要的时候须权衡利弊
综合考虑。比如,此时我们最重要的目标是一
定要覆盖到“新浪、腾讯、其它XX的用户群”,且数量还
不能少。其次,看那种
帖的时候,用户是采用的“扫描”而非“仔细阅读”的方式,顶多
动用的是瞬时
记忆,等跳转了页面、再阅读正式的问卷指示说明及填写问卷时,之前的瞬时记
忆
的影响很小。第三,问卷中让用户表达直接态度的题目较少,更多地是事实性
的问题,这些问题本身难以
受到诱导出现系统性的偏差。第四,我们整理数据时,
还有一系列事后的数据检核手段。
4)?设置自动的隐含题目,能区分来自各投放渠道的样本量(尤其是区分网易站内、
站外)。
六、数据整理
通常数据的检核需删除不完整答卷、多选题全选的答卷、逻辑矛盾的答卷;准确
且丰富的筛查手段有助于进一步提高数据的质量(这一步可以在excel或者SPSS
上完成
)。
另外,还需要根据“答题时长”来筛除问卷(太短反映了不认真,太长反映了答
题时受外
界干扰较多)。采用SPPS中箱形图的分析,可以清楚地看到“答题时长”
这个指标上的偏离值和极端
值,及它们对映的问卷ID编号,这样就能很方便地删
除了。
七、统计分析
问卷调
查法因为变量的测量类型限制,可用的统计方法比较低级,描述性统计居
多,有时会用到交叉分析、卡方
检验(偶尔还可以用到相关分析、方差分析)。
回过头来,再次说明问卷编制阶段就要考虑好可能用到的
统计方法、以及如何尽
可能地让选项设置为连续型的变量。
这个环节虽不像前
面的环节直接关系调查的成败(因为有反复尝试的机会),但
若能够合理且充分地利用统计技术,将会给
最终报告的价值带来很大的提升。这
与用研人员的专业素养有很大关系,需长期不断努力才能提升,此处
不细谈。
八、总结
看似简单的问卷调查,要能做好且让它发挥最大价值,确实有很多细致的
、值得
推敲之处。一次用研项目(不管是不是问卷调查法),前期的准备和计划都非常
重要,磨
刀不误砍柴工!
说明:出于对公司产品保密的考虑,隐去有关信息。
来源:
一、为何选择问卷调查法
产品方对于此次用研项目提出的需求如下:
初看上去,需求比较多、比较杂,似乎无法用一个方法解决所有问题。经过反复
和产品方的沟通交流,
就能挖掘出他们心中最希望了解的内容。再整理一下,就
变成下面的表格:
最终结果除了要展
示出网易XX用户的上述情况,还涉及对调查对象的多种分类,
以及不同类别用户在具体题目上的横向比
较——这可能更为重要。
而问卷调查法特别适用于调查:用户的使用目的、使用行为习惯、态度和观点
、
人口学信息;不适合探索用户新的、模糊的需求。
所以,此次调研项目适宜于选择问卷调查
法作为主要方法(同时选用访谈法、运
营数据作补充参考)。
二、问卷素材的来源和依据
1.二手资料(已有的理论、报告及行业资讯)
2.自己的使用体验、竞品分析
需
要把自己培养成产品的深度用户,并且还要坚持使用竞争产品。这样有助于形
成自己对产品的直觉和感性
认识。
而竞品分析能帮助自己对产品有更充分的理解,让我们从感性认识中提炼出理性
看法,
同时确保能全面地细致地审视(不会遗漏重要细节)。
3.对产品设计人员、普通用户的简单访谈
“三人行,必有吾师”,自学完了,再让产品设计人员、普通用户教你一些知识
吧。
此时的访谈采用轻松聊天的形式(半结构式),访谈的对象也是方便取样、就近
选择——目的不在于得出
什么结论,更多地是帮助自己进一步加深理解、穷尽多
种可能性,为编写问卷做准备。
而且对
于产品设计人员的访谈,还能顺便获悉产品部门工作流程、组织架构、人
员配置、可动用的资源等信息—
—看似无关紧要,其实能使我们最终调查报告的
建议更有针对价值!
三、问卷细节
1.指示性说明
社会调查类的教科书里通常要求我们写上长长的一大段说明文字,但在互联网
上
有多少人会认真看一大坨文字?看看《don’t make me think》作者如何做的:<
br>从103个单词删减到41个单词(该书中文第二版,P34)!非必要信息不得出现
在问卷的指
示性说明中。
需要提及的核心信息无非就这几个:A.目的:帮助改进网易XX,也欢迎非网易用
户作答?
?B.时间:3-5分钟 ?C. 匿名和保密? D.有奖:通过质量检核的完整答卷
可参与抽奖
2.题目编制思路
3.题目设置需注意的细节
1)?简洁、明确:有时这两者是个矛盾,但尽量做到平衡。
【例子】
您使用XX的历史多久?——简洁
您第一次使用XX是什么时候?——简洁、通俗
您第一次
使用XX(不一定是目前最常用的这个)是什么时候?——稍微牺牲了“简
洁”,但是更“明确”!
2) 态度中立、无诱导性
【例子】 您对目前常用的XX满意吗?
您对目前常用XX的满意程度为?
4.选项设置需注意的细节
1)?选项互斥
【例子】 您平时上网较常浏览的内容为?
A.热点头条新闻?? ?B.娱乐八卦
?C.时事政治? ?D.游戏动漫 ……
选项A原本是为了对应于“每天都会看新闻头条、但对于内
容领域没有特别偏好”
的这样一部分人的行为;但A选项与后面选项存在着重叠,尤其A与C重叠的程<
br>度非常高。于是,删除C选项,把A选项改为“时事新闻”。
2)?包含所有的可能
能否做到这一点,就反映出准备阶段的工作是否充分。当怀疑选项设置可能不全
时,可以
再去找产品、设计、运营人员探讨、核对。
此外,可以设置【其它________】选项,以确保用
户始终可以作出选择;同时,
选择【其它_______】选项的比例高低也反映了选项设置是否全面。
3)?用户易理解
【例子】询问用户使用的手机操作系统时,选项“iOS(iPhone)
、symbian(塞
班)”就比“iOS、symbian”更容易理解,虽然前一种表达貌似不伦不
类。
4) 变量的测量类型
实际工作中,只大体区分为“类别变量”和“连续变量”两大类。就统计测量层
次上来说, “
连续变量”比“类别变量”级别高,包含信息丰富,也可以使用稍
高级的统计方法。所以,可能的情况下
,尽量让选项“变为连续变量”。
【例子】
想了解用户平时分享站外内容的情况,两种选项设置(后一种更好):
A.分享????B.不分享
A.频繁?? ?B.经常??? C.一般??? D.很少?? ?E.从不
5)?
态度中立、无诱导性
【例子】选项“时事政治”改为“时事新闻”;“愤青”改为“热衷点评时政的
普通人”
6)?随机顺序呈现
若选项为事实性的、类别变量,而非按程度顺序递进的连
续变量,那么选项应该
随机顺序呈现给答题者,这样可以排除首尾选项或中间选项更易被选择的倾向。
5.避免反应心向
反应心向是指回答问卷的人具有一种比较固定的作答倾向。有时可能是有意
识的:
讨好出题者;给别人留下好印象。有时可能是无意识的:习惯回答“是”、“同
意”;社
会赞许性——避免社会文化规范里不赞同、或负面的评价;回避、防卫
敏感隐私问题或社会禁忌话题。
在线下、面对面、有奖品的答题环境下,更易发生有意识的反应心向的问题。在
互联网上、匿名
的情况下,有意识的反应心向会减弱很多,无意识的反应心向也
可以通过以下努力得到缓解。具体做法如
下:
1)?指示性说明部分:强调匿名和保密;强调认真、如实回答才能参与抽奖。
2)?
问卷中:非必要情况下,不要求用户填写收入状况、手机号码。即便确实是调
查所需,也要说明缘由,且
保留用户自主决定是否回答的权利。
3)?问卷中:设计一些呼应的题目互相印证;并且可以适当采用反向计分的方式。
4)?数
据分析时:涉及自家产品和别家产品的满意度、好感度等这些态度评价的比
较时,一定要小心得出结论(
可能存在反应心向,用户对自己产品的评价很好)。
6.建立不同问题、选项间的呼应
一方面,可以互相印证,提升问卷的信度(当然,没必要仅仅为此而增加题量——
得不偿失)
。另一方面,便于在统计分析时采用交叉分析列联表的方法——这会
为你的调查报告在“丰富、准确、有
价值”方面提升很多!
【例子】“选择目前这家XX作为您最常用的XX的主要原因为?”、“您对目
前
最常用这个XX主要不满之处为?”这两个题目的结果可以用来互相印证。
【例子】“您在
XX上比较关心什么类型的人?”“您在XX上感兴趣的内容为?”
这两个题目可以用来做交叉分析,能
找出“人”和“内容”最典型、最具代表性
的组合。
7.题目的排序
总体的题目排
序原则如上,有时也要考虑一些特殊情况,比如“接触产品时间有
先后关系、操作流程有特定的顺序”,
此时局部的题目则按“时间流程先后”排
序。
8.问卷题量
先看问卷法和量表法的区别:
可以这样通俗地理解:量表是许多专家、花了大量精力在编制环
节(工具本身的
信效度很高);测试时需要的样本量稍小一些,就能达到研究目的。问卷原本就
需要大量代表性的样本才能实现目的,况且问卷本身的信效度还欠佳,更需要大
量样本了
。
为了得到大量的样本,且希望数据质量较高,问卷本身就会受到限制——题量要
偏少。实际
工作中,将问卷总题目数控制在25题之内,平均答题时间不超过300
秒(事后统计)。
四、预测试
经过了这么细致和长久的准备,似乎不会再有问题,迫不及待地想要投放问卷了。
且慢!智者千虑,必有一失。此时应该再找一些产品设计人员、普通用户来预测
试一下(方便取
样、最好找之前没有参与过讨论的人)。依据个人经验,这个环
节还是能检查出一些遗漏问题的。 【例子】问卷中的一题:“您在XX上查找他人的方式为?”自我感觉选项中已经
列举了各种常用方
式,一位交互设计师在预测试时问我:为何没有“直接搜索找
人”选项?原来我忽略了这个最直接、原始
的查找方式。
五、问卷投放
除了问卷本身的质量,直接影响调查成败的因素就是样本质量(
实际也就是问卷
投放策略的考虑)。顺便总结一下,量表调查法最重要的是工具本身(量表的质
量、常模指标)和高级统计方法;实验法最重要的是控制和操控(对无关变量的
控制、对自变量的操控)
;而问卷调查法最重要的是样本(样本量足够大,且具
有代表性)。想要样本量大,就尽可能多地动用投
放渠道,当然还有些投放小技
巧(越处于操作流程结束后、入口文案的排版越独立,反馈
问卷的打开率越高,
详见taobao UED渡劫的《卖家反馈的影响因素的量化研究》)。
这边着重谈一下样本代表性的问题。首先得承认,网上投放问卷不是完全随机抽
样,我们无法苛求调查
对象的各种特征完全匹配现实生活中的总体,但是,我们
要尽可能争取覆盖到不同类别用户群,以具有更
大代表性。
【例子】此次调查,我们除了想知道网易XX用户的情况,我们还希望能够了解新
浪、腾讯、其它XX用户的情况。为此,我们做了以下努力:
1) ?除了在网易门户投放问卷,我们
希望尽可能扩大站外投放渠道比例,比如:
全国各大论坛、一些搜索引擎页面、视频网站页面等,甚至最
好能投放到其它门
户网站(当然实际上不可能花这么多代价)。
2)?当推广和市场部门的同
事希望问卷的点击图片包含“网易XX”的字眼(可顺便
起到广告宣传的作用)。对此,我坚决反对,因
为这样无疑会严重影响“新浪、
腾讯、其它XX用户”的点击。
3)?在论坛投放问卷链接,
市场的同事采用软文帖的形式,大意是“目前XX产品
很火,大家可以去通过此问卷能了解XX产品”,
写得幽默风趣、激发看帖人的好
奇心。有同事不认可这种做法,认为不符合问卷指示说明的规范,可能会
对用户
作答产生影响。但我个人反而认为这是个比较好的技巧。首先,在工作中是不可
能完美地
遵循到所有的原则,一定要有“主要矛盾、和矛盾的主要方面”的辩证
思维方式,必要的时候须权衡利弊
综合考虑。比如,此时我们最重要的目标是一
定要覆盖到“新浪、腾讯、其它XX的用户群”,且数量还
不能少。其次,看那种
帖的时候,用户是采用的“扫描”而非“仔细阅读”的方式,顶多
动用的是瞬时
记忆,等跳转了页面、再阅读正式的问卷指示说明及填写问卷时,之前的瞬时记
忆
的影响很小。第三,问卷中让用户表达直接态度的题目较少,更多地是事实性
的问题,这些问题本身难以
受到诱导出现系统性的偏差。第四,我们整理数据时,
还有一系列事后的数据检核手段。
4)?设置自动的隐含题目,能区分来自各投放渠道的样本量(尤其是区分网易站内、
站外)。
六、数据整理
通常数据的检核需删除不完整答卷、多选题全选的答卷、逻辑矛盾的答卷;准确
且丰富的筛查手段有助于进一步提高数据的质量(这一步可以在excel或者SPSS
上完成
)。
另外,还需要根据“答题时长”来筛除问卷(太短反映了不认真,太长反映了答
题时受外
界干扰较多)。采用SPPS中箱形图的分析,可以清楚地看到“答题时长”
这个指标上的偏离值和极端
值,及它们对映的问卷ID编号,这样就能很方便地删
除了。
七、统计分析
问卷调
查法因为变量的测量类型限制,可用的统计方法比较低级,描述性统计居
多,有时会用到交叉分析、卡方
检验(偶尔还可以用到相关分析、方差分析)。
回过头来,再次说明问卷编制阶段就要考虑好可能用到的
统计方法、以及如何尽
可能地让选项设置为连续型的变量。
这个环节虽不像前
面的环节直接关系调查的成败(因为有反复尝试的机会),但
若能够合理且充分地利用统计技术,将会给
最终报告的价值带来很大的提升。这
与用研人员的专业素养有很大关系,需长期不断努力才能提升,此处
不细谈。
八、总结
看似简单的问卷调查,要能做好且让它发挥最大价值,确实有很多细致的
、值得
推敲之处。一次用研项目(不管是不是问卷调查法),前期的准备和计划都非常
重要,磨
刀不误砍柴工!
说明:出于对公司产品保密的考虑,隐去有关信息。
来源: