每日精选:如何采集数据 数据的收集方法6种

  在上一篇文章中,我们了解到“数据”是一个庞大的系统(如下图所示)。本文对数据来进行了透彻的解释(1):数据来源;以菜市场为例说明数据源的含义。今天,陈骁主要告诉我们到达指定的“菜市场”后如何“买菜”,也就是数据采集的过程。

  首先简单分类介绍一下数据采集的方法,然后介绍每种数据采集形式必须要格外注意的点。

  评价问卷调查质量的一个最重要的标准就是问卷的内容是不是满足研究主题,即使问卷设计精美,如果与主题无关,也毫无价值,因为进行问卷调查的本质目的是调查相关要素与研究群体之间密不可分的联系。

  例如,调查用户满意度一般涉及两个维度:产品本身(价格、包装等)。)和受众的特点(年龄、地域、心理满意度等。).

  问卷不是学术论文,也不需要涉及很多专业的、晦涩的词汇才能体现专业性。调查人员能否真正理解是关键。

  而概括性是指这样的一个问题的设置是否对所有受众都具有普遍意义。比如在调查居民出行方式的问卷中,你认为最安全的交通工具是A火车、B飞机、C宝马汽车、D电动车。我们大家可以看到,选项C没有普遍意义,也不是有A、B、d的维度选项。

  在使用问卷调查法时,要充分结合转岗群体的特点来设置问卷;例如,对于学龄前儿童和老年人,采取书面问卷的形式是不合适的。我们要最大限度地考虑他们的语言偏好(有些老年人可能普通话不标准但方言流利)和理解内容的能力,然后派采访和研究小组进行研究。

  问卷的设置除了考虑每个问题的规范性和合理性外,还需要仔细考虑问题之间的逻辑性和连贯性,避免在时间、空、人物等维度上频繁跳跃。

  除了考虑问卷调查的受众,问卷设置还需要最大限度地考虑后期问卷回收后的统计分析;最好能够降低下班后的压力。不应设置太多变量。我们该使用尽可能少的变量来有效地获取标签信息,并帮助研究后的定性分析。

  首先和大家聊聊科普。数据埋点是什么?以及为什么APP端要特别注意数据埋点。

  所谓埋点,实际上的意思就是收集用户在使用APP优化产品和运营过程中的一系列行为数据;然而,大多数应用程序都有自己的服务和盈利能力(如淘宝、Get等)。),所以要想实现转化和引导购买,就需要在具体的交互组件中埋下“点”(例如,点击跳转链接、购买按钮等)。),然后分析PV、UV;停滞时间、跳出率、购买率等指标均量化。

  代码嵌入点:当控制操作发生时,数据通过预写代码发送。目前,百度统计和优盟提供这项服务。

  这里有一个例子。比如我们要统计淘宝APP中“添加购物车”按钮的点击次数,点击时可以调用该按钮对应的OnClick函数中SDK提供的数据发送接口发送数据。

  优点:控制数据发送时间,详细记录事件自定义属性;缺点:时间和人力成本高,数据传输不及时。

  可视化埋点:利用可视化交互手段,通过可视化界面配置控制操作与事件操作的关系,通过后台截屏采集数据;比如在用户多次刷新时,结合大数据算法,计算用户偏好并切换推送的内容和产品,然后通过视觉嵌入自动切换对应的个性化推荐内容页面。

  优点:成本低,速度快,有产品、市场等部门参与;缺点:行为记录信息少,支持的分析方法少,开发负担小。

  无埋点:用户显示UI界面元素时,平台会通过控件绑定触发事件,当事件被触发时,系统会有相应的接口供开发者处理这些行为;上传UI界面后,系统能自动识别生成控件的唯一ID,该ID在程序内部生成。只要这些id在不同手机上相同,就能轻松实现无埋点的用户端数据采集。

  就具体语法而言,由于使用的工具不同,无法对具体语法提供指导(大家通过你自己的语言搜索CSDN),但其整体方法论是一致的。

  方法学:手动确定抓取信息维度→分析目标网站URL构成→确认抓取工具→编写编程语言→获取数据→本地保存→跟进数据挖掘。

  本期,笔者通过一个“买菜”的例子,带大家探索了几种数据收集的方式,相信我们大家都有收获!

  下期,笔者将基于数据收集,讲解怎么样去使用常用工具进行数据清理以及数据清理的几个维度!