如何验证海量数据的准确性?

文章来源:中创碳投裴定宇2019-04-16 14:52

数据是环境工作的生命线,应对气候变化工作中涉及大量的数据计算及数据验证。如何审核海量数据的准确性已是从业者常常遇到的问题。“抽样验证”是解决这一难题的有效神器,但是抽样并不是简单的摇骰子,今天就简单介绍几种抽样的概念,供大家参考。希望读者在面对年度数据、月度数据、日数据、小时记录等大量原始资料时能够轻松找到科学合理的抽样方法。
 
一、
简单随机抽样
• 简单随机抽样的定义:
一般地,设一个总体含有N个个体,从中逐个不放回地抽取n个个体作为样本(n≤N),如果每次抽取时总体内的各个个体被抽到的机会都相等,就把这种抽样方法叫做简单随机抽样。
• 简单随机抽样的特点:
(1)用简单随机抽样从含有N个个体的总体中抽取一个容量为n的样本时,每次抽取一个个体时任一个体被抽到的概率为 ;在整个抽样过程中各个个体被抽到的概率为 ;
(2)简单随机抽样的特点是,逐个抽取,且各个个体被抽到的概率相等;
(3)简单随机抽样方法,体现了抽样的客观性与公平性,是其他更复杂抽样方法的基础.
(4)简单随机抽样是不放回抽样;它是逐个地进行抽取;它是一种等概率抽样
• 简单抽样常用方法:
(1)抽签法:先将总体中的所有个体(共有N个)编号(号码可从1到N),并把号码写在形状、大小相同的号签上(号签可用小球、卡片、纸条等制作),然后将这些号签放在同一个箱子里,进行均匀搅拌,抽签时每次从中抽一个号签,连续抽取n次,就得到一个容量为n的样本适用范围:总体的个体数不多时优点:抽签法简便易行,当总体的个体数不太多时适宜采用抽签法.
(2)随机数表法:随机数表抽样“三步曲”:第一步,将总体中的个体编号;第二步,选定开始的数字;第三步,获取样本号码概率。
使用范围:在总体容量较小的情况下,一般100左右,可采用此方法(摇骰子)。
二、
系统抽样
• 系统抽样的概念:
当整体中个体数较多时,将整体均分为几个部分,然后按一定的规则,从每一个部分抽取1个个体而得到所需要的样本的方法叫系统抽样。
• 系统抽样的步骤: 
(1)采用随机方式将总体中的个体编号; 
(2)将整个编号进行均匀分段在确定相邻间隔k后,若不能均匀分段,即 =k不是整数时,可采用随机方法从总体中剔除一些个体,使总体中剩余的个体数N′满足 是整数;
(3)在第一段中采用简单随机抽样方法确定第一个被抽得的个体编号l; 
(4)依次将l加上ik,i=1,2,…,(n-1),得到其余被抽取的个体的编号,从而得到整个样本。
三、
分层抽样
• 分层抽样:
当已知总体由差异明显的几部分组成时,常将总体分成几部分,然后按照各部分所占的比例进行抽样,这种抽样叫做分层抽样,其所分成的各个部分叫做层。 
利用分层抽样抽取样本,每一层按照它在总体中所占的比例进行抽取。
• 不放回抽样和放回抽样:
在抽样中,如果每次抽出个体后不再将它放回总体,称这样的抽样为不放回抽样;如果每次抽出个体后再将它放回总体,称这样的抽样为放回抽样。
随机抽样、系统抽样、分层抽样都是不放回抽样。
• 分层抽样的特点:
(1)分层抽样适用于差异明显的几部分组成的情况; 
(2)在每一层进行抽样时,在采用简单随机抽样或系统抽样; 
(3)分层抽样充分利用已掌握的信息,使样具有良好的代表性; 
(4)分层抽样也是等概率抽样,而且在每层抽样时,可以根据具体情况采用不同的抽样方法,因此应用较为广泛。
四、
以上抽样方法的区别和联系
 
五、
样本容量的确定
确定样本容量的意义
-一个合理可行的抽样设计,一方面要求针对调查或实验研究的具体情况选择一种适宜的抽样方法;
- 另一方面应该根据调查研究所要求的的精度及经费状况确定样本容量;
- 样本容量过小,会影响样本的代表性,使抽样误差增大而降低调查研究推论的精确性;
- 样本容量过度,虽然减小了抽样误差,但是可能增大过失误差,而且无意义地增大经费开支。
以抽样方式进行调查或实验研究,就其目的而言,可以分为两种类型:
1) 为了对总体的某个参数进行估计或预测,即参数估计的问题;
2) 检验统计量之间的差异,即假设检验的问题。
 
具体来说有很多公式来确定样本容量,较为复杂。但是实际工作中我们碰到的是,需要确定12个月的数据到底抽几个月进行检验。总体数量比较小,一共12个。所以可以分四个季度,每季度随机一个月。或分上下半年,每半年随机抽1个月。或12个月随机抽2个月。
【版权声明】本网为公益类网站,本网站刊载的所有内容,均已署名来源和作者,仅供访问者个人学习、研究或欣赏之用,如有侵权请权利人予以告知,本站将立即做删除处理(QQ:51999076)。

省区市分站:(各省/自治区/直辖市各省会城市碳交易所,碳市场,碳平台)

华北【北京、天津、河北石家庄保定、山西太原、内蒙】东北【黑龙江哈尔滨、吉林长春、辽宁沈阳】 华中【湖北武汉、湖南长沙、河南郑州】
华东【上海、山东济南、江苏南京、安徽合肥、江西南昌、浙江温州、福建厦门】 华南【广东广州深圳、广西南宁、海南海口】【香港,澳门,台湾】
西北【陕西西安、甘肃兰州、宁夏银川、新疆乌鲁木齐、青海西宁】西南【重庆、四川成都、贵州贵阳、云南昆明、西藏拉萨】
关于我们|商务洽谈|广告服务|免责声明 |隐私权政策 |版权声明 |联系我们|网站地图
批准单位:中华人民共和国工业信息部 国家工商管理总局  指导单位:发改委 生态环境部 国家能源局 各地环境能源交易所
电话:13001194286
Copyright@2014 tanpaifang.com 碳排放交易网 All Rights Reserved
国家工信部备案/许可证编号京ICP备16041442号-7
中国碳交易QQ群: 6群碳交易—中国碳市场  5群中国碳排放交易网