软件测试培训
达内IT学院
400-996-5531
软件测试培训
验证大数据应用中的测试步骤
下面的图高度概况了在测试大数据应用中的几个阶段
1、大数据测试大概是以下三个步骤
步骤一：数据分级验证
大数据测试的第一步，也叫Pre-Hadoop阶段，涉及到过程验证
验证来自于RDBMS，博客及社交媒体等这些资源数据确保导入系统的数据是正确的。
把比较源数据及数据放到Hadoop系统中确保他们是匹配的。
提取验证正确的数据，然后加载到正确的HDFS位置。
数据分级验证中可以使用Talend，Datameer这样的工具。
步骤二： MapReduce 验证
第二步是MapReduce验证，在这个阶段，测试者需要在每个节点上进行业务逻辑验证然后在多个节点运行之后再次验证，以确保：
Map Reduce过程正确运行
实现数据聚合或者分离
生成键值对
在Map Reduce过程之后验证数据
步骤三：输出验证阶段
大数据测试的最后一个阶段是输出验证过程。生成输出数据文件然后移到EDW(企业数据仓库)或者根据要求移到其他系统
在第三个阶段中要做到：
正确应用转换规则
确保数据完整性及导入目标系统的成功数据
比较目标数据与HDFS文件系统数据，确保没有数据损坏
2、架构测试
Hadoop处理大量数据，资源高度密集。因此，架构测试对于大数据项目的成功是非常关键的，差的或者不当的设计系统可能导致性能退化，系统也没法满足要求。至少，在Hadoop环境下，应该做好性能和故障转移测试服务。
性能测试包括测试工作完成时间，内存利用率，数据吞吐量以及类似系统指标。故障转移测试服务的目的是证明在数据节点失败的情况下数据处理能完好的进行。
3、性能测试
大数据的性能测试包含两点：
数据消费及吞吐量：在这个阶段，测试者要验证快速系统是怎样利用各种各种的数据源来消耗数据。测试包括在队列中不同消息在规定的时间内是否可以被处理。它也包含数据是如何快速地被存放到内存空间，比如存放Mongo和Cassandra数据库的速率。
数据处理：它涉及验证Queries或者Map Reduce执行任务的速度。它也包括当数据集占满内存时测试孤立的数据处理。比如在HDFS上运行Map Reduce任务。
子组件的性能：这些系统由多个组件构成，去测试单独的每一个组件是非常重要的。比如，消息是如何快速的被索引和用尽，Map Reduce任务，查询性能、搜索等等。
预约申请免费试听课
填写下面表单即可预约申请免费试听！ 怕学不会？助教全程陪读，随时解惑！担心就业？一地学习，可全国推荐就业！
上一篇：软件测试工程师学习安全测试总结
下一篇：网站测试中的AB测试方法
Copyright © Tedu.cn All Rights Reserved 京ICP备08000853号-56 
京公网安备 11010802029508号 达内时代科技集团有限公司 版权所有
选择城市和中心
北京
黑龙江省
吉林省
内蒙古
河北省
陕西省
江苏省
上海
湖北省
四川省
重庆
湖南省
江西省
贵州省
云南省
广西省
广东省
海南省
台湾