当前位置:首页 > 新闻动态 > 中心新闻

测试,为大数据赋能

编辑日期:2021/4/9   作者:ASTC   来源:安徽省软件评测中心   点击次数:
【字体:

随着目前世界上各个国家使用大数据应用程序或应用大数据技术场景的数量呈指数增长,相应的,对于测试大数据应用时所需的知识与大数据测试工程师的需求也在同步增加。针对大数据测试的相关技术已慢慢成为当下软件测试人员必须了解和掌握的一门通用技术。

什么是大数据

大数据测试不同于传统的测试,不仅仅是类型、策略的不同,工具等具体技术都会有区别。大数据因其复杂性,其测试所面临的挑战也会不同于传统的测试。大数据性能测试将会是软件测试工程师进一步艰难攻克的目标之一。

大数据是指无法使用传统数据库处理的大量数据。当我们拥有合理数量的数据时,我们通常会使用传统的关系数据库(例如MySQLOracleSQL Server)来存储和使用数据。但是,当我们有大量数据时,传统的数据库将无法再使用。

大数据测试类型

测试大数据应用程序更多的是验证其数据处理,而不是测试软件产品的个别功能。当涉及到大数据测试时,性能和功能测试是关键。

在大数据测试中,QA工程师数据处理可以是三种类型:批量、实时、交互。

与此同时,数据质量也是大数据测试的一个重要因素。它涉及检查各种字段,如准确性,重复,一致性,有效性,数据完整性等。

大数据基准测试工具

第一类属于微型负载,这类负载测试只测试大数据平台的某个特定组件或应用,例如GridMix是面向Hadoop集群的测试基准;TeraSort只针对文本数据的排序;雅虎开发的YCSB对比NoSQL数据库的性能,其目的是评估键值和云数据库;FacebookLinkBench专门用于测试存储社交图谱和网络服务的数据库。

第二类是综合类的测试工具,模拟几类典型应用,覆盖大数据软件平台的多个功能组件,比如英特尔的Hibench是针对HadoopHive平台的基准测试工具,其负载按照业务分为微型负载、搜索业务、机器学习和分析请求等四类;BigDataBench是中科院计算所提出的大数据测试工具,覆盖了结构数据、半结构数据和非结构数据,其负载模拟了搜索引擎、社交网络和电子商务等业务模型。

第三类测试工具是具体应用领域端到端的大数据测试工具,这类的测试工具主要有BigBench,是基于TPC-DS开发的端到端大数据测试工具,面向零售业务,模拟电子商务的整个流程,主要测试MapReduce和并行DBMS,其优点是应用场景结合非常紧密,行业针对性很强。

这三类测试工具各有其应用场景,微型测试工具测试的应用较单一,效率高、成本低,但无法通体衡量大数据平台的性能,综合类测试工具覆盖面比较广,考虑到应用类型和不同平台组件,能够较全面考量大数据平台执行不同类型任务的性能,通用性好。端到端的大数据测试工具满足了对企业特定业务的模拟,与企业应用场景结合紧密,覆盖了企业大数据业务全流程的模拟和测试,是未来大数据测试工具发展的趋势。 

大数据的应用

美国NASA如何能提前预知各种天文奇观?风力发电机和创业者开店如何选址?如何才能准确预测并对气象灾害进行预警?包括在未来的城镇化建设过程中,如何打造智能城市?等等,这一系列问题的背后,其实都隐藏着大数据的身影——不仅彰显着大数据的巨大价值,更直观地体现出大数据在各个行业的广阔应用。

大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果,确切的说是移动互联网、物联网产生了海量的数据,大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。

简言之,大数据的应用范围越来越广,涉及生活的许多方面

大数据技术和大数据测试技术正是社会发展的需求。