首页 人工智能

科大讯飞助力焱融科技 YRCloudFile迈入IO500 Top6行列

11月18至21日,代表高性能计算和存储行业最高水平的年度盛会SuperComputing 2019在美国丹佛举行,与计算性能Top500榜单相对平稳的排名和趋势相比,IO500榜单的竞争显得异常激烈。焱融科技本次携手科大讯飞基础架构团队,在焱融科技YRCloudFile的基础之上,进行了大量创新性开发和调优,最终提交的IO500十节点性能测试数据在激烈的比拼中位列全球第六。相对于上半年的成绩,存储性能有了400%的提升。

总的来说,IO500十节点测试共包含了12项测试任务,测试限制在10个客户端上执行,评估总体集群的性能表现。这12项测试模拟了各种或简单或苛刻的IO场景,涉及数据吞吐、元数据等方面操作。

1)ior_easy_write:

多个客户端、多个任务、并发地、顺序地、独立地向存储集群中写数据,这一项主要测试存储集群的写入能力。默认每个任务写入9.9TB,200个任务会写入PB级的数据,这个测试模拟了传统HPC写入密集型应用场景。

2)mdtest_easy_write:

多个客户端、多个任务、并发地、独立地向存储集群中创建大量空文件,每个任务独占一个目录,这一项主要测试存储集群元数据的处理能力。默认每个任务写90万文件,200个任务共写入1.8亿文件。这个测试模拟了新兴的人工智能场景中写入海量文件的场景,侧重于元数据性能的测试。

3)ior_hard_write:

多个客户端、并发地、共享地写同一个文件,每个任务每次写的数据量是47008 Bytes,这一项主要测试协同写单个文件。默认每个任务要写190万次,每次写47008 Bytes。这一测试模拟的是传统HPC场景,多个计算任务同时更新同一个文件时,文件系统锁以及并发写入的能力。

4)mdtest_hard_write:

多个客户端、并发地创建大量文件,创建文件后,会写3901Bytes数据,所有任务的文件都写到同一个目录下。默认每个任务写95万文件,200个任务共写入1.9亿文件。这个测试也是模拟新兴的人工智能场景中写入海量文件的场景,与mdtest_easy_write侧重元数据性能测试不同的是,mdtest_hard_write会同时考察文件系统数据写入的能力。

 5)find:

对前面创建的大量文件去做find查询,考察海量文件下,基于标准POSIX语义的文件系统查询性能。

6)ior_easy_read:

多个客户端、多个任务、并发地、顺序地读取自己在ior_easy_write阶段写入的数据。该测试模拟传统HPC场景中,多客户端并发读取数据的过程。

 7)mdtest_easy_stat:

多个客户端、多个任务、并发地去stat自己在mdtest_easy_write阶段创建的空文件,这个测试模拟人工智能等应用,在海量文件场景下对文件系统最常用的stat操作性能(文件系统的大量操作会调用到stat接口)。

8)ior_hard_read:

多个客户端、多个任务、并发地去读取自己在ior_hard_write阶段写入的文件,每次读取数据量47008 Bytes。该测试模拟传统HPC业务,多个计算任务并发加载数据的过程。

9)mdtest_hard_stat:

多个客户端、多个任务、并发地去stat自己在mdtest_hard_write阶段写入的文件,stat之后再读取3901 Bytes数据。该测试模拟人工智能业务检索、open、随后读取文件的过程,并评估这一过程的性能。

10)mdtest_easy_delete:

多个客户端、多个任务、并发地去delete自己在mdtest_easy_write阶段创建的文件。该测试模拟元数据集群对海量空文件并发删除的支持和性能。

11)mdtest_hard_read:

多个客户端、多个任务、并发地去读取自己在mdtest_hard_write阶段写入的文件,读取3901 Bytes数据。该测试模拟人工智能业务对元数据集群open,并读取指定小文件内容的性能。

12)mdtest_hard_delete:

多个客户端、多个任务、并发地去delete自己在mdtest_hard_write阶段创建的文件。该测试模拟文件系统对海量小文件元数据以及数据删除的性能。

 从这些测试项可以看出,IO500主要测试了四大类场景:

1)存储集群的吞吐能力,验证多个任务顺序写,相互之间有无数据冲突,看集群能提供的写入、读取吞吐的上限。ior_easy_write、ior_easy_read主要用于测试这个场景。

2)存储集群对于共享读写的处理能力,多个任务共享、协同地读写同一个文件,需要做一定的并发控制,否则测试将因数据错乱而报错。ior_hard_write、ior_hard_read主要用于测试这个场景,这部分测试针对的是HPC的典型IO类型。

3)存储集群对于小文件IO的处理能力,比如mdtest_hard_read、mdtest_hard_write的读写3901 Bytes,如果数据布局不当,这项测试的性能值会很低。

4)存储集群元数据的处理能力,重点考察集群创建、查询、删除文件的性能。其中md_hard_*还会去测试单个目录下大量文件(单目录下1.9亿文件)这个场景的性能。

YRCloudFile为了支持单目录下海量文件的测试,改进了原有的元数据放置策略算法,增加了虚拟目录层,用于拆分海量文件的目录,分散目录热点,从而提升总体性能。在测试中,YRCloudFile在海量小文件场景下表现突出。

通过2019年两次参与IO500测试,我们在不断学习和追赶国际领先存储企业的先进技术,分析IO500的测试,我们可以看到:

1) IO500委员会由存储业界知名学者和专家组成,为了加强测试数据的中立,在下半年测试中,委员会针对测试脚本进行了修正,更加确保测试数据的公平、公正,同时模拟真实的高性能计算及人工智能场景,其测试数据可作为评估存储系统总体能力的一个重要指标。

2) 参与的厂商持续保持非常高的热情和投入,上半年16家,下半年15家,既有传统厂商如DDN、NetApp、Dell、IBM、HPE、浪潮,也有新兴存储厂商WekaIO、Qumulo、焱融科技,各家都非常重视IO500的测试成绩,一方面这是国际上对存储性能的公认指标,另一方面由于IO500测试脚本模拟的真实的IO场景,对于各个厂商持续改进产品也是非常好的输入。

从测试结果看,焱融科技和科大讯飞此次发布的测试数据,也是在对YRCloudFile做了针对性改进后获得了优异的成绩。

官方微博/微信

每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。

↑扫描二维码

想在手机上看科技资讯和科技八卦吗?

想第一时间看独家爆料和深度报道吗?

请关注TechWeb官方微信公众帐号:

1.用手机扫左侧二维码;

2.在添加朋友里,搜索关注TechWeb。

手机游戏更多