攀登比珠穆朗玛更高的山峰,数据存储技术的突破之路( 二 )


然而,作为存储技术中的重磅难题,压缩算法多年来未有突出成果 。
为了突破压缩算法面临的瓶颈,激发数据压缩领域的活力,自2020年起,华为与莫斯科国立大学合作,举办全球数据压缩大赛,以促进数据压缩根技术的研究 。
今年的第二届全球数据压缩大赛,邀请了压缩领域享有盛誉的技术专家担任评委;使用电子显微镜、遥感等高性能计算数据,更贴近前沿、更贴近实际场景 。大赛设计了五种类型的数据集(赛事项目):定量数据压缩、定性数据压缩、混合数据压缩、小块数据压缩和熵编码优化 。
同时,大赛还增设了面向高校学生、难度相对较小的编码算法优化项目,以吸引更多校园算法高手参与比赛 。在奖项设置方面,进一步体现多维激励,增设领先奖、特等奖和学生参与奖 。
本届数据压缩大赛,已于6月15日正式开赛,接收参赛作品截止到11月底,将于12月底公布获奖结果 。截至7月中旬,开赛仅1个月大赛组委会就已经收到了来自全球近80个报名申请 。
出色的开始,更高的期待
伴随着奥林帕斯大奖和全球数据压缩大赛相继进入第二届,“奥林帕斯”已经成为华为数据存储正在着力打造的新品牌,专门用来加强产学研合作,联合学界一起推动数据存储产业的进步 。
从第一届奥林帕斯大奖得主那里,我们已经看到科研界在数据技术创新领域的突破 。
获得百万悬红大奖的清华大学舒继武老师团队的“持久性内存存储系统构建与关键技术”,创新地提出了持久性内存文件系统与键值存储的设计方法和分布式持久性共享内存框架,攻克了其数据结构、内存管理、一致性与安全等方面的一系列难题,解决了基于新型内存介质的高效数据存储问题 。
此外,上海交通大学的陈榕团队的“基于新型异构硬件的高效数据处理系统”,华中科技大学的冯丹团队的“NVM(新型非易失存储)高效可靠技术”,也具有较高的创新性和先进性,具备产业价值和应用前景 。
同样,在第一届全球数据压缩大赛上,也涌现出了很多令人瞩目的成果 。
比如获奖选手Peter Thamm设计的pglz算法在压缩率和性能上,打破了快速压缩算法的一般认知,指引了压缩算法优化方向;Konstantinos Agiannis的参赛算法,在文本场景测试中的压缩率和压缩性能,均超过业界公认的标杆算法;Andreas Debski的快速图像压缩算法,达到了业界公认标杆算法120%的压缩率,展现了深厚的图像压缩算法功底 。
尤为难得是来自全球各地的压缩算法高手的积极参与 。正如业界大咖Ilya Muravyov所说,这一比赛激发了人们对数据压缩行业的关注,并让那些数据压缩大牛重回他们的主战场 。
过去一年的成功,也让我们对今年的“奥林帕斯”有了更高的期待 。对这个太阳系最高峰的攀登,意味着整个数据存储技术领域的参与者,首次能够团结一致,共同牵引基础理论研究方向,突破关键技术难题,加速科研成果产业化,实现产学研合作共赢 。
在此进程中,华为一方面发挥了产业引领者的角色,大力推动产学研的合作进程;另一方面也积极投身其中,通过Data Fabric、智能存储、内存型存储、数据缩减、视频存储等五大创新实验室,通过4000多名研发工程师的协同努力,围绕下一代存储的介质、网络、架构和管理等进行系统化创新 。
我们也有理由相信,通过全球、全领域的协同创新,我们一定能够迎来数据存储技术的突破,通过技术重构实现更好的数据存储效能,让全世界共享数字技术红利,进而推动千行百业的智能化升级 。

推荐阅读