近日,第50届International Conference on Very Large Databases(简称VLDB)的录用结果全部揭晓,我院共有6篇以必赢线路检测3003为第一单位的长文被VLDB 2024录用。
VLDB是数据库领域的顶级国际会议,致力于展示和分享数据库管理系统和数据管理领域的最新研究成果。作为一年一度的重要学术盛会,VLDB在全球学术界和工业界享有很高的声誉,是中国计算机学会(CCF)推荐会议列表中的A类会议。2024年VLDB将于8月26日至8月30日在中国广州举行。
录用论文如下:
论文1
标题:NeutronStream: A Dynamic GNN Training Framework with Sliding Window for Graph Streams
作者:陈朝亿,高德超,张岩峰,王千阁,付振波,张学仓,朱俊华,谷峪,于戈
合作单位:华为
简介:动态图神经网络(Dynamic GNN)在训练时需要同时捕获空间依赖和时间依赖信息,这给设计高效的动态GNN训练系统带来了挑战。首先,现有的深度学习框架采用传统的批量训练方法不能捕捉实时的结构演化信息,这可能会导致模型精度下降。为此,该论文提出了一个基于滑动窗口的增量学习方法。在输入的训练事件流上,该方法自适应的调整窗口以选择具有时间和空间局部性的一段连续事件输入模型进行训练,这保证了模型能够很好地捕捉事件之间的时间和空间依赖性。其次,训练事件之间的时间依赖特性使得并行训练难以设计,这会导致训练性能的低效问题。该论文提出了一种细粒度的事件并行执行方案,能够自动识别没有更新冲突的事件并将这些事件并行执行,以增强训练性能。基于以上方案,本文设计了支持动态GNN高效训练的系统NeutronStream,实验效果表明该论文提出的基于滑动窗口的训练方法带来了更高的准确率提升。与现有开源系统相比,NeutronStream获得了显著的性能提升。
论文2
标题:NeutronOrch: Rethinking Sample-based GNN Training under CPU-GPU Heterogeneous Environments
作者:艾新,王千阁,曹春榆,张岩峰,陈朝亿,袁昊,谷峪,于戈
简介:图神经网络在广泛应用中表现出卓越的性能。当前框架利用CPU-GPU异构环境进行图神经网络训练,并结合微批量处理和采样技术来缓解GPU的内存限制。在这种情况下,图神经网络训练可分为三个阶段:采样、收集和训练。现有的图神经网络系统部署了各种任务编排方法,在CPU或GPU上完整的执行每个阶段。然而,通过大量的实验和分析,我们发现这些任务编排方法并不能充分地利用异构资源,而是受到CPU处理效率低下或GPU资源争用的阻碍。为此,该论文设计了图神经网络训练系统NeutronOrch,它能确保CPU和GPU的平衡利用。NeutronOrch按层将训练过程分离,并将底层的训练任务下推至CPU。这大大减少了GPU训练的计算负荷和内存占用。为了避免低效的CPU处理,NeutronOrch只将频繁访问的顶点的训练任务卸载给CPU,让GPU以有界陈旧性重复使用这些顶点的嵌入。此外,NeutronOrch还为基于层的任务编排方法提供了细粒度的流水线设计。实验结果表明,与最先进的图神经网络系统相比,NeutronOrch获得了显著的性能提升。
论文3
标题:RAGraph: A Region-Aware Framework for Geo-Distributed Graph Processing
作者:姚烽,陶乾,于文渊,张岩峰,巩树凤,王千阁,于戈,周靖人
合作单位:阿里巴巴
简介:在许多跨国企业的全球业务中,图结构数据通常地理分布在不同的区域,以支持低延迟服务。地理分布式图处理受到广域网带宽稀缺和异构性的显著影响。该论文提出了一种区域感知的地理分布图处理框架RAGraph。该框架支持在本地执行低效的全局更新,并实现合理的无协调消息交互和灵活的可替换通信模块。RAGraph还包含一个自适应分层消息交互引擎,可以根据网络的异构性和波动自适应地切换交互模式,以及一个差异感知消息过滤策略来过滤非重要消息。实验结果表明,在地理分布式环境中,RAGraph展现出显著的性能优势,并有效降低了广域网的成本。
论文4
标题:Comprehensive Evaluation of GNN Training Systems: A Data Management Perspective
作者:袁昊,刘亚炯,张岩峰,艾新,王千阁,陈朝亿,谷峪,于戈
简介:近年来,为支持高效的GNN训练,涌现了众多GNN训练系统。由于GNN训练样本之间存在复杂的数据依赖关系,因此在数据管理方面,GNN训练面临与DNN训练截然不同的挑战。这些挑战包括数据分区、批量准备,以及CPU和GPU之间的数据传输。这些因素占用了训练时间的很大一部分,使得数据管理在GNN训练中显得尤为重要。该论文从数据管理的角度系统性地回顾了GNN训练,并对代表性方法进行了全面的分析和评估。我们在多种基准数据集上进行了广泛的实验,展示了许多有趣且有价值的结果。实验结果不仅揭示了现有GNN训练系统的优势和不足,还提供了一些实用技巧,这些技巧对未来设计高效的GNN训练很有帮助。
论文5
标题:DynaHB: A Communication-Avoiding Asynchronous Distributed Framework with Hybrid Batches for Dynamic GNN Training
作者:宋振,谷峪,孙晴,李天义,张岩峰,李玉帅,Christian S. Jensen,于戈
合作单位:丹麦奥尔堡大学
简介:现有分布式动态图神经网络训练模式主要包括全批、顶点批和快照批三种。然而,这三种模式在处理大规模动态图时通常面临通信瓶颈、负载不均衡和显存溢出等问题。为解决上述问题,该论文设计并实现了一个通信避免的异步分布式动态图神经网络训练系统DynaHB。首先,DynaHB采用顶点分区架构,通过L跳邻居顶点缓存机制缓解顶点间通信瓶颈,并通过周期性模型平均策略降低同步代价。其次,DynaHB采用一种混合批训练模式,该模式结合了顶点批和快照批技术,为GPU显存适配、训练效率和迭代收敛性之间的权衡提供了更灵活的解决方案。然后,为在训练过程中动态获得最优的混合批规模设置,DynaHB集成了基于强化学习的批规模调整器。接着,由于混合批生成需要执行邻居遍历和重新编码等操作,这将成为降低训练效率的新的重要因素。为此,该论文定制了一个带有蓄水池的流水线混合批生成器,通过复用已生成的混合批,降低生成成本。最后,该论文设计了一种负载感知的顶点分区算法,确保数据和计算负载的均衡分布,并配套全新的负载均衡的训练策略。大量实验结果表明,与当前最先进的训练框架相比,DynaHB在性能上可以实现最高93倍的加速效果,平均加速效果为8.06倍。
论文6
标题:CGgraph: An Ultra-fast Graph Processing System on Modern Commodity CPU-GPU Co-processor
作者:崔鹏杰,刘昊天,唐博,袁野
合作单位:南方科技大学,北京理工大学
简介:近年来,图数据处理技术在CPU-GPU异构架构中备受关注。然而,现有的CPU-GPU异构图处理系统面临两个主要挑战:GPU显存有限且利用率低,以及CPU和GPU计算能力未得到充分发挥。为了解决这些问题,该论文提出了CGgraph,一个利用CPU-GPU协同处理的高效图处理系统,旨在同时解决上述两大挑战。CGgraph包括两个核心阶段:1) 数据处理阶段:该阶段通过图重排序算法和子图提取算法,将原图中包含计算密集型顶点和边的子图数据提取到有限的GPU显存中。这一决策遵循了“一次加载,多次使用”的原则,确保GPU内存被充分利用。2) 图处理阶段:该阶段通过有效的调度方案实现了CPU-GPU的协同计算,并通过CPU-GPU间任务按需分配、CPU线程间任务窃取、GPU Warp间均衡等技术,确保了CPU和GPU各自的计算能力被充分利用。实验结果表明,CGgraph在CPU-GPU商用机器上相较于现有的图处理系统,实现了显著的性能提升。
必赢线路检测3003数据库团队在数据库领域一直具有较重要的影响力,不断在学术界和工业界取得重要成果。未来,必赢线路检测3003数据库团队将继续保持创新精神,持续推动数据库技术的发展和创新。