我院王国仁教授团队在海量异构数据集成管理与分析领域取得新突破

发布者:系统管理员发布时间:2017-03-15浏览次数:45

  近日,由我院王国仁教授牵头研发的项目“海量异构数据集成管理与分析技术及应用”获得2016年度教育部高等学校科技进步一等奖。光明日报、央广网、中国日报、东北新闻网、必赢线路检测3003新闻网等多家媒体对此进行了广泛报道。
  该项目针对数据集成质量、数据管理效率和数据分析可伸缩性等关键难题开展攻关,从模式匹配、数据清洗、数据管理和数据分析等关键技术切入,实现了以质量为中心的数据集成、以效率为中心的数据管理和以伸缩性为中心的数据分析,在我国“数字水资源”“数字医疗”和“数字国土资源”等领域的海量异构数据集成管理与分析方面发挥了不可替代的作用。
  以NoSQL和NewSQL为代表的大数据管理系统,在海量异构数据的集成管理与分析功能和性能上存在许多不足,具有巨大的提升潜力。海量异构数据的集成管理与分析有效手段的欠缺,导致了数据管理与分析处理低效和知识发现困难。针对这些技术瓶颈,“海量异构数据集成管理与分析技术及应用”项目提出了一套基于人机交互的数据集成体系,与当前国际上最先进的数据清洗系统相比,数据集成质量提升至少10%,集成方法的可用性居世界领先水平;开发了基于消息传递机制的改进框架及建立于其上的高效查询处理技术,与国际通用的Hadoop生态系统相比,数据管理效率提升50%以上;在国际上率先提出了面向大数据的分布式极限学习机(ELM)数据分析技术,实现了整合有监督、半监督和无监督的分布式极限学习机,与主流的分布式学习系统Mahout相比,系统的平台可伸缩性、数据可伸缩性、隐层节点可伸缩性、数据标注可伸缩性最高提升近20倍。
  本项目技术成果和系统已经成功应用于5家企事业单位的7类产品和业务化运行系统中,支撑了系统集成商、政府部门、企事业单位等100余家大型单位的关键业务系统。项目研发了具有自主知识产权的海量异构数据集成管理与分析平台,2013年到2015年,累计新增销售额144802.1万元,新增利润21666.35万元,新增税收6439.79万元,取得了突出的社会和经济效益。

  新闻来源:中国日报辽宁记者站 http://cnews.chinadaily.com.cn/2017-03/14/content_28546232.htm

Baidu
sogou