正在阅读:大数据处理医疗数据 一年清洗数据43亿条大数据处理医疗数据 一年清洗数据43亿条

2014-01-21 10:45 出处:PConline原创 作者:佚名 责任编辑:xujian1

  【PConline 资讯】拖着带病的身体在医院各楼层、各部门间穿梭,挂号、门诊、缴费、取检验结果、拿药这样一系列煎熬复杂的看病流程大家一定经历过。有人感叹“大医院看病难”,但我们选择名声在外的大医院何尝不是因为对规模小、设备简单的小医院的医疗水平及检验水平有所担忧呢?便捷、高效、优质、廉价的服务在哪里?能不能在小医院享受到大医院的服务?

  信息化,特别是区域信息化是解开问题的一把钥匙,试想在小医院,由于网络和信息与大医院的互达,远程、智慧、协同性的应用的使用,小医院不能解决的大医院医生直接参与,势必带来医疗服务的革命。

  美好的愿景怎么实现?必须面对卫生信息化的现实,目前孤岛样的信息系统需要整合,但整合中面临最大的问题是,呈几何倍数增长的医疗信息数据带来了前所未有的压力。

  一张CT扫描图像,150MB;一个基因组序列文件,750MB;标准的病理图,5GB。如果将这些数据量乘以人口数量和平均寿命的话,仅一个社区医院累积的数据量,就可达数TB甚至数PB之多,更勿论规模更大的医疗机构,甚至是地区医疗主管部门汇集的数据集了。

  根据麦肯锡的数据,到2020年医疗数据将急剧增长到35ZB,相当于2009年数据量的99倍。面对互联互通的发展趋势和急速增长的数据,如何将海量、复杂的数据的存储、处理和保护成本降至最低,同时还能对此进行实时或准实时的处理、秒级的查询需求响应以及智能、深入的分析,面临重重困难。

  作为区域医疗行业信息化的实践者,上海市卫生局信息中心于2009年就已开始论证区域卫生信息化建设。但是在2000万常住人口及每天超过1600万条医疗数据增加的情况面前,上海市卫生局信息中心面临着比以往更大的挑战。

开放大数据平台为上海市卫生局带来突破

  办法总比困难多,在巨大的数据服务压力下,上海市卫生局联合英特尔及万达信息股份有限公司,启动了“上海健康信息网云计算”项目,以改善大数据时代下如何实现三级医院、区级医院、社区卫生服务中心信息的互联互通、数据共享,进一步加强上海市“1+19”框架下的卫生资源的整合,从而真正建立以病人为中心的信息化系统。

  为实现以上目标,在“海健康信息网云计算”项目中,除了为市民提供网上预约、网上查询等基础健康服务功能,上海市卫生局还增加了“智能提示”功能(指针对医生诊疗过程中的重复检验、重复检查、重复用药进行后台监督,这一方面为了避免不必要的医疗资源浪费,另一方面是降低医疗质量和医疗安全性上的风险。

  系统对于这三大“重复”将出现提示框,而最终的决定权在医生)。该功能的设定主要是希望依靠市场的机制、管理的机制、博弈的机制,来监管医生诊疗、用药行为,避免患者可能遇到的三大“重复”问题。“举例来说,如果全市大部分三级医院的重复检查率均在30%,而某家三级医院的检查重复率为80%,那么这家三级医院就可能存在着过度检查问题,通过智能提示功能在发生这种情况之前就警示医生,能比较好的解决这个问题”上海市卫生局信息中心副主任谢维介绍道,“上海大约每天有12万台工作站在使用,要做到三大提示能服务到每台工作站,对后台的巨大压力可想而知,巨大的数据压力、访问压力和集成压力均接踵而来。而由海量并发、应用、调阅带来的存储和计算挑战,就需要新的技术来解决。”

  于是,在上海市科委、上海市发改委的支持下,经过一年多的论证与探讨,上海市卫生局最终将实际需求抽象、剥离,并与合作伙伴一起将抽象化的需求转化为技术语言、整理成可操作的设计方案。“在项目探讨中,我们也考虑过很多开源大数据解决方案,但经过测试后,发现稳定性不够,难以长期使用,”谢维说道“直到2012年,英特尔向我们提供了为大数据存储、管理、处理和查询需求开发的Apache Hadoop* 软件的英特尔分发版与英特尔至强解决方案。考虑到英特尔开放大数据平台已经在众多行业中成功应用,及其高性能、高能效的特点,经过试用,我们最终选用了英特尔架构虚拟机为主要分布式存储和分布式计算节点的基础架构,并搭配英特尔专门的Apache Hadoop* 软件的英特尔分发版进一步完善调阅问题。”

Hadoop解决方案成果显著

  “上海健康信息网云计算”项目正式运行一年多至今,清洗的数据已达43亿条,并通过大数据技术,已实现数据I/O层5000并发在一秒内全部相应,数据查询速度也加快了。项目结果显示,通过各个环节系统自动的智能提醒,重复检查检验的情况已经有效减少,医疗资源的利用情况日趋平衡。这样的显著成果不仅见证了该平台的高并发处理能力、快速的数据查询调阅能力,也意味着“上海健康信息网云计算”项目的实践,同时也意味着我国医疗行业向“以病人为中心”的服务型医疗体系又迈进了一步。

  目前,“上海健康信息网云计算”项目现在已经做到第二阶段,软硬两方面的强力组合已为上海市医疗大数据应用困难带来了新的机遇与突破,并促进了上海市各大医院的诊疗流程的规范化和标准化。下一阶段,上海市卫生局还将利用分布式存储、分布式计算进一步挖掘大数据在综合管理、辅助决策、数据挖掘、数据探索等重点领域的价值,并将同样的机制与民营医院进行互联互通、协同服务。

  形成更大范围的共享交换和整合之后,哪怕来一个社区卫生服务中心的医生在看病、开药的时候,后台系统也会监控他的行为。只有这样,才能真正利用信息技术更好的挖掘数据价值、改进医院流程,提高诊疗服务的公平性和有效性,才会逐渐缓解“看病贵、看病难”的民生问题。

 
比特币“10周年”了 你最大的感受是什么? 企业办公环境的最大杀手 文印的安全值得重视 同是原厂连供 四大喷墨厂商到底有何不同 深不可测的黑产 原来都是用这些工具搞事? 商务投影新标杆 明基无线智能旗舰E580评测

为您推荐

加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
加载更多
加载更多

服务器论坛帖子排行

最高点击 最高回复 最新
最新资讯离线随时看 聊天吐槽赢奖品