今天是:2017年11月23日 星期四
当前位置:首页 > 详细页面
推进我市大数据产业发展的对策建议
发布时间:2016-12-01   浏览次数:13370 次  字号:   双击自动滚屏

编者按

目前,全球大数据产业发展极度活跃,美国、欧盟、英国、日本等国家政府高度重视大数据产业发展,出台多项政策予以支持。我国大数据发展已进入实际操作阶段,地方政府积极推动大数据发展,上海、重庆、天津、广东等地陆续出台了推进计划,积极推动大数据产业发展。

2013年,我市成为国家智慧城市技术和标准双试点城市,提出了打造“智慧青岛”的战略目标,为推进我市大数据产业的发展,市科技信息研究所(市科技发展战略研究所)、市科技情报学会研究团队在分析国内外大数据产业发展现状和趋势的基础上,结合我市大数据产业发展基础,从促进产学研合作、推进示范应用、创造发展环境、打造人才团队等方面提出了我市推进大数据产业发展的对策建议。


现代社会正以不可想象的速度产生海量数据,根据互联网数据中心(Intemet Data Center,IDC)预测,2020年全球数据的增长量将是2010年的44倍,达到35ZB,数据量的指数级增长不但改变了人们的生活方式、企业的运营模式,而且改变了科研范式,大数据将为人类的生活创造前所未有的可量化的维度。

一、大数据概述

(一)概念

1997年IEEE第八次会议上,美国NASA研究员Michael Cox对可视化领域中设备存储能力的局限,将其称为大数据问题,首次提出“big data”。随后,美国加利福尼亚大学、麦肯锡公司、麻省理工大学、国际数据公司(IDG)、弗雷斯特研究公司的学者和专家分别从技术发展和用户使用等不同领域对大数据的概念进行深化和完善。综合学者、专家对大数据的定义特点,大数据的概念可以描述为:超出了传统方式分析和处理能力的数据,很难削足适履适用于现有数据库架构,传统的软件工具难以捕捉、存储、管理和分析,必须考虑新的处理手段和工具,即大数据是具备高性能存储、处理和使用所有数据的前沿领域。同时,大数据的数据获取由传统的抽样转变为所有数据,对数据的要求也由精确性向混杂性转变,而分析、处理则由注重因果关系的追寻转变为相关关系的探索和对事物发展趋势的预测。

(二)特点

学术界和产业界通常用4个“V”来概括大数据的特征。

1、数据体量巨大(Volume)。截至目前,人类生产的所有印刷材料的数据量是200PB(1PB=210TB),而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前,典型个人计算机硬盘的容量为TB量级,而一些大企业的数据量已经接近EB量级。

2、数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。

3、价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。全方位视频监控的“死角”处,可能才挖掘出能被利用的有价值的图像信息。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。

4、处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。

(三)研究范畴

“大数据技术”是大数据实践活动中应用的技术方案和工具等,基于信息流程视角,其相关技术涵盖数据采集、存储、传输、清洗、检索、处理和展示等多方面。虽然云计算、NoSQL、Hadoop等技术在大数据存储和处理的应用开启了新的纪元,但这些技术在算法优化、分析统计、语义处理、知识可视化呈现等方面还存在诸多不足,这些问题将成为未来研究的焦点。

大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域,如图1所示。目前人们谈论最多的是大数据技术和大数据应用,大数据工程和科学问题尚未得到重视。

 (未完......)