·网站首页 ·贵州手机报 ·投稿 ·96677 ·新闻排行 ·繁体 ·RSS ·ENGLISH ·日本語
关键词:
多彩播报  新闻  评论  专题  策划  宽频  名博  社区  权威发布  社情民意  文化  教育  旅游  公益  健康  娱乐  图片  企业  工业  电商  黔茶  金融  汽车  国内国际
您当前的位置 :西部开发报 > 要闻 正文  
大数据带来的美好时代
2015-06-19 10:49  来源: 多彩贵州网-西部开发报 作者:  编辑: 李青
贵州手机报 | 新闻客户端  | 新闻热线:96677 | 投稿

  我们正在经历一场由大数据引发的社会革命。随着物联网、云计算、移动互联网等网络新技术的应用、发展与普及,社会信息化进程进入数据时代,海量数据的产生与流转成为常态。

  最早提出大数据时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

  进入2012年,大数据(bigdata)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。

  数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。

  正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。

  哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”

  大数据在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。什么是大数据?

  大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产。企业内部的经营交易信息、互联网世界中的商品物流信息,互联网世界中的人与人交互信息、位置信息等,其数量将远远超越现有企业IT架构和基础设施的承载能力,实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产,使其为国家治理、企业决策乃至个人生活服务,是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。

  著云台的分析师团队认为,大数据通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce(一种编程模型,用于大规模数据集的并行运算)一样的框架来向数十、数百或甚至数千的电脑分配工作。

  大数据在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。

  国际数据公司定义了大数据的四大特征:海量的数据规模(vast)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value)。仅从海量的数据规模来看,全球IP流量达到1EB所需的时间,在2001年需要1年,在2013年仅需1天,到2016年则仅需半天。全球新产生的数据年增40%,全球信息总量每两年就可翻番。需要强调的是:所谓大数据并不仅仅是指海量数据,而更多的是指这些数据都是非结构化的、残缺的、无法用传统的方法进行处理的数据。也正是因为应用了大数据技术,美国谷歌公司才能比政府的公共卫生部门早两周时间预告2009年甲型H1N1流感的暴发。

  大数据到底有多大?

  一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……

  截至到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据,如果把这些数据刻成DVD,排起来的长度相当于从地球到月亮之间一个来回的距离,并且数据以每两年翻一番的速度飞快增长。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。

  每一天,全世界会上传超过5亿张图片,每分钟就有20小时时长的视频被分享。然而,即使是人们每天创造的全部信息--包括语音通话、电子邮件和信息在内的各种通信,以及上传的全部图片、视频与音乐,其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。这样的趋势会持续下去。我们现在还处于所谓“物联网”的最初级阶段,而随着技术成熟,我们的设备、交通工具和迅速发展的“可穿戴”科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一,而从2005年起,用在硬件、软件、人才及服务之上的商业投资也增长了整整50%,达到了4000亿美元。

  大数据带来了哪些变革

  大数据是信息通信技术发展积累至今,按照自身技术发展逻辑,从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据,而以云计算为代表的计算技术的不断进步,为我们提供了强大的计算能力,这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。

  大数据虽然孕育于信息通信技术的日渐普遍和成熟,但它对社会经济生活产生的影响绝不限于技术层面,更本质上,它是为我们看待世界提供了一种全新的方法,即决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉做出。

  事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。

  不仅在商业方面,大数据在社会建设方面的作为同样令人惊叹,智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起,都与大数据技术与应用的发展息息相关。

  大数据带来了思维方式的革命,它对传统的机械还原论进行了深入批判,提出了整体、多样、关联、动态、开放、平等的新思维,这些新思维通过智能终端、物联网、云存储、云计算等技术手段将思维理念变为了物理现实。

  大数据思维是一种数据化的整体思维,它通过“更多”(全体优于部分)、“更杂”(杂多优于单一)、“更好”(相关优于因果)等思维理念,使思维方式从还原性思维走向了整体性思维,实现了思维方式的变革。

  具体来说,大数据通过数据化的整体论,实现了还原论与整体论的融贯;通过承认复杂的多样性突出了科学知识的语境性和地方性;通过强调事物的相关性来凸显事实的存在性比因果性更重要。

  此外,大数据通过事物的数据化,实现了定性定量的综合集成,使人文社会科学等曾经难于数据化的领域像自然科学那般走向了定量研究。就像望远镜让我们能够观测遥远的太空,显微镜让我们可以观察微小的细胞一样,数据挖掘这种新时代的科学新工具让我们实现了用数据化手段测度人类行为和人类社会,再次改变了人类探索世界的方法。大数据可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策,这样的思维方式,可以预见,将推动一些习惯于靠“差不多”运行的社会发生巨大变革。

  不是所有数据都那么珍贵

  数据中心不断地被大量数据们淹没,那么作为数据中心的管理员们,能不能就舍弃一部分不需要的数据呢?

  最重要的担心就是怕错过任何可能的有用信息。你公司的营销副总裁很有可能会有朝一日让你提供一份公司过去20年的销售数据。而上面的领导一换,说不定新的数据要求在等着你。

  还有一个非常现实的原因,那就是有些公司会申明永久保留数据,尽管这些数据几年、几十年都没人用过。顾能咨询将其称之为“暗数据”,并将其定义为“在正常经营活动中的信息资产组织收集、处理和存储,但一般不能用于其他用途(例如,分析,业务关系和直接货币化)的数据。这类似于物理研究中的暗物质,暗数据是信息资产”宇宙“中的大部分组成结构。因此,组织或公司经常保持暗数据用作参考资料。”

  那么,到底你是否可以“减仓”暗数据的同时,并确保保留必要的数据?这里有三个建议。

  筛选数据。如果你使用的是机器或者是互联网产生的大数据,你在得到有用信息的同时也接受了许多无用的垃圾。数据过滤可以分离出你想要的信息。

  导出数据。如果你希望为了将来做长期趋势分析而准备为数据保留个几十年,将这些数据导出到一个值得信赖并基于云计算的供应商是一个不错的选择。这样,在时机成熟时,你就可以自由地将存储的数据导回到你的数据中心进行分析。

  定义数据保留政策。你可以在定义数据保留政策时表现得强势点。你作为一名数据管理人员,有理由来参与和指定数据保留的政策。这是具有优秀数据中心管理能力的一个标志。这会不会解决你所有的大数据存储管理和保管问题?没有,但它会给你的数据中心指明了正确的道路。它还将使你成为一名优秀的数据管理人员,能够宏观地预测数据方向和参与数据保留政策的制定。(邢飞综合报道)

作者:  编辑: 李青  
返回首页
相关阅读
 
 
新闻推荐
专题策划
【专题】习近平在贵州调研
【专题】生态文明贵阳国际论坛2015年年会
【专题】贵州不一般
【图解】贵州13个最美丽的城市公园
【图解】查一查贵州绿色“家底”
【专题】沪昆高铁即将通车 贵州融入高铁网络
【专题】黔中水利枢纽工程即将下闸蓄水
【专题】到新区“走亲戚”学经验
新闻排行
版权所有 未经授权禁止复制或建立镜像
网站简介 | 广告刊例 | 联系方式 | 网站地图
增值电信业经营许可证(ICP):黔B2-20010009 互联网新闻信息服务许可证: 5212006001
营业执照:520115000201773 信息网络传播视听节目许可证:2408241
互联网出版许可证:新出网证(黔)字001号