图注:工信部我国信息通讯研讨院大数据与区块链业务主管、通讯标准协会大数据技术标准推动委员会作业组长马鹏玮:大数据工业展开的问题和风向
据悉,本次峰会由日照市政府主办,日照市发改委、日照市工信局、日照市商务局、日照市东港区人民政府、日照中心活力区办公室、能链集团(车主邦/团油/快电)、山东数字动力交易中心、日照市财金出资集团承办,石油查询、石油查询智库协办。
1.终究该怎样知道大数据?可从三种层次看待:第一个层次是一种战略资源;第二个层次是一套数据处理东西;第三个层次,是一种思维理念。
3.大数据工业当下的三个问题:一个是技术,一个是处理,一个是安全。
5.未来,我们假设说真的要把数据转化到资产,我们需求"两条腿"走路,第一个是处理方法,第二是技术方法,也就是我们处理要树立相应的数据处理方式才可以数据到资产化进行平稳的过渡。
以下为马鹏玮演说实录:(略有删改)
很侥幸今天能来到我们非常隆重的盛会,首要我简略毛遂自荐一下,我是来自我国信息通讯研讨院云核算与大数据研讨所。我个人研讨大数据领域大约5-6年的时间,信通院作为第三方的相当于研讨安排、研讨安排。我们做作业的动态研讨,做作业的标准制定,做企业的产品测验,做整个方针支撑,在5-6年作业时间里面,我个人觉得有一些不同的考虑角度来看待这个作业、领域、技术的展开,所以我今天想给我们同享一些我作业中的一些考虑,来帮忙我们更好的知道大数据整个其时的工业现状和问题。
我们看第一个层次是一种战略资源。数字时代,我们首要做什么?互联网、移动支付、电商等等,这些首要输入是什么?数据,我们知道到第一个层次,这是一种战略资源。知道到这个层次之后我们会做许多的作业。
我们再看第三个层次,是一种思维理念。我们想数据从哪来?数据必定是从实践世界发作的,也就是我们的实体世界,发作之后去了哪里?去了我们的虚拟世界,也就是数字网络、数字设备里面,也就是实践到数字,从数字里面经过一串转化、衍生、开掘之后,终究要回馈到实践领域,也就是先进去再出来的整个作业思路,所以终究目的必定是指导未来实践世界的展开,所以这是整个闭环,也就是用数据指导实践世界理论的一个思维方法论。这也是我们最近常说的一种"数字孪生、数字城市"的概念,这就是如何知道大数据的三个层次。
中层产品做什么?专门做数据处理、数据存储、数据运营的一套东西以及服务,比如阿里、华为提供了许多的大数据渠道给到各地的地方政府、国企单位,告知他们用数据发作之后就可以把数据进行转化、抽取、存储。
一个大数据工业链的思维,其实是讲的如何考虑大数据工业链,我们其实把它可以类比成石油工业链,终究是干什么?我们建安排、建渠道、数据加工与运用,这是整个流程化的东西,比如我们组成部队,做石油的勘探,这样其实看终究哪里有石油才可以干这个作业,还有就是钻井,接入数据,制作油库和炼化厂,然后炼制成产品,终究定价营销,这就是数据运营。
首要讲一下技术,其实大数据展开非常早,从2003年就初步现已有相关的公司做作业了,标志性作业就是谷歌发布了DFS论文,从前的大数据为什么展开不起来?是由于我们根柢存不下,我们没有相应的技术存下,连存下都做不到怎样展开?2003年展开谷歌发布了DFS论文,2004年谷歌发布了MapReduce论文,存下来今后没有用,2004年初步总算有了一项技术,可以把它算出来,可以把里面的价值进行开掘,我们没有技术难点之后,后续的运用才会快速的展开,一直到2014年、2018年,从前的批处理、流处理逐渐成为最新的趋势。
分布式,从前从单一硬件向大集群、大数据中心的转化,这是未来根底设备的必然的方向。比如数据仓储OLAP/OLTP的融合,现在出现新的融合技术,不需求建两套系统,购买两次本钱,现在由于实时的技术展开用一套系统处理两个问题。一起,模块化、运维自动化、容器化、专用硬件等,这是未来可能重视的技术意向,这是技术层面,我们要考虑的问题。
第一是盘点数据;首要最少要知道有什么数据,然后还有什么细分的数据类别,这是第一步,也就是自来水服务里面的水源和水质了解。
第三是打通壁垒;从前我们说是数据孤岛,各单位之间的数据是相互不流通的,怎样能让他们穿插发作价值呢?也就是树立管道打通壁垒。
第五是确保安全;自来水工程或者是下水道工程跟着时间的推移必定会出现许多的污垢和问题,所以要定时的查看管道还有没有好。
第三点是合规,也就是安全,数据安全最近越来越重要。近两年许多的互联网案子当中都有这样的体现,国家安全、用户隐私、便利性其实是三者不可兼容的联系。所以,为了完结隐私保护,我们要做"两条腿",也就是处理和技术。欧盟出台了一个GDPR的整套流程,告知你什么可用什么不可用,国内有许多的安排做许多的研讨。我们除了经过规章制度做这个作业之外,还可以经过技术,比如群签名、环签名、差分隐私、区块链、同态加密等,比如比尔盖茨和王健林相互比谁有钱,相互补知道有多少钱的情况下,经过这个技术可以比出来,我不知道数据长什么样,但是可以由于数据可以为业务做服务,现在我们院进行相关的研讨,也得到了一些效果,这是我们以为的两条腿走路的方式。
我的演说就到这里,谢谢我们!