大数据的核心(薛诗瑜)
大数据的核心是云技术和BI。没有云技术,大数据就没有基础和落地的可能;没有商业智能和价值,大数据已经改变,放弃了关键目标。综上所述,BI是大数据的目标驱动,云技术是大数据的实现。
云计算作为计算资源的底层,支持大数据处理的上层。大数据的发展趋势是实时交互的查询效率和分析能力。当前的大数据处理一直在向类似于传统数据库体验的方向发展。
大数据的4V特性,即类型复杂、海量、快速、有价值,其整体架构包括数据存储、数据处理、数据分析三层,三层相互协作,最终使大数据产生价值。
数据处理层的核心问题在于分布式数据存储带来的数据处理的复杂性,海量存储带来的数据处理的时效性要求,这些都是数据处理层要解决的问题。