Author(s): CHEN Lin, ZHAN Peng
Pages: 66-68
Year: 2014 Issue:  1
Journal: China Education Network
Abstract: 大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用. 大数据解决方案 大数据时代的到来对数据的存储、处理及分析提出了新的挑战,但总的发展趋势是通过分布式计算来解决“瓶颈”问题.我们不能依赖提高单个节点性能这种纵向扩展的方式提升系统整体的性能,相反,我们需要能够通过增加系统内节点的数目这种横向扩展的方式来达到我们的目的.我们将存储、处理和分析的任务通过分布式的方式分散到系统中各个节点上来加快数据的存储、处理和分析的速度.在实际的实现上,Google、Amazon、微软和VMware这4家公司在不同时间陆续推出各自的大数据方案,在应用领域和赢利模式上,Amazon和Google处于领跑者地位,微软和VMware紧随其后,此外还有开源的Hadoop平台.