Spark简介-创新互联
==> 什么是 Spark
---> Spark 是一个针对大规模数据处理的快速通用引擎
---> Spark 是 MapReduce 的替代方案，而且兼容 HDFS, Hive, 可容入Hadoop 的生态系统，弥补 MapReduce 的不足
==> Spark 核心 RDD (Resilient Distributed Datasets 弹性分布式数据集)
---> RDD 可简单理解为： 一个提供了很多操作接口的数据集合，分布式存储于集群环境中的存储设备中（内存或硬盘），其中包括容错，并行处理等功能
==> Spark 特点
---> 快
---- 优点：与Mapreduce 相比，Spark 基于内存运算，运算速度要快100倍，基于硬盘计算，运算速度要快 10 倍
----缺点：没有对内存进行管理，把所有的内存管理都交给应用程序，以弥补MapReduce的不足，
容易出现 OOM（out of memory）, 可使用 Java Heap Dump 工具分析 Java 程序的内存溢出
---> 易用
---- Spark 支持 Java ，Python, Scala 的 API
---- 支持80多种算法
---- 支持交互式，可以在shell 中使用Spark 验证解决问题的方法
---> 通用（生态圈）
---- 批处理
---- 交互式查询 （Spark SQL）
---- 实时流处理 （Spark Streaming）
----机器学习 ( Spark MLlib )
---- 图计算 ( GraphX )
---- 与 Hadoop 很好的融合， 可以直接操作 HDFS, 并提供 Hive on Spark, Pig on Spark的框架集成 Hadoop（配置Hive on Spark 还不成熟）
---> 兼容性 可以非常方便的与其它开源产品进行融合
---- 可以使用 Hadoop 的 YARN 和 Apache Mesos 作为它的资源管理调度器
---- 可以处理所有 Hadoop 支持的数据：HDFS， HBase， Cassandra 等
----不需要做任何的数据迁移就可以使用 Spark 的强大处理能力
---- 可以不依赖第三方的资源管理和调度器，实现 Standalone 作为它的内置的资源管理和调试框架，降低部署的复杂性
---- 提供了在 EC2 上部署 Standalone 的Spark 集群工具
==> Spark 生太圈
---> Spark Core
---> Spark SQL
---> Spark Streaming
---> Spark MLLib: 机器学习
---> Spark GraphX: 图计算
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
本文名称：Spark简介-创新互联
当前URL：http://cdiso.cn/article/eihjs.html
