本文目录一览：
大规模批量计算（batch compute）？
大规模批量计算是对存储的静态数据进行大规模并行批处理的计算。批量计算是一种批量、高时延、主动发起的计算。习惯上我们认为离线和批量等价，但其实是不准确的。离线计算一般是指数据处理的延迟。这里有两方面的含义第一就是数据是有延迟的，第二是是时间处理是延迟。在数据是实时的情况下，假设一种情况：当我们拥有一个非常强大的硬件系统，可以毫秒级的处理 Gb 级别的数据，那么批量计算也可以毫秒级得到统计结果。 业界常见的大规模批量计算框架：Tez、MapReduce、Hive、Spark、Pig、大数据的编程模型 Apache Beam。
聊聊批计算、流计算、Hadoop、Spark、Storm、Flink等等
批：处理离线数据，冷数据。单个处理数据量大，处理速度比流慢。
流：处理在线，实时产生的数据。单次处理的数据量小，但处理速度更快。
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架。
Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说， Spark 启用了RDD（弹性分布式数据集），除了能够提供交互式查询外，它还可以优化迭代工作负载。RDD可以常驻内存的属性，大大简化了迭代计算所需的开销，Spark任务可以立马利用上一次计算出来的RDD来进行下次迭代。
Apache Hadoop中的MapReduce是属于离线计算技术；
Spark中Spark Core属于离线计算技术，只不过它基于内存存储中间结果，速度上比MapReduce 快很多倍，又离实时计算技术很近；
Spark中Spark Streaming 子项目属于实时计算技术，类似于Storm；
Spark中SparkSQL属于离线计算技术，只不过它基于内存存储中间结果，速度上比Hive快很多倍。
Spark并不是要成为一个大数据领域的“独裁者”，一个人霸占大数据领域所有的“地盘”，而是与Hadoop进行了高度的集成，两者可以完美的配合使用。Hadoop的HDFS、Hive、HBase负责存储，YARN负责资源调度；Spark负责大数据计算。实际上，Hadoop+Spark的组合，可以解决绝大部分大数据的场景。
Spark逐渐形成了一套完整的生态系统，既能够提供内存计算框架，也可以支持SQL 即席查询、实时流计算、机器学习和图计算等。
Spark所提供的生态，可以支持如下3中场景：
一栈式解决方案（one stack to rule them all）
Spark包含了大数据领域常见的各种计算框架：
Spark streaming批量读取数据源中的数据，然后把每个batch转化成内部的RDD。Spark streaming以batch为单位进行计算（默认1s产生一个batch），而不是以Tuple为单位，大大减少了ack所需的开销，显著提高了吞吐。
但也因为处理数据的粒度变大，导致Spark streaming的数据延时不如Storm，Spark streaming是秒级返回结果（与设置的batch间隔有关），Storm则是毫秒级。
Storm提供了低延迟的计算，但是吞吐较低，并且无法保证exactly once（Storm trident采用batch的方式改善了这两点），Spark streaming通过小批量的方式保证了吞吐的情况下，同时提供了exactly once语义，但是实时性不如Storm，而且由于采用micro-batch的方式，对window和event time的支持比较有限（Spark streaming 2.0中引入了window和event time，还在起步阶段）。
Flink采用分布式快照的方式实现了一个高吞吐、低延迟、支持exactly once的流式系统，流式处理的方式也能更优雅的支持window和event time。
当然也不是说Flink一定就比Storm、Spark streaming好， 没有最好的框架，只有最合适的框架 。根据自身的业务、公司的技术储备选择最合适的框架才是正确的选择。
流式计算与批量计算有什么区别?
大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph computing)等。其中，流式计算和批量计算是两种主要的大数据计算模式，分别适用于不同的大数据应用场景。
流数据（或数据流）是指在时间分布和数量上无限的一系列动态数据集合体，数据的价值随着时间的流逝而降低，因此必须实时计算给出秒级响应。流式计算，顾名思义，就是对数据流进行处理，是实时计算。
批量计算则统一收集数据，存储到数据库中，然后对数据进行批量处理的数据计算方式。主要体现在以下几个方面：
1、数据时效性不同：流式计算实时、低延迟， 批量计算非实时、高延迟。
2、数据特征不同：流式计算的数据一般是动态的、没有边界的，而批处理的数据一般则是静态数据。
3、应用场景不同：流式计算应用在实时场景，时效性要求比较高的场景，如实时推荐、业务监控...批量计算一般说批处理，应用在实时性要求不高、离线计算的场景下，数据分析、离线报表等。
4、运行方式不同，流式计算的任务持续进行的，批量计算的任务则一次性完成。