Livy，基于Apache Spark的开源REST服务，加入Cloudera Labs

标签：Cloudera Livy Labs cloudera REST Spark com

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

Fayson的github：https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

Cloudera Labs的新成员Livy，为web/mobile应用简化了Spark架构。

Hadoop生态圈的Spark（https://www.cloudera.com/products/open-source/apache-hadoop/apache-spark.html），一夜之间成为默认的数据处理引擎，并被作为高级分析的标准。但是它依旧有许多东西需要完善，特别是在大规模/多租户，开发与投产，以及可扩展性方面。

比如，基于Spark的应用程序一直有以下限制：如果不做复杂的客户端配置，远程的应用程序无法直接访问Spark资源，这对于开发人员的体验相当差，而且也拉长了投产的过程。这个限制也使得Spark与其他系统集成变得很麻烦。

因为这些原因，所以我们把Livy项目加入到了Cloudera Labs中，跟其他的实验室项目一样，Livy只能用于开发和测试目的，而不建议用于生产环境，目前Cloudera也不会提供支持。Cloudera Labs中的项目玩法，你还可以参考Fayson之前翻译的Phoenix文章《Cloudera Labs中的Phoenix》

Livy是基于Apache许可的一个服务，它可以让远程应用通过REST API比较方便的与Spark集群交互。通过简单的REST接口或RPC客户端库，它可以让你轻松的提交Spark作业或者Spark代码片段，同步或者异步的结果检索，以及SparkContext管理。Livy还简化了Spark和应用程序服务器之间的交互，从而为web/mobile应用简化Spark架构。

通过Livy，你可以：

1.由多个客户端为多个Spark作业使用长时间运行的SparkContexts。

2.同时管理多个SparkContexts，让它们在集群中（YARN/Mesos）运行，从而实现很好的容错和并发，而不是在Livy服务上运行。

3.预编译的jars，代码片段或者Java/Scala客户端API都可以用来提交作业。

4.安全认证的通信。

要使用Livy，集群中必须安装Spark 1.4或以上版本，Scala2.10。你可以通过以下链接下载并开始：

http://archive.cloudera.com/beta/livy/livy-server-0.3.0.zip

1.导入以下环境变量

export SPARK_HOME=/usr/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf

2.启动服务

./bin/livy-server

通过上面的配置你可以看到，Livy在默认情况下使用了SPARK_HOME下的Spark配置。强烈建议配置Spark on YARN，以确保用户会话可以连接到YARN集群中，并使用YARN分配的资源，也可以保证当有多个会话连接时，运行Livy服务的节点不会负载太高。Livy在自己的conf目录下还有一些自己的配置文件。可以参考：

https://github.com/cloudera/livy/blob/master/README.rst

到目前为止，Livy主要由Cloduera，Microsoft和Intel的员工一起来开发维护，但Livy社区欢迎更多的贡献者，如下：

https://github.com/cloudera/livy/wiki/Contributing-to-Livy

我们鼓励你尝试一下，并欢迎将任何反馈提交到Cloudera Labs社区：

http://community.cloudera.com/t5/Cloudera-Labs/bd-p/ClouderaLabs

参考：

https://blog.cloudera.com/blog/2016/07/livy-the-open-source-rest-service-for-apache-spark-joins-cloudera-labs/

https://mp.weixin.qq.com/s/SMfB-3wQBSqK7Nhv2KooWA

Fayson在接下来会对Livy的安装使用进行实操，欢迎持续关注：

Livy编译，包括与CDH的集成

Livy在非Kerberos的CDH集群下的使用

Livy在Kerberos的CDH集群下的使用