这是一个基于playframwork开发,web管理的spark应用程序
你需要安装SBT和Java以及PlayFramowrk。项目基于2.2.x 版本开发,需要PlayFramowrk 2.2或更高版本。
- JDK8
- Center OS 6.5
- Spark 1.5.2
- Hadoop 2.6.0
- Scala 2.11
- hadoop metrics 数据监控
- spark 集群状态信息展示
- 完善的spark app 提交与管理
- 任务状态监控,状态推送
文件路径在
conf/web-site.conf
然后去 http://localhost:9000 查看正在运行的服务器。
如果运行有这个界面提示,点击Apply this script now 初始化数据表
activator run
这是Play 内嵌的一个数据库 H2 H2官方介绍 http://www.h2database.com/html/main.html
如果想要换成Mysql或者是其他的存储可以参考指引 MySQL 数据库引擎连接属性 配置文件 conf/application.conf
db.default.driver=com.mysql.jdbc.Driver db.default.url="jdbc:mysql://localhost/playdb" db.default.user=playdbuser db.default.pass="a strong password"
#其他
通过界面管理,kill或者rerun任务
如果你的提交参数或配置导致异常,可以在提交时查看相关的错误输出