Skip to content

kingekinge/spark-submit-ui

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

62 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

spark-submit-ui

这是一个基于playframwork开发,web管理的spark应用程序

你需要安装SBT和Java以及PlayFramowrk。项目基于2.2.x 版本开发,需要PlayFramowrk 2.2或更高版本。

测试环境

  • JDK8
  • Center OS 6.5
  • Spark 1.5.2
  • Hadoop 2.6.0
  • Scala 2.11

主要功能

  • hadoop metrics 数据监控
  • spark 集群状态信息展示
  • 完善的spark app 提交与管理
  • 任务状态监控,状态推送

并下载并安装Play Framework 编译环境

Installing Play

修改配置文件,将集群地址替换为你的

文件路径在

conf/web-site.conf

编译与运行

然后去 http://localhost:9000 查看正在运行的服务器。

如果运行有这个界面提示,点击Apply this script now 初始化数据表

编译与运行

 activator run 

项目默认使用H2数据库

这是Play 内嵌的一个数据库 H2 H2官方介绍 http://www.h2database.com/html/main.html

如果想要换成Mysql或者是其他的存储可以参考指引 MySQL 数据库引擎连接属性 配置文件 conf/application.conf

 
db.default.driver=com.mysql.jdbc.Driver
db.default.url="jdbc:mysql://localhost/playdb"
db.default.user=playdbuser
db.default.pass="a strong password" 

#其他

通过界面管理,kill或者rerun任务

如果你的提交参数或配置导致异常,可以在提交时查看相关的错误输出

About

This is a based on playframwork for submit spark app

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published