Releases: DataLinkDC/dinky
Dinky v0.6.3
Feature:
[Feature-422][] CDCSource sync kafka topics
[Feature-429][] OracleCDCSource sync kafka topics
[Feature-435][client,executor] CDCSource sync doris
[Feature-442][client,executor] CDCSource sync hudi
[Feature-445][client] CDCSource sync add sink table-name rule
[Feature-447][client] CDCSource sync sql
[Feature-451][client] CDCSource sync field type convertion in Flink1.13
[Feature-461][client] CDCSource sync add sink table-name RegExp
[Feature-469][client] Add MysqlCDCSource sync extended configuration
[Feature-477][client] CDCSOURCE add pkList
[Feature-275][client] Add Flink client 1.15
[Feature-488][*] Release v0.6.3
Fix:
[Fix-427][admin] Task status error when task has stoped
[Fix-425][metadata] Fix Oracle Unsupported character set
[Fix-426][metadata] Fix Clickhouse metadata does not display
[Fix-387][web] Metadata switching error
[Fix-442][client,executor] Add Hudi SOURCE_AVRO_SCHEMA
[Fix-454][metadata] Assign to DriverConfig's name
[Fix-424][common] Modify the default value of the sqlSeparator to ';\r\n|;\n'
[Fix][app] Batch execution with yarn-app mode using the useBatchModel parameter
[Fix-457][web] Fix bug of modifying job name
[Fix-472] [client] Mysqlcdc whole database sync Hudi error
[Fix-479][docs] Fix some inaccessible documentation links
[Fix-484] [core] Fix to job plan info was executed twice
Optimization & Improve:
[Improve-434][admin] The release of Stream
[Optimization-439][client] Optimize CDCSource sync doris
[Improvement-456][dlink-doc] Fix start and stop conflicts when deploy more instances in same machine
[Optimization-459][alert-wechat,web] Optimization wechat Webhook sendMsg title
[Improvement-456][dlink-doc] Fix auto.sh LF and disable environment variables
Dinky v0.6.2
[Feature-312][alert] Add FeiShu alert type
[Feature-309][alert] Add Email alert type
[Feature-339][admin,web] Add alarm msg sending test
[Feature][root] Add docker support
[Feature-355][admin,executor] Restore the job from a savepoint path in remote mode
[Feature-377][] Modify version to 0.6.2-SNAPSHOT
[Feature-389][client,executor] Add OracleCDCSourceMerge
[Feature-401][] Modify version to 0.6.2
[Fix-239][core] Use "==" to judge whether the values of referenced variables are equal. Replace with the equals function
[Fix-310][gateway] Configure hadoop_conf for Flink
[Fix-347][alert] Fix to the latest configuration take effect during the alert test
[fix-350][alert] Feishu alert when choose '@ALL' send msg failed bug
[Fix-358][pom] Fix to install
[fix-363][metadata-hive] Fix hive getSqlGeneration Exception
[Fix-370][executor] Avoid replacement failure due to special characters
[Fix-98][admin,web] Fix to show exception
[Fix-127][core,executor] Add executeAsync datastream job
[Fix-352][admin] Fix to modify cluster configuration
[Fix-395][connector] Oracle connector oracle.sql.TIMESTAMP converte java.sql.Timestamp occur cast exception
[Fix-402][admin] MybatisPlus PO boolean default false
[fix-407][common,function] Use "==" to judge whether the values of referenced variables are equal.
[Fix-405][common] Fix the default value of SystemConfiguration sqlSeparator to ';\r\n'
[Fix-393][core] Program in loop when offline task failed
[Fix-418][admin,core,sql] Fix submit task parameter exception
[Optimization-367][core] Optimization explainSql return all error
[Optimization-371][metadata-hive] Optimization metadata-hive pom
[Optimization-373][admin] Add httpclient to admin jar
[Optimization-382][alert,metadata] Optimization SPI
[Optimization-384][client] Optimization CDCSourceMerge
[Optimization-397][daemon] SPI Optimization
[Optimization-406][web] FlinkWebUI button Optimization && add flinkwebui button for clusertInstance Manager
Dinky v0.6.1
- [Feature] Add issue template
- [Fix-214][gateway,common] Failed to submit fink jar when configuration has empty string
- [Fix][metadata] MySqlDriver Flink Column Type Conversion error
- [Fix-224][metadata-hive] Fix HiveJDBC Multiple SQL Query
- [Fix-234][core] Fix to flink jar cannot be monitored
- [Feature][connector] Add module dlink-connector-phoenix
- [Fix-222][pom] Fix root pom mybatis-plus-boot-starter to latest
- [Feature-242][admin] Add open api named savepointTask
- [Feature-211][alert-wechat] Add WeChat WebHook AlertType
- [Fix-211][web] Fix to alert instance form linkage
- [Fix-264][web] Fix the bug that the metadata details cannot be refreshed when you right-click to switch
- [Fix-233][user management] Fix the bug that the user password was incorrectly modified
- [Fix-220][docs] Modify the encoding format CRLF in the shell file ,named anto, to LF
- [Fix-192][web] Add a button to exit full screen
- [Fix][web] Fix the bug of beautifying "||" in the editor
- [Fix-108][gateway] Fix to cancel per-job bug
- [Optimization-285][web] Optimization document manager optimization
- [Fix-263][dlink-admin] Fix the bug of abnormal blood relationship analysis
- [Fix-299][web] Fix to DingTalk form does not display correctly
- [Fix-294][admin] Fix to flink conf json bug
Dinky v0.6.0
新功能
- 新增作业目录树关键字搜索框
- 新增 F2 全屏开发
- 新增 K8S 集群配置
- 新增 Doris 数据源注册、元数据、查询和执行
- 新增 SqlServer 数据源注册、元数据、查询和执行
- 新增 Oracle 数据源注册、元数据、查询和执行
- 新增 Phoenix 数据源注册、元数据、查询和执行
- 新增 Hive 数据源注册、元数据、查询和执行
- 新增元数据生成 FlinkSQL 和 SQL
- 新增 CDCSOURCE 多源合并任务语法支持
- 新增作业生命周期管理
- 新增 FlinkJar Dialect 的管理
- 新增 Batch 引擎
- 新增数据源的连接信息片段机制自动注入
- 新增用户密码修改
- 新增报警模块(实例和组)
- 新增钉钉报警
- 新增微信企业号报警
- 新增运维中心任务实例功能
- 新增运维中心任务实时监控功能
- 新增运维中心任务监控的 FlinkWebUI、智能停止、SavePoint 等操作
- 新增运维中心任务监控的作业总览
- 新增运维中心任务监控的配置信息
- 新增运维中心任务监控的智能重启和报警推送
- 新增实时自动告警
- 新增 Application 模式自增修正 checkpoint 和 savepoint 存储路径
- 新增作业发布时进行语法校验和逻辑检查
- 新增作业上下线自动提交和停止任务
- 新增作业生命周期与任务实例同步联动
- 新增运维中心的作业实例与历史切换
- 新增运维中心的异常信息实现
- 新增运维中心的 FlinkSQL 实现
- 新增运维中心的报警记录实现
- 新增运维中心血缘分析——字段级
- 新增作业剪切和粘贴
- 新增实时任务监控容错机制
修复和优化
- 升级 SpringBoot 至 2.6.3
- 升级 Flink 1.13.5 至 1.13.6
- 优化 sql 美化
- 优化默认启用数据预览等
- 修复前端 state 赋值 bug
- 修复异常预览内容溢出 bug
- 修复数据预览特殊条件下无法获取数据的 bug
- 优化 SQL 编辑器性能
- 修复全屏开发退出后 sql 不同步
- 优化作业配置查看及全屏开发按钮
- 优化异常日志的捕获、反馈与持久化
- 优化元数据数据源的的类型转换和连接管理
- 优化 K8S Application 提交配置
- 优化 PerJob 和 Application 作业的 JID 提交检测
- 修复集群配置参数项为空时无法正常提交 perjob 任务的bug
- 优化语法检测建议的结果提示
- 修复 Oracle 无法正确获取元数据的 bug
- 修复报警组刷新当前页面时无法正常显示下拉报警实例
- 优化当提交作业无法获取 JID 时变为提交失败
- 优化 IDEA 调试时的依赖配置
- 修复用户未登录时后台报错及鉴权问题
- 修复用户逻辑删除 bug
- 修复 kubernetes 集群配置相关显示 bug
- 优化 Studio 血缘分析为字段级
- 修复 Doris 无法获取到列的主键信息
Dinky v0.5.1
- 修复 SHOW 和 DESC 的查询预览失效
- 修复 作业非remote作业进行remote语法校验的问题
- 增加 dlink-client-hadoop 版本定制依赖
- 优化 菜单
- 优化 pom及升级log4j至最新
- 修复 前端多处bug
- 新增 F2 全屏开发
- 升级 SpringBoot 至 2.6.3
- 优化 日志依赖
- 修复 前端 state 赋值 bug
- 修复 异常预览内容溢出 bug
- 修复 数据预览特殊条件下无法获取数据的 bug
- 优化 SQL编辑器性能
- 修复 全屏开发退出后 sql 不同步
- 升级 Flink 1.14.2 到 1.14.3
- 修复 Flink 1.14 提交任务报错缺类 bug
- 优化 作业配置查看及全屏开发按钮
- 新增 K8S集群配置
Dinky v0.5.0
- 支持 Kubernetes Session 和 Application 模式提交任务
- 新增 UDF Java方言的Local模式的在线编写、调试、动态加载
- 新增 FlinkSQL 执行环境方言及其应用功能
- 新增 BI选项卡的折线图、条形图、饼图
- 新增 元数据查看表和字段信息
- 新增 ChangLog 和 Table 的查询及自动停止实现
- 新增 Mysql,Oracle,PostGreSql,ClickHouse,Doris,Java 方言
- 新增 OpenAPI 的执行sql、校验sql、获取计划图、获取StreamGraph、获取预览数据、执行Jar、停止、SavePoint接口
- 新增 数据源的 Sql 作业语法校验和语句执行
- 新增 快捷键保存、校验、美化等
- 新增 引导页
- 新增 JobPlanGraph 展示
- 新增 SQLServer Jdbc Connector 的实现
- 新增 Local 的运行模式选择与分类
- 新增 SavePoint 的 restAPI 实现
- 新增 编辑器选项卡右键关闭其他和关闭所有
- 新增 FlinkSQL 及 SQL 导出
- 新增 集群与数据源的 Studio 管理交互
- 新增 Yarn 的 Kerboros 验证
- 建立 官网文档
- 修改 项目名为 Dinky 以及图标
- 优化 所有模式的所有功能的执行逻辑
- 升级 各版本 Flink 依赖至最新版本以解决核弹问题
- 修复 编辑集群配置测试后保存会新建的bug
- 修复 登录页报错弹框
- 修复 Yarn Application 解析数组异常问题
- 修复 自定义Jar配置为空会导致异常的bug
- 修复 任务提交失败时注册集群报错的bug
- 修复 set在perjob和application模式不生效的问题
- 修复 perjob和application模式的任务名无法自定义的问题
- 修复 set 语法在1.11和1.12的兼容问题
- 修复 血缘分析图由于前端依赖无法正常加载的问题
Dlink v0.4.0,FlinkSQL Studio !
- 支持 standalone,yarn-session,yarn-per-job,yarn-application 多种模式的 FlinkSQL 执行与作业运维;
- 支持 yarn-application 的 User Jar 提交;
- 支持 SavePoint 管理与恢复;
- 支持 SELECT 和 SHOW 语句预览;
- 支持SQL片段、AGGTABLE、语句集等语法增强;
- 支持依据文档模块或SQL上下文的自动提示与补全;
- 支持 sql-client 的所有语法;
- 支持 FlinkSQL 语法及逻辑校验;
- 支持表级血缘分析;
- 支持 StreamGraph 计划图预览;
- 支持共享会话模式及其 Catalog 管理;
- 支持数据源管理及元数据查询;
- 支持集群及配置管理;
- 支持文档管理;
- 支持 Jar 管理;
- 支持用户管理;
- 支持系统配置。