一站式Apache Kafka
集群指标监控与运维管控平台
LogiKM开源至今备受关注,考虑到开源项目应该更贴合Apache Kafka未来发展方向,经项目组慎重考虑,预计22年5月份将其品牌升级成Know Streaming,届时项目名称和Logo也将统一更新,感谢大家一如既往的支持,敬请期待!
阅读本README文档,您可以了解到滴滴Logi-KafkaManager的用户群体、产品定位等信息,并通过体验地址,快速体验Kafka集群指标监控与运维管控的全流程。
滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验,是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景,经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时,还与多家知名企业达成商业化合作。
- 体验地址 http://117.51.150.133:8080 账号密码 admin/admin
相比较于同类产品的用户视角单一(大多为管理员视角),滴滴Logi-KafkaManager建立了基于分角色、多场景视角的体验地图。分别是:用户体验地图、运维体验地图、运营体验地图
- 平台租户申请 :申请应用(App)作为Kafka中的用户名,并用 AppID+password作为身份验证
- 集群资源申请 :按需申请、按需使用。可使用平台提供的共享集群,也可为应用申请独立的集群
- Topic 申 请 :可根据应用(App)创建Topic,或者申请其他topic的读写权限
- Topic 运 维 :Topic数据采样、调整配额、申请分区等操作
- 指 标 监 控 :基于Topic生产消费各环节耗时统计,监控不同分位数性能指标
- 消 费 组 运 维 :支持将消费偏移重置至指定时间或指定位置
- 多版本集群管控 :支持从
0.10.2
到2.x
版本 - 集 群 监 控 :集群Topic、Broker等多维度历史与实时关键指标查看,建立健康分体系
- 集 群 运 维 :划分部分Broker作为Region,使用Region定义资源划分单位,并按照业务、保障能力区分逻辑集群
- Broker 运 维 :包括优先副本选举等操作
- Topic 运 维 :包括创建、查询、扩容、修改属性、迁移、下线等
- 资 源 治 理 :沉淀资源治理方法。针对Topic分区热点、分区不足等高频常见问题,沉淀资源治理方法,实现资源治理专家化
- 资 源 审 批 :工单体系。Topic创建、调整配额、申请分区等操作,由专业运维人员审批,规范资源使用,保障平台平稳运行
- 账 单 体 系 :成本控制。Topic资源、集群资源按需申请、按需使用。根据流量核算费用,帮助企业建设大数据成本核算体系
- 高 效 的 问 题 定 位 :监控多项核心指标,统计不同分位数据,提供种类丰富的指标监控报表,帮助用户、运维人员快速高效定位问题
- 便 捷 的 集 群 运 维 :按照Region定义集群资源划分单位,将逻辑集群根据保障等级划分。在方便资源隔离、提高扩展能力的同时,实现对服务端的强管控
- 专 业 的 资 源 治 理 :基于滴滴内部多年运营实践,沉淀资源治理方法,建立健康分体系。针对Topic分区热点、分区不足等高频常见问题,实现资源治理专家化
- 友 好 的 运 维 生 态 :与滴滴夜莺监控告警系统打通,集成监控告警、集群部署、集群升级等能力。形成运维生态,凝练专家服务,使运维更高效
- 滴滴云官网产品介绍
- 7年沉淀之作--滴滴Logi日志服务套件
- 滴滴LogiKM 一站式Kafka监控与管控平台
- 滴滴LogiKM 开源之路
- 滴滴LogiKM 系列视频教程
- kafka最强最全知识图谱
- 滴滴LogiKM新用户入门系列文章专栏 --石臻臻
- kafka实践(十五):滴滴开源Kafka管控平台 LogiKM研究--A叶子叶来
想跟各个大佬交流Kafka Es 等中间件/大数据相关技术请 加微信进群。
微信加群:添加mike_zhangliang、danke-xie的微信号备注Logi加群或关注公众号 云原生可观测性 回复 "Logi加群"
✅我们正在组建国内最大最权威的
【Kafka中文社区】
在这里你可以结交各大互联网Kafka大佬以及近2000+Kafka爱好者,一起实现知识共享,实时掌控最新行业资讯,期待您的加入中~https://z.didi.cn/5gSF9
有问必答~!
互动有礼~!
PS:提问请尽量把问题一次性描述清楚,并告知环境信息情况哦~!如使用版本、操作步骤、报错/警告信息等,方便大V们快速解答~
iceyuhui
、liuyaguang
、limengmonty
、zhangliangmike
、xiepeng
、nullhuangyiming
、zengqiao
、eilenexuzhe
、huangjiaweihjw
、zhaoyinrui
、marzkonglingxu
、joysunchao
、石臻臻
fangjunyu
、zhoutaiyang
LogiKM
基于Apache-2.0
协议进行分发和使用,更多信息参见协议文件