
原站网页截图,页面可能随时间更新。
Conduktor 面向使用 Apache Kafka 的开发者、平台团队和运维人员,提供 Console 与 Gateway 两类能力。它建立在现有 Kafka 集群之上,用于提升可见性、权限控制、数据质量和基础设施治理,不要求迁移原有集群或修改客户端。
用途与定位
Conduktor 是一套 Kafka Operations Platform,核心作用是在现有流式数据基础设施与使用团队之间增加统一控制层。它可以连接 Confluent、Amazon MSK、Aiven、Redpanda 以及自建 Kafka,帮助团队以一致方式管理不同提供商的集群。
Console 侧重控制平面,为开发者和平台工程师提供 Kafka 管理界面;Gateway 侧重数据平面,作为 Kafka 代理在协议层路由、保护和转换数据。两者都围绕 Kafka 的可见性、所有权、权限和运营效率展开。
适用场景
Conduktor 适合需要同时运营多个 Kafka 集群,或希望让多个团队在共享基础设施上进行自助式使用的组织。平台团队可以通过统一身份、权限、命名、配置和数据质量规则,减少不同集群之间的管理差异。
在日常运维中,它可用于查看和调试消息、分析消费者延迟、识别热点主题与中断的数据流,也可用于模式注册治理、数据保护、灾备切换、Kafka 迁移及成本归属。金融服务、零售电商、运输物流以及实时数据共享等场景均在其覆盖范围内。
准备与上手
使用前需要已有 Kafka 流式平台,例如 Confluent、Amazon MSK、Aiven、Redpanda 或开源 Kafka,并根据实际环境配合连接器、Schema Registry、流处理或复制组件。Conduktor 的定位是叠加在既有基础设施之上,因此不以替换原平台为前提。
Console 支持通过多集群 Kafka UI 统一查看主题、模式、连接器、生产者和消费者。团队还可以结合 OIDC 或 LDAP、细粒度 RBAC、审计记录以及 Terraform、REST API、GitOps 和 CI/CD 集成来建立管理流程。Gateway 则可在代理层配置身份认证、路由、虚拟集群、故障切换和数据处理规则。
主要功能
Console 支持实时浏览、筛选和重放消息,并可自动解码 Avro、Protobuf 和 JSON Schema。监控能力涵盖热点主题、扇出、数据流中断和消费者延迟,告警可发送到 Slack、PagerDuty、Prometheus 或 Webhook。平台还提供分区、复制、命名和配置方面的健康优化,以及成本归属、数据质量和团队责任分析。
安全与治理功能包括基于 OIDC 和 LDAP 的单点登录、细粒度角色权限、PII 脱敏和审计追踪。Gateway 可集中使用 OIDC 身份、在不改动应用代码的情况下路由客户端,并支持集群切换、故障转移、虚拟集群、主题别名、限流、模式校验、SQL 查询、消息缓存、大型负载卸载,以及通过自有密钥进行字段级加密。
可确认的限制
Conduktor 依赖现有 Kafka 及其生态组件运行,本身并不替代 Kafka 提供商所负责的传输、安全基础、可用性承诺、连接器、Schema Registry 或流处理能力。实际可用范围还取决于组织部署的集群、身份系统、密钥管理和相关组件。
Gateway 的部分能力需要在代理层配置认证、集群、虚拟集群、拦截器或密钥管理服务;因此,复杂的数据保护、故障切换和多租户治理会涉及相应基础设施配置。不同团队能执行的操作还受其在 Console 中获得的角色和权限限制。
问:Conduktor 是否要求迁移现有 Kafka 集群?答:其控制层和代理层建立在现有集群之前,官网描述为无需迁移即可增加治理与控制能力。问:是否需要修改客户端代码才能进行代理层切换?答:Gateway 的路由和故障转移能力标注为无需修改客户端代码。
Conduktor 是否要求迁移现有 Kafka 集群?
不要求。它的控制层和代理层建立在现有 Kafka 集群之上,用于增加治理与控制能力。
是否需要修改客户端代码才能使用 Gateway 的路由和故障转移?
官网将这些能力描述为无需修改客户端代码。