请教一下大家,有什么异构数据源同步工具推荐吗?

cernard 4月前 68

如题所属,异构数据源的离线(批)和实时数据同步工具。

需求:

  1. 支持异构数据源( mysql 、mongo 、文件、api 、消息)
  2. 提供 api 或者 sdk 在代码中提交和管理任务
  3. 支持任务详情监控
  4. 支持异常报警(或者能够自己实现)
  5. 开源,基于 Java
  6. 支持自定义代码或者插件

目前已知符合条件的:

  1. DataX
  2. FlinkX
  3. Logstash (不推荐,难嵌入和监控)

但是 DataX 和 FlinkX 都没用过,不知道有什么坑,还有什么可以推荐的吗?

最新回复 (5)
  • whasyt 4月前
    引用 2
    datax 满足
  • 楼主 cernard 4月前
    引用 3
    @whasyt #1 DataX 可以在 java 代码里提交任务、管理任务、监控任务吗?我看 github 都是手动运行命令提交任务
  • whasyt 4月前
    引用 4
    @cernard #2 他是开源的,监控任务可以自己修改代码实现,或者在调用环境下监控日志&调度。
  • 楼主 cernard 4月前
    引用 5
    @whasyt #3 了解,感谢
  • death00 4月前
    引用 6
    有个 datax-web,是界面可配置话的那种,你看看可以不
    https://github.com/WeiYe-Jing/datax-web
  • 游客
    7
返回