Taier 太阿，是中国古代十大名剑之一
Taier 是一个开源的分布式 DAG 调度系统，专注不同任务的提交和调度。旨在降低 ETL 开发成本，解决任务之间复杂的依赖关系和提交、调度、运维带来的上手成本
在 Taier 上进行 ETL 开发，不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中
Taier 提供了一个提交、调度、运维、指标信息展示的一站式大数据开发平台
核心功能如下:
- 分布式扩展
- 可视化 DAG 配置
- IDE 式开发平台
- 自定义扩展任务插件
- 向导、脚本多种模式
- 上下游依赖调度
- 支持实时、离线任务
- 支持对接不同版本的 Hadoop
- 支持Flink Standalone
- 对集群环境 0 侵入
- 多租户多集群隔离
- 支持 Kerberos 认证
- 任务多版本支持
- 自定义参数替换
- 集群资源实时监控
- 数据指标实时获取
- 任务资源限制
$ wget https://github.com/DTStack/Taier/blob/master/docker-compose.yml
$ docker-compose up -d
| Tasks | Documentation |
|---|---|
| 工作流 | 文档 |
| 数据同步 | 文档 |
| 实时采集 | 文档 |
| Flink | 文档 |
| Shell | 文档 |
| Python | 文档 |
| Spark SQL | 文档 |
| Hive SQL | 文档 |
| Flink SQL | 文档 |
| OceanBase SQL | 文档 |
| ClickHouse SQL | 文档 |
| Doris SQL | 文档 |
| TiDB SQL | 文档 |
| MySQL SQL | 文档 |
| Vertica SQL | 文档 |
| Postgre SQL | 文档 |
| SqlServer SQL | 文档 |
| Greenplum SQL | 文档 |
| MaxCompute SQL | 文档 |
| GaussDB SQL | 文档 |
| 自定义扩展 | 文档 |
常见问题 在使用上有遇到 bug 或者优化点，强烈建议你提 issue 我们将及时修复
我该如何贡献？
Taier is under the Apache 2.0 license. See the LICENSE file for details.