Skip to content

Latest commit

 

History

History
154 lines (103 loc) · 8.82 KB

README-zh_CN.md

File metadata and controls

154 lines (103 loc) · 8.82 KB

License CircleCI Build Status codecov Go Report Card Artifact HUB OpenSSF Scorecard CII Best Practices Leaderboard

Fluid

English | 简体中文

更新 最新进展:
最新版发布:2024年4月17日, Fluid v1.0.0 发布! 版本更新介绍详情情参见 CHANGELOG
v0.9.0版发布:2023年5月26日, Fluid v0.9.0 发布! 版本更新介绍详情情参见 CHANGELOG
v0.8.0版发布:2022年9月3日, Fluid v0.8.0 发布! 版本更新介绍详情情参见 CHANGELOG
v0.7.0版发布:2022年3月2日, Fluid v0.7.0 发布! 版本更新介绍详情情参见 CHANGELOG
v0.6.0版发布:2021年8月11日, Fluid v0.6.0 发布! 版本更新介绍详情情参见 CHANGELOG
v0.5.0版发布:2021年5月16日, Fluid v0.6.0 发布! 版本更新介绍详情情参见 CHANGELOG
进入CNCF:2021年4月27日, Fluid通过CNCF Technical Oversight Committee (TOC)投票决定被接受进入CNCF,成为CNCF Sandbox Project
v0.4.0版发布:2020年11月6日, Fluid v0.6.0 发布! 版本更新介绍详情情参见 CHANGELOG
v0.3.0版发布:2020年10月1日, Fluid v0.6.0 发布! 版本更新介绍详情情参见 CHANGELOG

什么是Fluid

Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据密集型应用,例如大数据应用、AI应用等。

Fluid现在是Cloud Native Computing Foundation (CNCF) 开源基金会旗下的一个沙箱项目。关于Fluid更多的原理性介绍, 可以参见我们的论文:

  1. Rong Gu, Kai Zhang, Zhihao Xu, et al. Fluid: Dataset Abstraction and Elastic Acceleration for Cloud-native Deep Learning Training Jobs. IEEE ICDE, pp. 2183-2196, May, 2022. (Conference Version)

  2. Rong Gu, Zhihao Xu, Yang Che, et al. High-level Data Abstraction and Elastic Data Caching for Data-intensive AI Applications on Cloud-native Platforms. IEEE TPDS, pp. 2946-2964, Vol 34(11), 2023. (Journal Version)

通过定义数据集资源的抽象,实现如下功能:

核心功能

  • 数据集抽象原生支持

    将数据密集型应用所需基础支撑能力功能化,实现数据高效访问并降低多维管理成本

  • 可扩展的数据引擎插件

    提供统一的访问接口,方便接入第三方存储,通过不同的Runtime实现数据操作

  • 自动化的数据操作

    提供多种操作模式,与自动化运维体系相结合

  • 数据弹性与调度

    将数据缓存技术和弹性扩缩容、数据亲和性调度能力相结合,提高数据访问性能

  • 运行时平台无关

    支持原生、边缘、Serverless Kubernetes集群、Kubernetes多集群等多样化环境,适用于混合云场景

重要概念

Dataset: 数据集是逻辑上相关的一组数据的集合,会被运算引擎使用,比如大数据的Spark,AI场景的TensorFlow。而这些数据智能的应用会创造工业界的核心价值。Dataset的管理实际上也有多个维度,比如安全性,版本管理和数据加速。我们希望从数据加速出发,对于数据集的管理提供支持。

Runtime: 实现数据集安全性,版本管理和数据加速等能力的执行引擎,定义了一系列生命周期的接口。可以通过实现这些接口,支持数据集的管理和加速。

先决条件

  • Kubernetes version > 1.16, 支持CSI
  • Golang 1.18+
  • Helm 3

快速开始

你可以通过 快速开始 在Kubernetes集群中测试Fluid.

文档

如果需要详细了解Fluid的使用,请参考文档 docs

你也可以访问Fluid主页来获取有关文档.

快速演示

演示 1: 加速文件访问

演示 2: 加速机器学习

演示 3: 加速PVC

演示 4: 数据预热

演示 5: 在线不停机数据集缓存扩缩容

如何贡献

欢迎您的贡献,如何贡献请参考CONTRIBUTING.md.

欢迎加入与反馈

Fluid让Kubernetes真正具有分布式数据缓存的基础能力,开源只是一个起点,需要大家的共同参与。大家在使用过程发现Bug或需要的Feature,都可以直接在 GitHub上面提 issue 或 PR,一起参与讨论。另外我们有一个钉钉群,欢迎您的参与和讨论。

钉钉讨论群

Slack 讨论群

  • 加入 CNCF Slack 通过搜索频道 #fluid 和我们进行讨论.

开源协议

Fluid采用Apache 2.0 license开源协议,详情参见LICENSE文件。

漏洞报告

安全性是Fluid项目高度关注的事务。如果您发现或遇到安全相关的问题,欢迎您给[email protected]邮箱发送邮件报告。具体细节请查看SECURITY.md

行为准则

Fluid 遵守 CNCF 行为准则