Skip to content

datawhalechina/hugging-sd

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

知识共享许可协议

项目简介

受到HuggingLLM项目的启发,本项将介绍以stable-diffusion为代表的视觉生成大模型的原理、使用和应用,降低使用门槛,让更多感兴趣的同学能够无障碍使用SD创造价值。

立项理由

以stable-diffusion为代表的视觉生成大模型正在深刻改变视觉领域中的上下游任务(包括二维、三维、视频)。且正在改变许多行业,比如绘画、3D建模、影视、游戏等等。我们将借助该项目让更多人了解并使用视觉生成大模型,尤其是对此感兴趣、想利用相关技术做一些新产品或应用的朋友。希望新的技术能够促进行业更快更好发展,提高人们工作效率和生活质量。AI for humans!

项目受众

项目适合以下人员:

  • 学生。希望通过学习相关技术,了解视觉生成模型的原理和应用,或是开发新应用,或是入门视觉生成式大模型,或是做相关算法究等。
  • 相关或非相关行业从业者。对stable-diffusion或视觉生成大模型感兴趣,希望在实际中运用该技术创造提供新的服务或解决已有问题。

项目不适合以下人员:

  • 研究底层算法细节,过于
  • 对其他技术细节感兴趣。

项目亮点

  • 深入学习视觉生成模型的原理和应用,包括二维、三维、视频等。
  • 熟悉stable-diffusion原理及相关API的使用和理解。
  • 提供示例代码和使用流程。

项目规划【内容持续更新中,欢迎关注~】

1 视觉生成方法I

2 视觉生成方法II

  • 2.1 流式模型
  • 2.2 扩散模型
    • 训练过程
    • 采样过程
    • 优化方法

3 图片生成

  • 3.1 可控生成
    • 条件引导与无条件引导
    • ControlNet
  • 3.2 模型微调
    • 参数微调 dreambooth LoRA
    • 文本反推 textual-inversion
  • 3.3 StableDiffusion结构

4 图片编辑

  • 4.1 图片反推 DDIM-Inversion
  • 4.2 注意力机制
    • 交叉注意力
    • 自注意力
  • 4.3 基于模型的图片编辑

5 三维生成与编辑

6 视频生成与编辑

  • 6.1 视频生成
  • 6.2 视频编辑

7 社区

  • 7.1 社区生态
  • 7.2 行业应用
    • 二维场景:营销作图、游戏作画、美图工具等
    • 三维场景:游戏、数字人、电影、虚拟资产、vision pro内容等
    • 视频场景:抖音、b站、直播等

主要贡献者

pic
Xiaojie Li

清华大学硕士

pic
Letian Zhang

清华大学硕士

pic
joye

Data Scientist

pic
Bote Huang

西安电子科技大学本科

致谢

特别感谢Sm1les对本项目的帮助与支持。 感谢Tango对文生图部分提供的帮助;感谢AnSuZeaT对视频生成部分提供的帮助; 感谢Fantastic121380对视觉生成算法部分提供的帮助; 同时也感谢flawzhangmxztflowQJieWang对本项目提供的帮助和支持。

关注我们

扫描下方二维码关注公众号:Datawhale

  Datawhale,一个专注于AI领域的学习圈子。初衷是for the learner,和学习者一起成长。目前加入学习社群的人数已经数千人,组织了机器学习,深度学习,数据分析,数据挖掘,爬虫,编程,统计学,Mysql,数据竞赛等多个领域的内容学习,微信搜索公众号Datawhale可以加入我们。

LICENSE

知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

About

Hugging StableDiffusion, Hugging Future.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published