Skip to content

liguodongiot/ai-system

Repository files navigation

AI System(人工智能系统)

本项目为人工智能系统相关技术原理和实战分享。关于大模型相关技术原理以及实战经验分享放置在llm-action;另外,收集的大模型相关技术的全网优质资源放置在llm-resource

目录

MLOps技术栈架构

MLOps stack architecture

MLOps

MLOps杂谈

无代码与以数据为中心的AI平台

数据管理

数据版本管理

捕获数据版本以重现、跟踪和记录您的 ML 模型血缘。

DVC

特征存储

机器学习建模

AutoML

模型实验跟踪

跟踪有关实验的重要信息,如参数、指标和模型。

MLflow

模型运营

模型推理

创建API端点并使用模型进行预测。

模型服务

Triton

模型推理引擎

模型监控

模型监控概述

  • 什么是模型监控?(Valohai)
    • 为什么要监控模型、机器学习模型监控清单(数据分布变化、性能改变、健康指标/运营指标、数据完整性、分段性能、偏见/公平)、在 Valohai 中如何监控模型(存储指标、在 UI 中可视化指标)
  • 机器学习模型监控清单
    • 服务健康、数据质量和完整性、数据和目标漂移、模型性能、分段性能表现、偏见/公平、异常值
  • 模型监控:定义、重要性和最佳实践(AI Multiple)
    • 什么是模型监控、为什么模型监控很重要、ML 模型随时间退化的原因(不断变化的环境、更改业务数据)、模型监控变量(真实值与预测值检查、数据分布变化、无错误数据、公平、运行指标)
  • 机器学习模型监控(Aporia)
    • 机器学习模型监控(什么是模型监控、如何监控机器学习(数据漂移检测、数据完整性检测、概念漂移检测、数据偏差、异常))、模型中的漂移检测(模型漂移、数据漂移(KS检验、PSI、Z-score)、概念漂移)、机器学习性能监控(如何监控机器学习性能、如何提高模型性能)、机器学习模型管理、模型可解释性、机器学习实验跟踪、机器学习模型注册表
  • MLOps:模型监控
    • 模型监控背景、模型监控动机、模型监控指标(稳定性指标、性能表现指标、运营指标)
  • 监控生产中的ML系统,您应该跟踪哪些指标?
    • 为什么需要ML监控、ML监控动机、模型监控金字塔(软件后端、数据、ML模型、业务或产品KPI)、模型监控指标(ML系统健康监测、ML数据质量监控、ML模型质量监控、业务指标和KPI)、模型监控利益相关者、模型监控难点

模型漂移

  • 机器学习中的概念漂移(Aporia)
    • 机器学习中的漂移类型(概念漂移、预测漂移、标签漂移、特征漂移)、概念漂移可以以不同的方式出现(突然漂移、逐渐漂移、递增的漂移、重复出现的概念)、概念漂移的两种类型(虚拟的漂移、真正的漂移)、现实生活中的概念漂移、概念漂移的难点
  • 机器学习概念漂移检测方法(Aporia)
    • 统计方法(JS散度、KL散度、KS检验)、统计过程控制方法(DDM/EDDM、CUMSUM及其变体PH)、时间窗口分布方法(ADWIN、Paired Learners)、上下文方法(树特征)、漂移检测实现工具
  • 如何检测和克服MLOps中的模型漂移
    • 模型漂移的类型(概念漂移、数据漂移)、解决模型漂移、创建可持续的机器学习模型
  • 数据漂移、概念漂移以及如何监控它们(mona)
    • 什么是数据漂移、什么是概念漂移、数据漂移和概念漂移的区别、什么时候应该关注概念漂移、监控数据漂移和概念漂移的建议

模型监控数据类型

模型监控工具

  • ML 模型监控最佳工具
    • 如何比较 ML 模型监控工具(易于集成、灵活性和表现力、开销、监控功能、警报)、ML 模型监控工具(Neptune、Arize、WhyLabs、Grafana+Prometheus、Evidently(开源)、Qualdo、Fiddler、Amazon SageMaker Model Monitor、Seldon Alibi Detect(开源)、Censius)
  • 一个精选的模型监控工具列表
    • Aporia、Deepchecks(开源)、MLRun、Evidently(开源)、WhyLabs
  • 机器学习模型监控工具:Evidently 与 Seldon Alibi 对比
    • 比较标准(兼容性、集成、能力) 、Evidently(离线分析、实时监控)、Seldon Alibi Detect(离线分析、实时监控

Evidently

Seldon Alibi Detect

模型可视化

可解释机器学习

机器学习流水线

自动化ML实验的步骤。调度流水线运行,以根据新数据重新训练模型。

人工智能系统

大模型

LLM理论及实践: llm-action

AI系统技术分享

AI资料

技术交流群

我创建了一个AI工程化学习交流群,供大家一起学习交流AI工程化相关的最新技术(MLOps、ModelOps、LLMOps、AI System等),可加我微信进群(加微信请备注来意,如:进AI工程化交流群+GitHub)。一定要备注哟,否则不予通过

微信公众号

微信公众号:吃果冻不吐果冻皮,该公众号主要分享AI工程化(大模型、MLOps等)相关实践经验,免费电子书籍、论文等。

Star History

Star History Chart