From 510df129d3c1ad9b71ae80b9b4903313ca8bc373 Mon Sep 17 00:00:00 2001 From: cse0001 Date: Tue, 16 Jul 2024 21:30:05 +0800 Subject: [PATCH 1/8] init --- .../Hackathon_7th/ospp_xieyifan/2024.07.16~2024.07.26.md | 1 + 1 file changed, 1 insertion(+) create mode 100644 WeeklyReports/Hackathon_7th/ospp_xieyifan/2024.07.16~2024.07.26.md diff --git a/WeeklyReports/Hackathon_7th/ospp_xieyifan/2024.07.16~2024.07.26.md b/WeeklyReports/Hackathon_7th/ospp_xieyifan/2024.07.16~2024.07.26.md new file mode 100644 index 00000000..8b137891 --- /dev/null +++ b/WeeklyReports/Hackathon_7th/ospp_xieyifan/2024.07.16~2024.07.26.md @@ -0,0 +1 @@ + From ecba80871a082f0081edabd9a1946b45c9c382bf Mon Sep 17 00:00:00 2001 From: cse0001 Date: Sun, 28 Jul 2024 04:49:57 +0800 Subject: [PATCH 2/8] cse0001 add 2024.07.15~2024.07.28 WeeklyReport --- .../[WeeklyReports]2024.07.15~2024.07.28.md | 36 +++++++++++++++++++ .../ospp_xieyifan/2024.07.16~2024.07.26.md | 1 - 2 files changed, 36 insertions(+), 1 deletion(-) create mode 100644 WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md delete mode 100644 WeeklyReports/Hackathon_7th/ospp_xieyifan/2024.07.16~2024.07.26.md diff --git a/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md b/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md new file mode 100644 index 00000000..c5078440 --- /dev/null +++ b/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md @@ -0,0 +1,36 @@ +### 姓名 + +谢一帆 + +### 实习项目 + +飞桨PaddlePaddle-PIR适配VisualDL模型可视化 + +### 本周工作 + +1. **配置开发环境，熟悉Paddle和VisualDL** + + - 本地源码编译安装Paddle和VisualDL的develop分支 + +2. **熟悉VisualDL进行计算图可视化的设计** + - 阅读visualdl#Model()类存储计算图的设计逻辑 + - 阅读visualdl#analyse_model()函数从**.pdmodel*文件获取计算图数据的逻辑 + - 阅读visualdl#analyse_pir()函数从PIR表示的模型获取计算图数据的逻辑 +3. **熟悉PIR进行计算图存储的设计** + - 阅读pir#program.cc, operation.cc, block.cc, region.cc等文件，熟悉PIR进行模型存储的设计 + + - 阅读fluid#pir.cc中和获取Program数据有关接口API + +4. **完成Visual现有PIR计算图可视化方法适配Paddle3.0版本** + - 修改visualdl#analyse_pir()等函数，并成功可视化原有测试demo#pir_translate.py +5. **尝试可视化具有分支结构模型** + - 实现了具有if分支结构的简单模型并进行可视化 + +### 下周工作 + +1. **继续尝试可视化具有分支结构模型，探索如何利用PIR新特性进行可视化** + + - 从Paddle的分支结构算子ifop和whileop的测试文件中获取静态组网的简单模型，验证现有visualdl对于分支结构可视化的支持能力，探索优化方法 + + +### 导师点评 diff --git a/WeeklyReports/Hackathon_7th/ospp_xieyifan/2024.07.16~2024.07.26.md b/WeeklyReports/Hackathon_7th/ospp_xieyifan/2024.07.16~2024.07.26.md deleted file mode 100644 index 8b137891..00000000 --- a/WeeklyReports/Hackathon_7th/ospp_xieyifan/2024.07.16~2024.07.26.md +++ /dev/null @@ -1 +0,0 @@ - From abbe998200f952f0e3c393755d740bf894cfb254 Mon Sep 17 00:00:00 2001 From: cse0001 Date: Sun, 28 Jul 2024 04:59:51 +0800 Subject: [PATCH 3/8] cse0001 add 2024.07.15~2024.07.28 WeeklyReport --- .../ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md | 8 +------- 1 file changed, 1 insertion(+), 7 deletions(-) diff --git a/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md b/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md index c5078440..32f710a0 100644 --- a/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md +++ b/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md @@ -9,18 +9,14 @@ ### 本周工作 1. **配置开发环境，熟悉Paddle和VisualDL** - - 本地源码编译安装Paddle和VisualDL的develop分支 - 2. **熟悉VisualDL进行计算图可视化的设计** - 阅读visualdl#Model()类存储计算图的设计逻辑 - 阅读visualdl#analyse_model()函数从**.pdmodel*文件获取计算图数据的逻辑 - 阅读visualdl#analyse_pir()函数从PIR表示的模型获取计算图数据的逻辑 3. **熟悉PIR进行计算图存储的设计** - 阅读pir#program.cc, operation.cc, block.cc, region.cc等文件，熟悉PIR进行模型存储的设计 - - 阅读fluid#pir.cc中和获取Program数据有关接口API - 4. **完成Visual现有PIR计算图可视化方法适配Paddle3.0版本** - 修改visualdl#analyse_pir()等函数，并成功可视化原有测试demo#pir_translate.py 5. **尝试可视化具有分支结构模型** @@ -28,9 +24,7 @@ ### 下周工作 -1. **继续尝试可视化具有分支结构模型，探索如何利用PIR新特性进行可视化** - +1. **继续尝试可视化具有分支结构的模型，探索如何利用PIR新特性进行可视化** - 从Paddle的分支结构算子ifop和whileop的测试文件中获取静态组网的简单模型，验证现有visualdl对于分支结构可视化的支持能力，探索优化方法 - ### 导师点评 From b8372359f8016e7afe44f29a5b578e987ed6cb7e Mon Sep 17 00:00:00 2001 From: csexyf <59339190+cse0001@users.noreply.github.com> Date: Sun, 28 Jul 2024 19:39:31 +0800 Subject: [PATCH 4/8] add teacher comment --- .../ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md b/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md index 32f710a0..ac61be09 100644 --- a/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md +++ b/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md @@ -28,3 +28,5 @@ - 从Paddle的分支结构算子ifop和whileop的测试文件中获取静态组网的简单模型，验证现有visualdl对于分支结构可视化的支持能力，探索优化方法 ### 导师点评 + +按计划进度完成任务 From ee0a23cebf21fea5cd7604ea3dd2a0169971ad96 Mon Sep 17 00:00:00 2001 From: ces0001 <1336195654@qq.com> Date: Mon, 12 Aug 2024 19:37:43 +0800 Subject: [PATCH 5/8] cse0001 add 2024.07.29~2024.08.11 WeeklyReport --- .../[WeeklyReports]2024.07.15~2024.07.28.md | 0 .../[WeeklyReports]2024.07.29~2024.08.11.md | 36 +++++++++++++++++++ 2 files changed, 36 insertions(+) rename WeeklyReports/Hackathon_7th/{ospp_cse0001 => ospp_03_cse0001}/[WeeklyReports]2024.07.15~2024.07.28.md (100%) create mode 100644 WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.29~2024.08.11.md diff --git a/WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md similarity index 100% rename from WeeklyReports/Hackathon_7th/ospp_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md rename to WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.15~2024.07.28.md diff --git a/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.29~2024.08.11.md b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.29~2024.08.11.md new file mode 100644 index 00000000..40135fa3 --- /dev/null +++ b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.29~2024.08.11.md @@ -0,0 +1,36 @@ +### 姓名 + +谢一帆 + +### 实习项目 + +飞桨 PaddlePaddle-PIR 适配 VisualDL 模型可视化 + +### 本周工作 + +1. **测试目前 Visualdl 对于控制结构可视化的支持能力** + +- 静态方式组建六种包含控制结构的网络，包含循环结构和分支结构，以及多层嵌套控制等 +- 利用现有 pir 可视化方法进行可视化发现不支持包含多层 Block 网络的可视化 + +2. **开发 Visualdl 多层 Block 解析功能** + +- 修改 visualdl#analyse_pir()，支持获取子 Block 中的全部变量 +- 修改 visualdl#analyse_pir()，支持获取子 Block 中的全部算子 +- 增加控制流算子识别功能 +- 完善模型分析代码，实现 visualdl 对 pir 中 yield 等新算子的表示 +- 完善模型分析代码，实现多层 Block 嵌套模型的全部变量和算子解析 +- 完善模型分析代码，实现 Block 内外算子参数传递关系的正确表示 + +3. **完善 visualdl 对控制流算子的可视化** + +- 将控制流算子构建为 visualdl 中的 layer，可以收缩或展开表示 + +### 下周工作 + +1. **完善 visualdl 对控制流算子的可视化** + +- 修改 visualdl 后端，完善对控制流算子传入变量和传出变量的处理 +- 修改 visualdl 前端，提升控制流算子 layer 的可视化美观程度，并支持对 layer 的参数传入和传出 + +### 导师点评 From dc3240e748a8630a3e5096f6f591eaa66da950f4 Mon Sep 17 00:00:00 2001 From: ces0001 <1336195654@qq.com> Date: Sun, 1 Sep 2024 20:21:59 +0800 Subject: [PATCH 6/8] cse0001 add 2024.08.12~2024.08.58 WeeklyReport --- .../[WeeklyReports]2024.07.29~2024.08.11.md | 2 ++ .../[WeeklyReports]2024.08.12~2024.08.25.md | 33 +++++++++++++++++++ 2 files changed, 35 insertions(+) create mode 100644 WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.12~2024.08.25.md diff --git a/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.29~2024.08.11.md b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.29~2024.08.11.md index 40135fa3..a64253d2 100644 --- a/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.29~2024.08.11.md +++ b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.07.29~2024.08.11.md @@ -34,3 +34,5 @@ - 修改 visualdl 前端，提升控制流算子 layer 的可视化美观程度，并支持对 layer 的参数传入和传出 ### 导师点评 + +工作已按计划顺利进行。后续周报可以将项目实现中遇到的问题、挑战以及自己如何尝试解决的过程记录一下，方便结项总结。 diff --git a/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.12~2024.08.25.md b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.12~2024.08.25.md new file mode 100644 index 00000000..578e6ba4 --- /dev/null +++ b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.12~2024.08.25.md @@ -0,0 +1,33 @@ +### 姓名 + +谢一帆 + +### 实习项目 + +飞桨 PaddlePaddle-PIR 适配 VisualDL 模型可视化 + +### 本周工作 + +1. **完成 visualdl 可视化控制流算子的功能开发** + +- 针对 ifop 和 whileop 算子开发特定的解析方法，在前端表现为 layer +- 完善对控制流算子传入变量和传出变量的可视化处理，控制流算子内部所有算子接收外部传入的变量均传入控制流算子，控制流算子传出的变量在内部构建一个抽象 output 算子接收 yield 算子的输出，并将 output 作为展开控制流算子后代表控制流算子的输出 +- 提升控制流算子 layer 的可视化美观程度 + +2. **初步实现 json 格式存储的 paddle 模型的计算图可视化** + +- 利用 save load 实现提取 json 格式模型的计算图 +- 对接接口，初步实现 json 格式模型的计算图的可视化，目前只能全部展开 + +3. **修复已知 Bug** + +### 下周工作 + +1. **完善 visualdl 对控制流算子的可视化** + +- 修改 visualdl 后端，提供每个算子的具体类型以优化前端可视化效果 +- 修改 visualdl 后端，对于展开后的计算图中没有参数传入或传出的算子进行隐藏处理 + +2. **设计从 json 格式模型中获取算子所属 layer 的方法** + +### 导师点评 From 2c83cdfb42906482539dd3bf68711b60a4516655 Mon Sep 17 00:00:00 2001 From: cse0001 Date: Tue, 24 Sep 2024 21:43:33 +0800 Subject: [PATCH 7/8] cse0001 add 2024.08.26~2024.09.08 WeeklyReport --- .../[WeeklyReports]2024.08.12~2024.08.25.md | 2 ++ .../[WeeklyReports]2024.08.26~2024.09.08.md | 29 +++++++++++++++++++ 2 files changed, 31 insertions(+) create mode 100644 WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.26~2024.09.08.md diff --git a/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.12~2024.08.25.md b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.12~2024.08.25.md index 578e6ba4..8d88a543 100644 --- a/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.12~2024.08.25.md +++ b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.12~2024.08.25.md @@ -31,3 +31,5 @@ 2. **设计从 json 格式模型中获取算子所属 layer 的方法** ### 导师点评 + +已按计划和要求完成工作。 diff --git a/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.26~2024.09.08.md b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.26~2024.09.08.md new file mode 100644 index 00000000..c27ec83b --- /dev/null +++ b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.26~2024.09.08.md @@ -0,0 +1,29 @@ +### 姓名 + +谢一帆 + +### 实习项目 + +飞桨 PaddlePaddle-PIR 适配 VisualDL 模型可视化 + +### 本周工作 + +1. **继续完善 visualdl 算子可视化功能** + +- 修改 visualdl 后端，提供每个算子的具体类型以优化前端可视化效果 + +2. **编写功能文档** + +- 编写项目功能文档，并记录开发遇到的问题以及目前的解决方案 + +3. **编写测试用例** + +- 编写静态图、动态图、控制流结构，多层控制流结构等多个测试用例和测试脚本，并记录测试结果 + +### 下周工作 + +1. **编写结项文档** + +2. **继续完善代码，提交 PR** + +### 导师点评 From 9ba99c91e5643973e09e6c82192c76f7ec9f54c3 Mon Sep 17 00:00:00 2001 From: Chen Zhiyang <1792266893@qq.com> Date: Wed, 25 Sep 2024 11:21:42 +0800 Subject: [PATCH 8/8] Update [WeeklyReports]2024.08.26~2024.09.08.md --- .../ospp_03_cse0001/[WeeklyReports]2024.08.26~2024.09.08.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.26~2024.09.08.md b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.26~2024.09.08.md index c27ec83b..b7a32da0 100644 --- a/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.26~2024.09.08.md +++ b/WeeklyReports/Hackathon_7th/ospp_03_cse0001/[WeeklyReports]2024.08.26~2024.09.08.md @@ -27,3 +27,5 @@ 2. **继续完善代码，提交 PR** ### 导师点评 + +已按计划完成任务。