Skip to content

Commit

Permalink
Update WeeklyReports/Hackathon_6th/09_YibinLiu666/[WeeklyReports] 202…
Browse files Browse the repository at this point in the history
…4.02.25~2024.03.08.md
  • Loading branch information
HydrogenSulfate authored Mar 6, 2024
1 parent dee69d4 commit 53e3abe
Showing 1 changed file with 23 additions and 17 deletions.
Original file line number Diff line number Diff line change
@@ -1,20 +1,20 @@
### 姓名
### 姓名
YibinLiu666

### 实习项目
高阶微分的性能分析和优化
### 实习项目
高阶微分的性能分析和优化

### 本周工作
### 本周工作

1. **paddle高阶微分性能分析**
1. **paddle高阶微分性能分析**

* 测试paddle现有高阶微分算子组合实现与大算子实现的性能。
* 性能分析,定位到大算子性能较差的高阶微分算子,分析原因
* 测试paddle现有高阶微分算子组合实现与大算子实现的性能。
* 性能分析,定位到大算子性能较差的高阶微分算子,分析原因


2. **高阶微分算子组合实现添加**
2. **高阶微分算子组合实现添加**

* 添加部分高阶微分算子的组合实现:
* 添加部分高阶微分算子的组合实现:
1. abs_double_grad : https://github.com/PaddlePaddle/Paddle/pull/62335
2. pow_grad : https://github.com/PaddlePaddle/Paddle/pull/62336
3. pow_double_grad : https://github.com/PaddlePaddle/Paddle/pull/62338
Expand All @@ -23,14 +23,20 @@ YibinLiu666
6. minimum_double_grad : https://github.com/PaddlePaddle/Paddle/pull/62342
7. maximum_double_grad : https://github.com/PaddlePaddle/Paddle/pull/62343

3. **问题疑惑与解答**
3. **问题疑惑与解答**

### 下周工作
### 下周工作

1. 添加上述pr中实现算子的单测
2. 优化部分微分大算子的性能
3. 实现log_triple_grad和prod_double_grad的组合实现
1. 添加上述pr中实现算子的单测
2. 优化部分微分大算子的性能
3. 实现log_triple_grad和prod_double_grad的组合实现

### 导师点评
请联系导师填写
### 导师点评

能很快理解并上手高阶微分组合算子相关工作,并对代码实现进行分析、优化。

1. 优化微分大算子任务,可以按照优先级从高到低进行优化:`AddGradImpl`, `DivideDoubleGradImpl`, `AddDoubleGradImpl`
优化完毕之后可以在动态图里测试一下优化前后的性能差距;
2. `log_triple_grad``prod_double_grad`组合算子实现完毕之后,可以测试一下log三阶微分在log一阶组合和三阶组合下的性能变化,prod同理测试二阶微分在一阶组合和二阶组合下的性能变化。
3. 可以了解一下pytorch的gradchecker机制,包括gradcheck和<gradgradcheck:https://pytorch.org/docs/stable/notes/gradcheck.html>

0 comments on commit 53e3abe

Please sign in to comment.