[Typing] Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 #63901

megemini · 2024-04-26T07:21:37Z

PR Category

User Experience

PR Types

Others

Description

关联 PR : #63597

任务：1-4

在 CI 中引入 mypy 对 docstring 中示例代码的检查。与 xdoctest 的检查项共用一个 CI： PR-CI-Static-Check。如果后续有必要的话可以单独开一个 CI 。

涉及文件：

paddle/scripts/paddle_build.sh 添加 mypy 检查入口
python/unittest_py/requirements.txt 添加 mypy 的依赖，这里用最新的 1.10 版本
tools/mypy.ini 配置文件，后面应该会不断更新
tools/type_hints.py 使用 mypy 的 api 进行类型检查
tools/test_type_hints.py 针对 type_hinst.py 的单测
tools/sampcd_processor_utils.py 中的 get_api_md5 判断 api diff 时，考虑 signature 的变动
tools/test_sampcd_processor.py 修改单测，包括 get_api_md5 与适应 0D 后的 xdoctest 检查

用于 type hint 检查的文件：

python/paddle/py.typed
python/setup.py.in
setup.py

另外，修改一个文件用于验证：

python/paddle/tensor/math.py

paddle-bot · 2024-04-26T07:21:42Z

你的PR提交成功，感谢你对开源项目的贡献!
请关注后续CI自动化测试结果，详情请参考Paddle-CI手册。
Your PR has been submitted. Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

… type_hint_ci

megemini · 2024-05-05T06:31:48Z

Update 20240505

将 mypy 的检查引入 PR-CI-Static-Check，通过修改 api 的 annotation 可以触发 mypy 检查～

这里需要

python/paddle/py.typed
python/setup.py.in
setup.py`

配合检查～

math.py 中修改两个 api

scale，只修改了 return 的 annotation，ci 中检测到 api 变动，示例代码由于不涉及此 api 的输出检查，因此，此 api 的示例代码通过 mypy 检查
stanh，为了验证，修改了输入参数，原本是 float ，改为 int ，ci 检查出此 api 变动，并且 mypy 的示例代码检查报错

另外，tools/mypy.ini 还只是最基础的配置，后面应该需要不断更新～

@SigureMo 请评审～

SigureMo

其余暂时没什么大问题，等 CI 跑完我看下效果～

另外有一个小问题，我们现在是复用了示例代码的增量检测逻辑对吧（即 API change）

那么有一个问题就是未来升级 mypy 的话，如果 mypy 出现了一些变动导致现有示例类型检查挂掉的话，是很难全部检查到的，有没有办法一次性全检查到呢？因为我们之前引入过各种各样的 linter，升级时出现的一些新的 error 基本是不可避免的

一些个人想法：

在 CI 标题里加 [typing_checking=all]（后缀形式），则检查全部示例文档

这个 PR 我们只讨论方案，具体实现不在本 PR～

另外有一个问题就是，现在这样的话，对于其他不知情的同学来说，在一个示例代码里改了一个 typo CI 是会通过的吗？是否会导致现存的示例代码就通不过呢？

SigureMo · 2024-05-06T07:45:47Z

paddle/scripts/paddle_build.sh

@@ -3525,6 +3525,26 @@ function exec_samplecode_test() {
    fi
 }

+function exec_type_hints() {


唔，这里检查的地方用 type check 吧，比如 exec_type_checking

SigureMo · 2024-05-06T07:53:09Z

tools/sampcd_processor_utils.py

    patArgSpec = re.compile(
-        r'^(paddle[^,]+)\s+\(ArgSpec.*document\W*([0-9a-z]{32})'
+        r'^(paddle[^,]+)\s+\((ArgSpec.*),.*document\W*([0-9a-z]{32})'
    )


pat_arg_spec

或者使用 PATTERN_ARG_SPEC 放在文件开始作为常量吧

SigureMo · 2024-05-06T07:56:56Z

tools/test_sampcd_processor.py

@@ -2046,7 +2050,7 @@ def test_timeout(self):

    def test_bad_statements(self):
        docstrings_to_test = {
-            'bad_fluid': """
+            'good_fluid': """


fluid 检查和单测是不是可以退场了？如果使用了 fluid 单测执行时就会挂掉

可以之后单独 PR 退场一下～

SigureMo · 2024-05-06T08:05:48Z

tools/type_hints.py

同样，这个文件可以改成 type_checker.py～

SigureMo · 2024-05-06T08:10:49Z

tools/test_type_hints.py

下个 PR 可以考虑将这些（含之前的 sample code）移到 test 目录，建一个 test/tools 子目录，不然这些单测没有 CI 的保护很容易失效的

是的！之前就想过这个问题，tools 里面的单测得统一管理！

添加任务 #63597 任务 4-3

gouzil · 2024-05-10T06:43:43Z

paddle/scripts/paddle_build.sh

+    TITLE_CHECK_ALL=`curl -s https://github.com/PaddlePaddle/Paddle/pull/${GIT_PR_ID} | grep "<title>" | grep -i "type checking all" || true`
+
+    if [[ ${TITLE_CHECK_ALL} ]]; then
+        python type_checking.py --full-test; type_checking_error=$?


关于这块的mypy_cache有个小问题，如果我根据 shell 脚本来跑，这个路径将会是在tools/.mypy_cache, 而不是${PADDLE_ROOT}/.mypy_cache。是故意这么设计的嘛emmm

这个有什么影响吗？ pyproject.toml 可以配置

[tool.mypy] python_version = "3.8" cache_dir = ".mypy_cache"

另外，刚好有个问题请教一下！

我这里 paddle_build.sh 中的 run_type_checking 参考的 check_run_sot_ci：

# use "git commit -m 'message, test=sot'" to force ci to run COMMIT_RUN_CI=$(git log -1 --pretty=format:"%s" | grep -w "test=sot" || true) # check pr title TITLE_RUN_CI=$(curl -s https://github.com/PaddlePaddle/Paddle/pull/${GIT_PR_ID} | grep "<title>" | grep -i "sot" || true) if [[ ${COMMIT_RUN_CI} || ${TITLE_RUN_CI} ]]; then set -x return fi

但是，$(git log -1 --pretty=format:"%s" | grep -w "test=type_checking" || true) 没有效果，所以去掉了，只使用了 title 的判断条件～

我本地 $(git log -1 --pretty=format:"%s" | grep -w "test=type_checking" || true) 没问题～

这是咋回事儿？有啥办法？

这个有什么影响吗？ pyproject.toml 可以配置

[tool.mypy] python_version = "3.8" cache_dir = ".mypy_cache"

影响就是，这样就会生成和维护两份缓存了

mypy python/paddle/tensor/math.py # cache 位置: ${PADDLE_ROOT}/.mypy_cache cd tools/ python type_checking.py --full-test # cache 位置: ${PADDLE_ROOT}/tools/.mypy_cache

另外，刚好有个问题请教一下！

可以把git log -1 改成 git log -10或者更大，因为 ci 在运行之前会 git pull upstream develop 所以导致没有命中我们想要的 commit （sot那个我自己来修吧，感谢大佬发现的问题）

影响就是，这样就会生成和维护两份缓存了

😅 我草率了 ... ... 当时没想这么多 ... ...

那我在 type_checking.py 里面改为绝对路径吧～

感谢！

@gouzil 已修改～

megemini · 2024-05-10T15:45:05Z

Update 20240510

mypy 的配置放到 pyproject.toml 中
mypy 的 cache dir 使用绝对路径
去掉 --debug 参数，减少日志输出（不过，由于 CI 日志的特殊性，仍然会输出两次 error 日志）

根据 PR 的 title 判断是否进行 type checking 或者 type checking all
参考 @gouzil 的实现方式，但是没判断 git log （有点不稳定），只判断 title ～

title 中有 type checking ，则检查 diff 的 api
title 中有 type checking all，则检查全部 api
title 中没有以上两者，则不检查

另外，paddle_build.sh 中的 run_type_checking 以及 if [[ ${run_tc} -eq 0 ]]; then 在标注任务结束后就可以去掉了～

      run_type_checking
      run_tc=$?

      if [[ ${run_tc} -eq 0 ]]; then
          { type_checking_info=$(exec_type_checking 2>&1 1>&3 3>/dev/null); } 3>&1
          type_checking_code=$?
      fi

      summary_check_example_code_problems $[${example_code_gpu} + ${example_code}] "${example_info_gpu}\n${example_info}"

      if [[ ${run_tc} -eq 0 ]]; then            
          summary_type_checking_problems $type_checking_code "$type_checking_info"
      fi

# type: ignore 可以用在 codeblock 最开始，或者中间行（单独一行），以规避 codeblock 整体的检查
mypy 本身支持 # type: ignore 用在文件开头从而避免文件被检查，但是 doctest.DocTestParser().get_examples 会把单行注释给删除掉，所以我这里单独做了处理，并且支持在 codeblock 中间插入单行 # type: ignore，此行之后的也会规避检查
```
                  >>> # type: ignore
                  >>> # doctest: -REQUIRES(env:GPU)
                  >>> blabla
                  >>> print(1-1)
                  0
```
其他修改，如修改文件名等

另外，目前这个 PR-CI-Static-Check 是做的全量检查，日志可以保存一下以供参考～

@SigureMo 请评审～

paddle-ci-bot · 2024-05-19T03:20:39Z

Sorry to inform you that e7be07d's CIs have passed for more than 7 days. To prevent PR conflicts, you need to re-run all CIs manually.

… type_hint_ci

paddle-ci-bot · 2024-05-28T03:21:25Z

Sorry to inform you that 618c3b9's CIs have passed for more than 7 days. To prevent PR conflicts, you need to re-run all CIs manually.

SigureMo · 2024-05-29T08:53:42Z

paddle/scripts/paddle_build.sh

@@ -4536,7 +4634,20 @@ function main() {
      api_example)


这个 api_example 应该是很久以前的 CI 流水线入口，我们现在检查示例代码在 Static-Check 流水线，对应上面 build_and_check_cpu 和 build_and_check_gpu，这个入口没用了，直接删掉就好

SigureMo · 2024-05-29T08:55:05Z

paddle/scripts/paddle_build.sh

+
+        if [[ ${run_tc} -eq 0 ]]; then            
+            summary_type_checking_problems $type_checking_code "$type_checking_info"
+        fi


示例代码和类型检查是否可以分别抽一个函数呢？CI 入口一般只做分发，不适合写太多逻辑～

SigureMo · 2024-05-29T08:55:51Z

paddle/scripts/paddle_build.sh

-        summary_check_problems $[${example_code_gpu} + ${example_code}] "${example_info_gpu}\n${example_info}"
+
+        run_type_checking
+        run_tc=$?


Suggested change

run_tc=$?

type_checking_status=$?

感觉这样语义会更明确些

啊，不对，我才发现是上面的 run_type_checking 的语义不对，上面的 run_type_checking 乍一看是已经开始跑类型检查了，但实际上只是检查了标题，是有点奇怪的，可以改成 check_need_type_checking 其结果为 need_type_checking

SigureMo · 2024-05-29T08:57:29Z

tools/type_checking.py

+        config_file=(
+            args.config_file
+            if args.config_file
+            else (base_path + '/../pyproject.toml')


建议使用 os.path.join，或者使用 pathlib，避免直接字符串拼接

SigureMo · 2024-05-29T09:12:42Z

paddle/scripts/paddle_build.sh

+    set +x
+
+    # check pr title
+    TITLE_CHECK=`curl -s https://github.com/PaddlePaddle/Paddle/pull/${GIT_PR_ID} | grep "<title>" | grep -i "type checking" || true`


Suggested change

TITLE_CHECK=`curl -s https://github.com/PaddlePaddle/Paddle/pull/${GIT_PR_ID} | grep "<title>" | grep -i "type checking" || true`

TITLE_CHECK=`curl -s https://github.com/PaddlePaddle/Paddle/pull/${GIT_PR_ID} | grep "<title>" | grep -iE "type checking|typing" || true`

加一个 typing 吧，我比较喜欢用 [Typing] 前缀

… type_hint_ci

megemini · 2024-05-29T10:53:41Z

Update 20240529

paddle_build.sh 中将 exec_samplecode_test 和 exec_type_checking 统一放到新增的 exec_samplecode_checking 中
检查标题统一改为 typing 和 typing all
修改 type_checking.py 中的路径表示

另外：

示例代码和类型检查是否可以分别抽一个函数呢？CI 入口一般只做分发，不适合写太多逻辑～
啊，不对，我才发现是上面的 run_type_checking 的语义不对，上面的 run_type_checking 乍一看是已经开始跑类型检查了，但实际上只是检查了标题，是有点奇怪的，可以改成 check_need_type_checking 其结果为 need_type_checking

这两个问题我一起回复一下：这里是临时的逻辑，后面会去掉 need_type_checking，也就是默认进行检查，所以这里的逻辑复杂了点～

… type_hint_ci

SigureMo · 2024-05-30T18:10:25Z

加速效果这么明显的？2 小时直接减少到 10 分钟跑全量？

SigureMo · 2024-05-31T05:19:58Z

python/paddle/tensor/math.py

@@ -322,7 +327,7 @@ def scale(x, scale=1.0, bias=0.0, bias_after_scale=True, act=None, name=None):
        return helper.append_activation(out)


-def stanh(x, scale_a=0.67, scale_b=1.7159, name=None):


这里正常报错，没问题

我删掉了标题里的 typing，再触发一次看看是否可以按照预期没有检查

类型检查跳过了，符合预期～

这里可以恢复下了～

话说这里能做到只修改类型提示的情况下，由我来 review 么？不然不利于后续 review 推进

已经确认，可以在下个 PR 这么搞下

SigureMo

LGTMeow

XiaoguangHu01

LGTM

…ddle#63901)

megemini added 4 commits April 25, 2024 19:29

add type_hints for ci

b8c2201

add type_hints unittest

5dab33d

tmp test for type hints

c11b093

change mypy version

436175f

paddle-bot bot added the contributor External developers label Apr 26, 2024

megemini mentioned this pull request Apr 26, 2024

为 Paddle 框架 API 添加类型提示（Type Hints）Tracking Issue #63597

Closed

16 tasks

megemini added 9 commits April 26, 2024 15:56

from __future__ import annotations

f6927c2

tmp math.py docstring trigger ci

c4ba2bf

tmp trigger ci

9fba61a

tmp debug mypy

36ba294

fix paddle_build.sh

68354cb

Merge branch 'develop' of https://github.com/PaddlePaddle/Paddle into…

7c2a715

… type_hint_ci

setup with pyi

9654c26

force reinstall

732aff8

setup.py type hints

458802a

luotao1 added the PaddlePaddle Hackathon label Apr 28, 2024

luotao1 assigned luotao1 and SigureMo Apr 28, 2024

megemini added 9 commits May 2, 2024 17:42

restore math.py

363ec84

update print_signatures.py for trigger type annotation ci

41aa797

update print_signatures.py member_dict for trigger type annotation ci

c8775e3

restore print_signatures.py

0dae862

get_api_md5 with ArgSpec & update unittest

5c996a0

change math.py type annotation

ce613b2

change math.py type annotation return

fb6cef6

change math.py type annotation scale & stanh

edc4b23

update paddle_build.sh

9857d86

SigureMo reviewed May 6, 2024

View reviewed changes

megemini requested a review from gouzil as a code owner May 10, 2024 05:52

gouzil reviewed May 10, 2024

View reviewed changes

gouzil mentioned this pull request May 10, 2024

[ci] fix sot ci test commit check error #64174

Merged

change mypy cache dir abspath

e7be07d

Merge branch 'develop' of https://github.com/PaddlePaddle/Paddle into…

618c3b9

… type_hint_ci

SigureMo reviewed May 29, 2024

View reviewed changes

megemini added 2 commits May 29, 2024 18:14

Merge branch 'develop' of https://github.com/PaddlePaddle/Paddle into…

72067ed

… type_hint_ci

[Change] paddle_build.sh func

37ae0ab

megemini changed the title ~~【Type Checking All】Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查~~ 【Typing All】Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 May 29, 2024

megemini added 3 commits May 30, 2024 11:28

Merge branch 'develop' of https://github.com/PaddlePaddle/Paddle into…

cf37661

… type_hint_ci

[Update] filter api

5cc0c4b

[Update] pyproject.toml & process pool for run

f9c381e

megemini changed the title ~~【Typing All】Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查~~ 【Typing】Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 May 31, 2024

SigureMo changed the title ~~【Typing】Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查~~ Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 May 31, 2024

SigureMo reviewed May 31, 2024

View reviewed changes

SigureMo changed the title ~~Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查~~ [Typing] Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 May 31, 2024

megemini added 2 commits May 31, 2024 14:30

[Update] restore math.py

06dee11

[Update] restore math.py

ae07a13

SigureMo approved these changes May 31, 2024

View reviewed changes

risemeup1 approved these changes May 31, 2024

View reviewed changes

XiaoguangHu01 approved these changes May 31, 2024

View reviewed changes

tianshuo78520a approved these changes May 31, 2024

View reviewed changes

SigureMo merged commit 949d885 into PaddlePaddle:develop May 31, 2024
31 of 32 checks passed

co63oc pushed a commit to co63oc/Paddle that referenced this pull request Jun 3, 2024

[Typing] Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 (PaddlePa…

e15ed60

…ddle#63901)

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[Typing] Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 #63901

[Typing] Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 #63901

megemini commented Apr 26, 2024 •

edited

Loading

paddle-bot bot commented Apr 26, 2024

megemini commented May 5, 2024

SigureMo left a comment

SigureMo May 6, 2024

SigureMo May 6, 2024

SigureMo May 6, 2024

SigureMo May 6, 2024

SigureMo May 6, 2024

megemini May 6, 2024

megemini May 6, 2024

gouzil May 10, 2024

megemini May 10, 2024

gouzil May 10, 2024 •

edited

Loading

megemini May 10, 2024

megemini May 10, 2024

megemini commented May 10, 2024

paddle-ci-bot bot commented May 19, 2024

paddle-ci-bot bot commented May 28, 2024

SigureMo May 29, 2024

SigureMo May 29, 2024

SigureMo May 29, 2024

SigureMo May 29, 2024

SigureMo May 29, 2024

SigureMo May 29, 2024

megemini commented May 29, 2024 •

edited

Loading

SigureMo commented May 30, 2024

SigureMo May 31, 2024

SigureMo May 31, 2024

SigureMo May 31, 2024

SigureMo May 31, 2024

SigureMo May 31, 2024

SigureMo left a comment

XiaoguangHu01 left a comment

	TITLE_CHECK=`curl -s https://github.com/PaddlePaddle/Paddle/pull/${GIT_PR_ID} \| grep "<title>" \| grep -i "type checking" \|\| true`
	TITLE_CHECK=`curl -s https://github.com/PaddlePaddle/Paddle/pull/${GIT_PR_ID} \| grep "<title>" \| grep -iE "type checking\|typing" \|\| true`

		@@ -322,7 +327,7 @@ def scale(x, scale=1.0, bias=0.0, bias_after_scale=True, act=None, name=None):
		return helper.append_activation(out)


		def stanh(x, scale_a=0.67, scale_b=1.7159, name=None):

[Typing] Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 #63901

[Typing] Paddle 的 CI 中引入 mypy 对于 API 中 docstring 的示例代码的类型检查 #63901

Conversation

megemini commented Apr 26, 2024 • edited Loading

PR Category

PR Types

Description

paddle-bot bot commented Apr 26, 2024

megemini commented May 5, 2024

Update 20240505

SigureMo left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

gouzil May 10, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

megemini commented May 10, 2024

Update 20240510

paddle-ci-bot bot commented May 19, 2024

paddle-ci-bot bot commented May 28, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

megemini commented May 29, 2024 • edited Loading

Update 20240529

SigureMo commented May 30, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

SigureMo left a comment

Choose a reason for hiding this comment

XiaoguangHu01 left a comment

Choose a reason for hiding this comment

megemini commented Apr 26, 2024 •

edited

Loading

gouzil May 10, 2024 •

edited

Loading

megemini commented May 29, 2024 •

edited

Loading