[RFC]: typed argument parser for examples

[wj-Mcat]

Introduction

Argument parser 作为一个参数解析工具，在examples里面存在大量的代码来定义。可是python官方库存在以下问题：

• argument 的定义代码代码量较大，让代码文件变得更加臃肿。
• 在train.py,predict.py, eval.py文件都存在很多重复性参数定义，如model_name, task_name等字段
• argument parser 没办法做代码智能提示，降低编程而言体验。

解决方案

在此，推荐使用typed-argument-parser工具可解决以上问题。通过面向对象的方式来解决以上问题，在保证Argument Parser功能的基础上让代码更加简洁、易读。

• 原始Argument Parser 代码

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_path",
        default=None,
        type=str,
        required=True,
        help="The path prefix of inference model to be used.",
    )
    parser.add_argument(
        "--device",
        default="gpu",
        type=str,
        choices=["cpu", "gpu", "xpu"],
        help="The device to select to train the model, is must be cpu/gpu/xpu.")
    parser.add_argument(
        "--max_seq_length",
        default=128,
        type=int,
        help=
        "The maximum total input sequence length after tokenization. Sequences longer "
        "than this will be truncated, sequences shorter will be padded.",
    )
    args = parser.parse_args()
    return args

• 使用Tap 之后的代码

class Config(Tap):
    model_path: str     # The path prefix of inference model to be used.
    device: Literal['cpu', 'gpu', 'xpu']  = "gpu" # The device to select to train the model, is must be cpu/gpu/xpu.
    max_seq_length: int = 128   # "The maximum total input sequence length after tokenization. Sequences longer than this will be truncated, sequences shorter will be padded.

config: Config = Config.parse_args()

在以上代码中：

1. 将该行代码的注释设置为argument的help信息
2. 属性添加了类型注释，作用等价于argument的type字段
3. model_path字段由于没有设置值，故为required
4. device设置了默认值，作用等价于argument中的default字段
5. 最后的config变量由于是一个class，可设置成Config类，故在vim/vscode等IDE中进行代码智能提示。

缺点

如果是高级的argument parser用法的话，tap是不支持的，比如：

• sub-parser：可设置子命令，可这个功能在ml scripts中很少使用
• handler：针对于不同子命令设置不同的handler

[ZeyuChen]

我对examples中各式各样的argparser写法有的有disable yapf 有的没有确实看了很难受，我觉得可以用新建的examples做几个样板间，然后发布对应的任务到社区看是否可以让社区小伙伴一起来完成所有examples的升级替换。如果升级就要把tap作为paddlenlp默认依赖，这时要确保tap的上游依赖是pure python且稳定，不会带来安装问题。

[wj-Mcat]

我觉得可以用新建的examples做几个样板间，然后发布对应的任务到社区看是否可以让社区小伙伴一起来完成所有examples的升级替换

我赞同发布一些任务到社区里面去，比如说Examples的升级、部分模型的单测、以及部分模型的Config模块，只不过在发布之前我们需要定好规范，写好文档（我正在写单测和config的规范文档），这样他们才可以更快的上手，代码也会更符合社区的规范。

如果升级就要把tap作为paddlenlp默认依赖

另外，部分example其实是有一些依赖的，比如说code-gen就放了requirements.txt 用以提供额外依赖库的包管理，在新的example当中也可以这样弄。

这时要确保tap的上游依赖是pure python且稳定，不会带来安装问题。

tap有依赖两个包：

• typing_extensions: 目前是python官方包。
• typing_inspect: 非官方包，可是作者是python官方active contributor。

可是这两个包都是针对于新特性（type hint）而开发的，有对不同版本做一些兼容，并且在python 3.10以后这些功能都已经内置了，tap包也做了对应python版本的兼容，详细可见：get_args.

所以，我觉得可以先在example当中用起来，并且能够解决当前代码量大的问题。

[ZeyuChen]

另外还需要考虑下这个tap 与trainer中PdAurmentParser的关系 是否可以统一以及会带来兼容性问题

[wj-Mcat]

需要考虑下这个tap 与trainer中PdAurmentParser的关系

这两者是竞品的关系，PdArgumentParser是照搬huggingface，主要是为了解决：

• 代码智能提示
• 基于面向对象的重复参数定义（通过类继承解决）

虽然是竞品，相同点是在获取参数值得时候方法一致：args.device，区别在于：定义方式和解析参数不一致；

• tap

"""example usage of tap"""
# 定义方式
class Config(Tap):
    model_name: str  # the name of model. additional info
    max_steps: int = 13  # the max steps of traning stage
    device: str = "gpu"  # the device index of
# 参数解析
config: Config = Config().parse_args()

• PdArgumentParser

# 定义方式
@dataclass
class Config:
    model_name: str = field(metadata={"help": "the name of model. additional info"})
    max_steps: int = field(default=12, metadata={"help": "the max steps of traning stage"})
    device: str = field(default='gpu', metadata={"help": "the device index of"})
# 参数解析
config: Config = PdArgumentParser(Config).parse_args_into_dataclasses()

可是在代码量上而言，并不是很简洁，甚至比原始的ArgumentParser还要多，而且在使用上而言，通过dataclass来解析反而新增了一层概念，从而增加使用难度。

总结

• tap和PdArgumentParser很难做兼容，不过也是可以做：使用tap来做定义，可是可以将其转化成PdArgumentParser对象来使用（看起来怪怪的）
• 如果兼容代价有点大，可放弃tap解决方案，继续沿用PdArgumentParser，然后想办法持续优化。

[ZeyuChen]

其实如果Tap体验比较好 保持PdAurmentParser的命名 基类换成Tap也不是不行 @ZHUI 怎么看呢

[ZHUI]

关于tap

1. 简洁程度上确实Tap更好，但这里其实也是个 trade off。tap注释转换成 help 文本比较trick，在功能上也有一点缩减。
2. star数目不是很多，需要看一下这种用法的受众是不是很多。另外，这个工具的长期维护性也需要考察 https://github.com/swansonk14/typed-argument-parser 看 @wj-Mcat 也有贡献代码。

PdAurmentParser 接入 tap

1. 有一些后处理的的代码。Tap也可以支持的话，功能上提换是没问题。
   

   PaddleNLP/paddlenlp/trainer/training_args.py

   Line 507 in a93bdff

   def __post_init__(self):

2. PdAurmentParser 支持多个 config 合并，替换tap也要注意。

PdAurmentParser 核心优点的在于

• 使用了内置的一套training_args 给用户，减少了用户每次都写一遍相同参数的成本。
• 用户使用少量的自定义的选项，将自定义参数和内部参数合并，满足用户需求。
• 少量的自定义的选项 对代码的简洁的要求程度，就可以不需要那么高了。

至于PdAurmentParser是tap或者是dataclass，不影响使用即可。更重要的是example需要有一套统一通用内置参数，避免每次都重复定义。

[wj-Mcat]

回复如下所示：

tap注释转换成 help 文本比较trick，在功能上也有一点缩减
Tap 由于是扩展ArgumentParser，其原本的功能都是支持的，不会去削减其功能，只不过类似于Action的功能的写法跟常规的不一致，只不过此功能对于训练的Parser而言没必要。

star数目不是很多，需要看一下这种用法的受众是不是很多。另外，这个工具的长期维护性也需要考察

此类开源项目是很愿意接受外部开源贡献的，如果某些功能不能用，我们可以提交PR的，在维护上面而言，有一些必须要从框架层面细微调整的东西，这些工作量我们提一个PR是完全OK的。

有一些后处理的的代码。Tap也可以支持的话

Tap的一些后处理方法是可以放在configure里面，这些都是OK的

PdAurmentParser 支持多个 config 合并，替换tap也要注意。

在Tap里面的多个Config合并是通过类继承的方式来实现的，示例代码如下所示：

from tap import Tap

class A(Tap):
    a: str  # A-a

class B(Tap):
    b: str  # B-b

class C(A):
    c: str # C-c

class D(A, B):
    d: str  # D-d

少量的自定义的选项 对代码的简洁的要求程度，就可以不需要那么高了。

这也是我提议使用Tap的核心愿意所在，在系统定义和examples中都比较简洁。追求代码的极致优化也是我们不断追求的一个小目标。

至于PdAurmentParser是tap或者是dataclass，不影响使用即可

我们提供给开发者的始终都是PdArgumentParser，底层到底是使用Tap还是dataclass实现，对于使用而言并没有感知，所以还好。

[guoshengCS]

如果主要是看中 tap 简洁性，且相较 PdAurmentParser 简洁主要体现在能从 comment 中获取help信息，是否考虑将这个能力加到 PdAurmentParser 上，支持其也能够和 tap 相同的方式来定义args。

考量：

• 关于不直接使用tap：
  • 当前 PdAurmentParser 支持的不只是定义参数，而且提供了一些方法出来（如TrainingArguments这里），这个 tap 不满足（这些方法也会被包含到解析出来的args里，执行下面第一个代码段可见），导致直接使用 tap 会有一定量的迁移工作（需要将方法都拆出来）
  • tap 相对小众，也是上面说的维护性问题需要考察，而且多引入依赖总归是不如少引入的
  • tap 功能并不算完善，从 comment 中获取help信息其实较为受限（从souce code根据规则提取comment），代码实现也略简单，下面第二和第三个代码段就是两种会有问题的情况，可以通过 python test_config.py --help 看出来

from typing import Set
from tap import Tap

class Config(Tap):
    model_name: str = "bert" # the name of model.
    max_steps: Set[int] = (100, 100, 100, 100, 100, 100, 100, 100, 100, 100)  # the max steps of traning stage
    device: str = "gpu"  # the device info

    def test(self):
        print('test')
 
config: Config = Config().parse_args()
print(config)  # 打印的config会包含test方法的信息，也是因为Tap实现的相对简单

from typing import Set
from tap import Tap

# max_steps 的定义换行导致抽取不出来
class Config(Tap):
    model_name: str = "bert" # the name of model.
    max_steps: Set[int] = (100, 100, 100, 100, 100, 100, 100, 100, 100, 100
                           )  # the max steps of traning stage
    device: str = "gpu"  # the device info
 
config: Config = Config().parse_args()

from dataclasses import dataclass
from typing import Set
from tap import Tap

# 使用装饰器导致失败
@dataclass
class Config(Tap):
    model_name: str = "bert" # the name of model
    max_steps: Set[int] = (100, 100, 100, 100, 100, 100, 100, 100, 100, 100)  # the max steps of traning stage
    device: str = "gpu"  # the device info
 
config: Config = Config().parse_args()

• 在 PdAurmentParser 中加入 tap 的优势能力
  • tap 确实提供了一定的简洁与便利，希望能够引入进来
  • 从 comment 中获取help信息这个功能点实现相对简单，简单测试了新增少量tap中的相关代码即可以支持
  • 由于PdAurmentParser基于dataclass装饰器，而这在tap下会失败（见上面的第三个代码段），需要少量修改tap相关代码以支持

这种情况下的推荐用法：

• 简单场景（Config类下无方法、字段无换行）：使用类似tap的方式定义
• 复杂场景：用此前支持的方式来定义args