--max_length 参数是否不对自定义数据集生效

[kratorado]

我在加入自定义数据集训练的时候，发现会偶发性地爆显存，后来手动去除了较长的样本后，才正常，但是我是加了--max_length参数的，似乎没有生效
--max_length 参数是否不对自定义数据集生效？如果确实不生效，能不能增加这个选项呢？

[Jintao-Huang]

自定义数据集是指 --dataset {local_path} 这种嘛

[kratorado]

自定义数据集是指 --dataset {local_path} 这种嘛

是的

[fly-dragon211]

我在加入自定义数据集训练的时候，发现会偶发性地爆显存，后来手动去除了较长的样本后，才正常，但是我是加了--max_length参数的，似乎没有生效 --max_length 参数是否不对自定义数据集生效？如果确实不生效，能不能增加这个选项呢？

您好，我也遇到了这个问题，请问您怎么解决的呢

[kratorado]

我在加入自定义数据集训练的时候，发现会偶发性地爆显存，后来手动去除了较长的样本后，才正常，但是我是加了--max_length参数的，似乎没有生效 --max_length 参数是否不对自定义数据集生效？如果确实不生效，能不能增加这个选项呢？

您好，我也遇到了这个问题，请问您怎么解决的呢

手动过滤呀

[Jintao-Huang]

我这里测试LLM是没问题的, 你是多模态LLM嘛

[kratorado]

我这里测试LLM是没问题的, 你是多模态LLM嘛

glm4-9b-chat

[Jintao-Huang]

那应该是会将超过max_length的去掉的
训练时，在命令行中会输出数据集的统计量，可否找一下看看呢