Version4版本的Dataloader运行极为缓慢

[Koyonomi]

我使用的环境和设备是：Docker、Ubantu、Pytorch2.1，16 Cores CPU、128G RAM 、1*A100 GPU.
Dataloader相关参数：num_workers = 16，file_batch_size = 60.
在尝试进行Version4训练时,我发现dataloader将数据集从存储加载到内存的过程十分缓慢,每轮加载占用100%的CPU也需要将近4分钟,这导致GPU绝大部分时间都是空闲的. 而在Version3中,相同参数的数据加载过程是十分迅速的.
我正在尝试找出该问题的原因.

[Equim-chan]

这是符合预期的。v4 新增了一组 CPU 计算量较大的 feature，导致 CPU 很可能会压过 GPU 成为训练时的瓶颈资源。

另外可以尝试减少 file_batch_size 来让 workload 变得更均匀一些，减少资源浪费，不过需要的总计算量还是不变的。

[Koyonomi]

在您的测试中，这组feature的加入是否会显著增加推理阶段的CPU耗时？

[Equim-chan]

那肯定会的，因为无论训练还是推理都得 encode feature。只不过通常推理的吞吐量比较小，耗时的增加可能没有训练时那么显著。

[hyskylord]

在我的环境下DataLoader瓶颈造成了15%左右的总体速度损失。我注意到即使设置了num_workers = 16之后CPU的总体利用率仍然不高，有30%左右的时间因为iter没有触发而处于空闲状态。如果FileDatasetsIter类能支持一些look ahead功能应该可以提高CPU的利用率。