预训练硬件要求
#7
by
magic123456
- opened
作者您好！看到文章中讲到所有实验均在32个NVIDIA A100 上进行。这里的实验指的是预训练吗，大概训练的多久呀？
现在的模型的大小有128M，属于较小的模型，是不是说预训练的硬件资源的最低需求可能并没有那么多呢?
谢谢
作者您好！看到文章中讲到所有实验均在32个NVIDIA A100 上进行。这里的实验指的是预训练吗，大概训练的多久呀？
现在的模型的大小有128M，属于较小的模型，是不是说预训练的硬件资源的最低需求可能并没有那么多呢?
谢谢