Skip to content

1.0.8 BYOC 直接使用LLamaFactory 原始Repo代码

Latest
Compare
Choose a tag to compare
@xiehust xiehust released this 27 Nov 15:36
9384c48
  1. 从BYOS更换成BYOC方式直接使用LLamaFactory原始repo,无需fork修改官方库,保持跟社区一致性,并且提高训练启动速度(只需CloudFormation首次部署时build 训练镜像)。
  2. 升级LLamaFactory到最新版本0.9.2.dev0,支持LLama 3.2 vision, Llava-Next等新的多模态模型微调。
  3. 升级vLLM至最新0.6.4。
  4. 推理部署更新:支持多图推理请求(默认5张图),并且支持创建endpoint时在前端界面调整。(⚠️如果调整大小后,部署失败,请检查SageMaker日志中错误提示,可能需要根据实例和模型大小的不同,在前端页面调整见FAQ 7.6)