- 从BYOS更换成BYOC方式直接使用LLamaFactory原始repo,无需fork修改官方库,保持跟社区一致性,并且提高训练启动速度(只需CloudFormation首次部署时build 训练镜像)。
- 升级LLamaFactory到最新版本0.9.2.dev0,支持LLama 3.2 vision, Llava-Next等新的多模态模型微调。
- 升级vLLM至最新0.6.4。
- 推理部署更新:支持多图推理请求(auto模式默认1张图),创建endpoint时选择vllm可以调整。(
⚠️ 如果调整大小后,部署失败,请检查SageMaker日志中错误提示,可能需要根据实例和模型大小的不同,在前端页面调整见FAQ 7.6)