[Feature Request]: 工具调用可以支持openai 的api function call吗

[lonngxiang]

Feature request / 功能建议

看现在支持transformers的 function call

[LDLINGLINGLING]

可以的，教程里给出了如何使用vllm的api进行function call https://modelbest.feishu.cn/wiki/ARJtwko3gisbw5kdPiDcDIOvnGg?from=from_copylink

[lonngxiang]

可以的，教程里给出了如何使用vllm的api进行function call https://modelbest.feishu.cn/wiki/ARJtwko3gisbw5kdPiDcDIOvnGg?from=from_copylink

但这例子不是用的transformers的 function call吗？不是opeanai的接口，opeanai的接口是不需要再单独加载tokenizer的

[LDLINGLINGLING]

你好，tokenizer仅仅是在做数据处理，如果你不想加载tokenizer就按照tokenizer的方式进行数据处理，再调用api即可

[lonngxiang]

你好，tokenizer仅仅是在做数据处理，如果你不想加载tokenizer就按照tokenizer的方式进行数据处理，再调用api即可

或者tokenizer也可以提供成api服务？最终还是希望能直接openai tools使用

[lonngxiang]

你好，tokenizer仅仅是在做数据处理，如果你不想加载tokenizer就按照tokenizer的方式进行数据处理，再调用api即可
像这个例子是支持的
https://docs.vllm.ai/en/latest/getting_started/examples/openai_chat_completion_client_with_tools.html

[lonngxiang]

看现在qwen2.5 用vllm推理后支持https://qwenlm.github.io/zh/blog/qwen2.5/

[Cppowboy]

可以使用https://github.com/OpenBMB/MiniCPM/blob/main/demo/minicpm3/function_call/openai_api_server.py 来启动一个支持function call的vllm server

[lonngxiang]

可以使用https://github.com/OpenBMB/MiniCPM/blob/main/demo/minicpm3/function_call/openai_api_server.py 来启动一个支持function call的vllm server

有运行，但这边使用案例还额外需要加载transformers tokenizer去调用function的