运行模型

既然你已经做完上一步了,那么你的模型一定是GUFF格式了吧 这是一个很棒的推理格式 可以直接用Ollama或者LM Studio来运行

当然如果没有convert gguf,也可用hf模型运行!
这对vllm来说是不错的
Enjoy Your Self!