DeepSeek 协程异步API 调用与llamafactory本地vllm部署推理
简介使用协程调用DeepSeek的API,发现效果并不明显,没有加速的效果。但如是本地部署DeepSeek,本地部署需要支持异步调用,我使用llamafactory部署,发现协程加速的效果还是很显著的。代码实战调用官方APIDeepSeek官方文档https:apidocs.deepseek.comzhcnpython的调用代码如下,该调用方式为同步调用速度很慢。PleaseinstallOpenAISDKfirst:pip3installopenaifromopenaiimportOpenAIclientOpenAI(apikey"<DeepSeekAPIKey>",base...