vLLM
面向高并发调用的大模型推理服务引擎
通过连续批处理和显存管理提升模型服务效率,提供兼容OpenAI的API,适合把本地模型部署成供程序调用的服务,偏向开发者和GPU服务器使用。
网站可用域名
1 个
相关推荐
Unsloth
集本地模型运行与微调训练于一体的AI工具
GPT4All
支持离线聊天与本地文档问答的桌面软件
Krita AI Diffusion
把本地AI生图与局部重绘融入画布的插件
TextGen
支持多种推理后端的本地大模型运行平台
Xinference
统一管理和部署多种AI模型的推理平台
Open WebUI
连接本地模型的自托管聊天与知识库平台
MLX LM
面向苹果芯片Mac的本地模型推理微调工具
PocketPal AI
可在手机和平板上离线运行模型的AI助手
SGLang
面向语言与多模态模型的高性能部署框架
评论 (0)
暂无评论,快来发表第一条评论吧
