SGLang
面向语言与多模态模型的高性能部署框架
用于部署大语言模型与多模态模型服务,支持多种硬件平台及服务编排,适合开发者搭建内网模型服务、批量推理或多人使用的AI后端。
网站可用域名
1 个
相关推荐
llamafile
将模型与运行程序打包成单个文件的工具
Krita AI Diffusion
把本地AI生图与局部重绘融入画布的插件
llama.cpp
支持多种硬件的轻量级本地模型推理引擎
Xinference
统一管理和部署多种AI模型的推理平台
LM Studio
支持本地模型运行与智能体任务的桌面工具
Open WebUI
连接本地模型的自托管聊天与知识库平台
FastGPT
可本地部署的知识库问答与工作流构建平台
LocalAI
兼容常用模型接口的本地推理服务框架
PocketPal AI
可在手机和平板上离线运行模型的AI助手
评论 (0)
暂无评论,快来发表第一条评论吧
