支持多种推理后端的本地大模型运行平台
提供本地模型聊天、图片理解、文件问答、工具调用及兼容API,可切换不同推理后端。扩展安装还支持LoRA训练,适合调参数、测试模型和进阶部署。
网站可用域名
1 个
相关推荐
Page Assist
将本地AI接入浏览器侧边栏的开源扩展
Krita AI Diffusion
把本地AI生图与局部重绘融入画布的插件
llama.cpp
支持多种硬件的轻量级本地模型推理引擎
Xinference
统一管理和部署多种AI模型的推理平台
KoboldCpp
集成本地模型推理与聊天界面的轻量工具
Msty Studio
支持图形化管理本地模型的桌面AI工具
Open WebUI
连接本地模型的自托管聊天与知识库平台
LocalAI
兼容常用模型接口的本地推理服务框架
SGLang
面向语言与多模态模型的高性能部署框架
评论 (0)
暂无评论,快来发表第一条评论吧
