llama.cpp
支持多种硬件的轻量级本地模型推理引擎
以C/C++实现,支持量化模型、CPU与GPU混合推理,提供命令行、网页聊天界面和兼容OpenAI的API,适合需要自行调整运行参数的用户。
网站可用域名
1 个
相关推荐
llamafile
将模型与运行程序打包成单个文件的工具
Page Assist
将本地AI接入浏览器侧边栏的开源扩展
GPT4All
支持离线聊天与本地文档问答的桌面软件
Krita AI Diffusion
把本地AI生图与局部重绘融入画布的插件
vLLM
面向高并发调用的大模型推理服务引擎
LM Studio
支持本地模型运行与智能体任务的桌面工具
Open WebUI
连接本地模型的自托管聊天与知识库平台
PocketPal AI
可在手机和平板上离线运行模型的AI助手
SGLang
面向语言与多模态模型的高性能部署框架
评论 (0)
暂无评论,快来发表第一条评论吧
