llamafile
将模型与运行程序打包成单个文件的工具
Mozilla旗下项目,可将模型权重和推理程序封装为单个可执行文件,简化本地运行与分发,也能制作自己的模型包,适合便携部署和离线使用。
网站可用域名
1 个
相关推荐
Pinokio
简化本地人工智能项目安装运行的启动器
GPT4All
支持离线聊天与本地文档问答的桌面软件
Krita AI Diffusion
把本地AI生图与局部重绘融入画布的插件
TextGen
支持多种推理后端的本地大模型运行平台
llama.cpp
支持多种硬件的轻量级本地模型推理引擎
vLLM
面向高并发调用的大模型推理服务引擎
LM Studio
支持本地模型运行与智能体任务的桌面工具
FastGPT
可本地部署的知识库问答与工作流构建平台
LocalAI
兼容常用模型接口的本地推理服务框架
评论 (0)
暂无评论,快来发表第一条评论吧
