vLLM
14 0
本网站收录于 2026-11-10
更新于 2026-11-17
image

vLLM

vLLM

面向高并发调用的大模型推理服务引擎

通过连续批处理和显存管理提升模型服务效率,提供兼容OpenAI的API,适合把本地模型部署成供程序调用的服务,偏向开发者和GPU服务器使用。

网站可用域名
1 个
https://vllm.ai/主域名正常访问全球范围均可访问

相关推荐

image

Unsloth

集本地模型运行与微调训练于一体的AI工具

image

GPT4All

支持离线聊天与本地文档问答的桌面软件

image

Krita AI Diffusion

把本地AI生图与局部重绘融入画布的插件

image

TextGen

支持多种推理后端的本地大模型运行平台

image

Xinference

统一管理和部署多种AI模型的推理平台

image

Open WebUI

连接本地模型的自托管聊天与知识库平台

image

MLX LM

面向苹果芯片Mac的本地模型推理微调工具

image

PocketPal AI

可在手机和平板上离线运行模型的AI助手

image

SGLang

面向语言与多模态模型的高性能部署框架

评论 (0)

image
empty暂无评论,快来发表第一条评论吧

收录与索引各类实用网站与工具站的导航站,涵盖 AI 工具、开发者工具、设计素材、效率办公、学习资料、在线服务等方向,每个站点均经人工筛选与可用性检测,帮你更快找到真正好用的那一个。

© 2026 GPT导航站 · 保留所有权利

友情链接

暂无