基于Docker利用vLLM部署大模型提供openaiAPI
Dockerfile CUDA_VISIBLE_DEVICES=0:其中0为服务器中的GPU编号,可以为0, …
Dockerfile CUDA_VISIBLE_DEVICES=0:其中0为服务器中的GPU编号,可以为0, …
1、首先装好 Ubuntu 64bit,推荐 Ubuntu 20.04 LTS x64,注意,安装英文版本(英 …
Why Ollama? 1、Ollama目前已成为大模型部署的主流,操作简单 2、Ollama官方提供Dock …
1、更新源 2、安装docker 向docker添加用户(注意要重新登录shell)
创建jupyter环境,在 jupyter 环境中安装nb_conda_kernels,其他包为常用插件 已经 …
欢迎使用访问Jensen的个人博客! 在读博士,记录并分享一些零碎的技术贴