基于Docker利用vLLM部署大模型提供openaiAPI
Dockerfile CUDA_VISIBLE_DEVICES=0：其中0为服务器中的GPU编号，可以为0, …
LEDE源码编译openWRT
1、首先装好 Ubuntu 64bit，推荐 Ubuntu 20.04 LTS x64，注意，安装英文版本（英 …
Docker运行Ollama部署大模型
Why Ollama? 1、Ollama目前已成为大模型部署的主流，操作简单 2、Ollama官方提供Dock …
linux多用户安装docker
1、更新源 2、安装docker 向docker添加用户（注意要重新登录shell）
Linux服务器上搭建Jupyter Lab远程访问
创建jupyter环境，在 jupyter 环境中安装nb_conda_kernels，其他包为常用插件 已经 …
世界，您好！
欢迎使用访问Jensen的个人博客！ 在读博士，记录并分享一些零碎的技术贴