百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

超详细!用Ollama在本地部署DeepSeek教程

ztj100 2025-03-03 21:15 40 浏览 0 评论

前期准备

一、确认系统和硬件:

1、操作系统:Windows用户需Windows 10及以上系统;macOS用户要求系统为macOS 11.0及以上;Linux用户建议使用Ubuntu 20.04及以上版本。

2、CPU:多核心处理器,像英特尔酷睿i5或AMD锐龙5及以上系列为佳,核心数越多,模型运行时多任务处理能力越强。

3、内存:至少16GB,推荐32GB及以上。运行模型时,充足的内存能保障数据快速读取与处理,避免因内存不足导致运行缓慢甚至报错。

4、硬盘:准备至少50GB可用空间,用于存放Ollama程序、DeepSeek模型文件及相关缓存。

5、GPU:若有NVIDIA显卡,如RTX 2080 Ti及以上,可显著加速模型运行。不同规模的DeepSeek模型对GPU显存要求不同,如运行1.5B规模模型,1GB显存即可;7B、8B规模模型建议8GB显存;14B规模模型需12GB或16GB显存;32B规模模型需24GB显存;70B规模模型则需40GB以上显存 。

二、安装Docker

1、Windows和macOS:Ollama依赖Docker运行,先从Docker官网下载对应系统的Docker Desktop安装包,下载完成后,双击安装包,按提示一步步完成安装。安装完成后,启动Docker Desktop,确保其在后台正常运行。

2、Linux:不同Linux发行版安装Docker方式略有不同。以Ubuntu为例,在终端输入以下命令安装:

安装完成后,输入 sudo systemctl start docker 启动Docker服务,再输入 sudo systemctl enable docker 设置开机自启。

三、下载并安装Ollama

1、下载Ollama:打开浏览器,访问Ollama官网,在首页找到“Download”按钮,根据自己的操作系统,选择对应的安装包下载。比如Windows系统,点击“Download for Windows”下载 .exe 文件;macOS系统,点击“Download for macOS”下载.dmg文件;Linux系统,点击“Download for Linux”下载.deb(Debian、Ubuntu等)或 .rpm (CentOS、Fedora等)文件。

2、安装Ollama

Windows:下载完成后,找到下载的 .exe 文件,双击运行,在安装向导界面,一直点击“Next”,按默认设置完成安装。

macOS:打开下载的 .dmg 文件,将Ollama图标拖到“Applications”文件夹,完成安装。

Linux

Debian、Ubuntu:在终端中,切换到下载文件所在目录,输入 sudo dpkg -i ollama_xxx.deb (xxx为下载的实际文件名)进行安装,安装过程中若提示缺少依赖,按提示安装相应依赖包。

CentOS、Fedora:在终端中,切换到下载文件所在目录,输入 sudo rpm -ivh ollama_xxx.rpm (xxx为下载的实际文件名)进行安装,同样,若提示缺少依赖,按提示安装。

3、验证Ollama安装

1、打开命令行工具:

Windows:按下“Win+R”组合键,在弹出的运行框中输入“cmd”,回车打开命令提示符;或者在开始菜单中搜索“PowerShell”,打开PowerShell。

macOS:打开“应用程序” - “实用工具” - “终端”。

Linux:直接打开终端。

2、验证安装:

在命令行中输入 ollama version ,若安装成功,会显示Ollama的版本号,如“ollama version 0.5.7” 。

四、下载DeepSeek模型

1、了解模型版本:DeepSeek有不同参数规模的模型版本,如 deepseek-r1:1.5b 、 deepseek-r1:7b 、 deepseek-r1:14b 等 ,“b”代表十亿参数,参数越多,模型能力通常越强,但对硬件要求也越高。

2、选择合适模型:根据自己电脑的硬件配置选择模型。如果电脑配置一般,显卡和硬盘都较普通,可选择 deepseek-r1:1.5b ,它消耗显存仅1GB;有8GB显存的显卡,可考虑 deepseek-r1:7b deepseek-r1:8b ;12GB或16GB显存,deepseek-r1:14b ;24GB显存,deepseek-r1:32b ;40GB以上显存,deepseek-r1:70b 。

3、下载模型:在命令行中输入下载命令,格式为 ollama run deepseek-r1:xxx (xxx为所选模型版本,如1.5b、7b等)。例如,要下载 deepseek-r1:7b 模型,输入 ollama run deepseek-r1:7b ,回车后,Ollama会自动从远程仓库下载模型,下载过程中会显示下载进度,耐心等待下载完成。

五、与DeepSeek模型交互

1、直接命令行交互:模型下载完成后,在命令行中,直接输入问题或任务,如“介绍一下春节的传统习俗”,然后回车,DeepSeek模型会处理输入并在命令行中返回回答。结束交互时,输入 /bye ,回车即可退出。

2、使用可视化界面(可选):如果觉得命令行交互不够直观,可使用可视化界面,如Chatbox。

六、配置环境变量:

1、Windows:按下“Win+X”组合键,选择“系统”,在弹出的窗口中点击“高级系统设置”,在新窗口中点击“环境变量”。在“用户变量”区域,点击“新建”,变量名输入“OLLAMA_HOST”,变量值输入“0.0.0.0”,点击“确定”;再点击“新建”,变量名输入“OLLAMA_ORIGINS”,变量值输入“*” ,点击“确定”。

2、macOS和Linux:在终端中输入 export OLLAMA_HOST=0.0.0.0export OLLAMA_ORIGINS=* 两条命令设置环境变量。

3、重启Ollama:关闭正在运行的Ollama进程(若有),重新启动Ollama。

4、设置Chatbox:打开浏览器,访问Chatbox官网 ,进入页面后,先将语言切换为简体中文。点击页面右上角的设置图标,在设置页面中,选择“Ollama”作为模型提供商,在“Ollama API URL”处输入“
http://0.0.0.0:11434/api/generate
”,点击“保存”。设置完成后,就可以在Chatbox界面与DeepSeek模型进行对话了 。

七、常见问题及解决方法

1、安装Ollama失败:

问题表现:安装过程中报错,如提示缺少依赖、安装程序无法启动等。

解决方法:检查系统是否满足Ollama的安装要求,如Windows系统是否为支持版本;对于缺少依赖的问题,按提示安装相应依赖包;若安装程序无法启动,尝试以管理员身份运行安装程序。

2、下载模型失败:

问题表现:下载过程中报错,如网络连接错误、下载中断等。

解决方法:检查网络连接是否正常,可尝试重启路由器、更换网络;若网络正常,可能是Ollama仓库服务器问题,稍后再试;也可在命令行中使用代理命令下载,如ollama run --proxy=http://your_proxy_ip:port deepseek-r1:xxx (将 your_proxy_ip:port 替换为实际代理IP和端口)。

3、模型运行缓慢:

- 问题表现:输入问题后,模型响应时间长,处理速度慢。

- 解决方法:确认是否使用了GPU加速,在命令行输入 nvidia - smi 查看GPU状态,若未正确使用GPU,检查显卡驱动是否为最新版本,以及Ollama是否正确配置使用GPU(一般Ollama会自动检测并使用GPU,若未自动使用,查阅Ollama官方文档进行配置);关闭其他占用大量系统资源的程序,释放系统资源。

相关推荐

Python 操作excel的坑__真实的行和列

大佬给的建议__如何快速处理excelopenpyxl库操作excel的时候,单个表的数据量大一些处理速度还能接受,如果涉及多个表甚至多个excel文件的时候速度会很慢,还是建议用pandas来处理,...

Python os.path模块使用指南:轻松处理文件路径

前言在Python编程中,文件和目录的操作是非常重要的一部分。为了方便用户进行文件和目录的操作,Python标准库提供了os模块。其中,os.path子模块提供了一些处理文件路径的函数和方法。本文主要...

Python常用内置模块介绍——文件与系统操作详解

Python提供了多个强大的内置模块用于文件和系统操作,下面我将详细介绍最常用的几个模块及其核心功能。1.os模块-操作系统交互...

Python Flask 建站框架实操教程(flask框架网页)

下面我将带您从零开始构建一个完整的Flask网站,包含用户认证、数据库操作和前端模板等核心功能。##第一部分:基础项目搭建###1.创建项目环境```bash...

为你的python程序上锁:软件序列号生成器

序列号很多同学可能开发了非常多的程序了,并且进行了...

PO设计模式全攻略,在 UI 自动化中的实践总结(以企业微信为例)

一、什么是PO设计模式?PO(PageObject)设计模式将某个页面的所有元素对象定位和对元素对象的操作封装成一个Page类,即一个py文件,并以页面为单位来写测试用例,实现页面对象和测试用例的...

这种小工具居然也能在某鱼卖钱?我用Python一天能写...

前两天在某鱼闲逛,本来想找个二手机械键盘,结果刷着刷着突然看到有人在卖——Word批量转PDF小工具...

python打包成exe,程序有图标,但是任务栏和窗口都没有显示图标

代码中指定图标信息#设置应用ID,确保任务栏图标正确显示ifsys.platform=="win32":importctypesapp_id=...

使用Python构建电影推荐系统(用python做推荐系统)

在日常数据挖掘工作中,除了会涉及到使用Python处理分类或预测任务,有时候还会涉及推荐系统相关任务。...

python爬取并分析淘宝商品信息(python爬取淘宝商品数据)

python爬取并分析淘宝商品信息背景介绍一、模拟登陆二、爬取商品信息1.定义相关参数2.分析并定义正则3.数据爬取三、简单数据分析1.导入库2.中文显示3.读取数据4.分析价格分布5.分析销售...

OpenCV入门学习基础教程(从小白变大神)

Opencv是用于快速处理图像处理、计算机视觉问题的工具,支持多种语言进行开发如c++、python、java等,下面这篇文章主要给大家介绍了关于openCV入门学习基础教程的相关资料,需要的朋友可以...

python图像处理-一行代码实现灰度图抠图

抠图是ps的最基本技能,利用python可以实现用一行代码实现灰度图抠图。基础算法是...

从头开始学python:如何用Matplotlib绘图表

Matplotlib是一个用于绘制图表的库。如果你有用过python处理数据,那Matplotlib可以更直观的帮你把数据展示出来。直接上代码看例子:importmatplotlib.pyplot...

Python爬取爱奇艺腾讯视频 250,000 条数据分析为什么李诞不值得了

在《Python爬取爱奇艺52432条数据分析谁才是《奇葩说》的焦点人物?》这篇文章中,我们从爱奇艺爬取了5万多条评论数据,并对一些关键数据进行了分析,由此总结出了一些明面上看不到的数据,并...

Python Matplotlib 库使用基本指南

简介Matplotlib是一个广泛使用的Python数据可视化库,它可以创建各种类型的图表、图形和可视化效果。无论是简单的折线图还是复杂的热力图,Matplotlib提供了丰富的功能来满足我们...

取消回复欢迎 发表评论: