百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

超详细!用Ollama在本地部署DeepSeek教程

ztj100 2025-03-03 21:15 12 浏览 0 评论

前期准备

一、确认系统和硬件:

1、操作系统:Windows用户需Windows 10及以上系统;macOS用户要求系统为macOS 11.0及以上;Linux用户建议使用Ubuntu 20.04及以上版本。

2、CPU:多核心处理器,像英特尔酷睿i5或AMD锐龙5及以上系列为佳,核心数越多,模型运行时多任务处理能力越强。

3、内存:至少16GB,推荐32GB及以上。运行模型时,充足的内存能保障数据快速读取与处理,避免因内存不足导致运行缓慢甚至报错。

4、硬盘:准备至少50GB可用空间,用于存放Ollama程序、DeepSeek模型文件及相关缓存。

5、GPU:若有NVIDIA显卡,如RTX 2080 Ti及以上,可显著加速模型运行。不同规模的DeepSeek模型对GPU显存要求不同,如运行1.5B规模模型,1GB显存即可;7B、8B规模模型建议8GB显存;14B规模模型需12GB或16GB显存;32B规模模型需24GB显存;70B规模模型则需40GB以上显存 。

二、安装Docker

1、Windows和macOS:Ollama依赖Docker运行,先从Docker官网下载对应系统的Docker Desktop安装包,下载完成后,双击安装包,按提示一步步完成安装。安装完成后,启动Docker Desktop,确保其在后台正常运行。

2、Linux:不同Linux发行版安装Docker方式略有不同。以Ubuntu为例,在终端输入以下命令安装:

安装完成后,输入 sudo systemctl start docker 启动Docker服务,再输入 sudo systemctl enable docker 设置开机自启。

三、下载并安装Ollama

1、下载Ollama:打开浏览器,访问Ollama官网,在首页找到“Download”按钮,根据自己的操作系统,选择对应的安装包下载。比如Windows系统,点击“Download for Windows”下载 .exe 文件;macOS系统,点击“Download for macOS”下载.dmg文件;Linux系统,点击“Download for Linux”下载.deb(Debian、Ubuntu等)或 .rpm (CentOS、Fedora等)文件。

2、安装Ollama

Windows:下载完成后,找到下载的 .exe 文件,双击运行,在安装向导界面,一直点击“Next”,按默认设置完成安装。

macOS:打开下载的 .dmg 文件,将Ollama图标拖到“Applications”文件夹,完成安装。

Linux

Debian、Ubuntu:在终端中,切换到下载文件所在目录,输入 sudo dpkg -i ollama_xxx.deb (xxx为下载的实际文件名)进行安装,安装过程中若提示缺少依赖,按提示安装相应依赖包。

CentOS、Fedora:在终端中,切换到下载文件所在目录,输入 sudo rpm -ivh ollama_xxx.rpm (xxx为下载的实际文件名)进行安装,同样,若提示缺少依赖,按提示安装。

3、验证Ollama安装

1、打开命令行工具:

Windows:按下“Win+R”组合键,在弹出的运行框中输入“cmd”,回车打开命令提示符;或者在开始菜单中搜索“PowerShell”,打开PowerShell。

macOS:打开“应用程序” - “实用工具” - “终端”。

Linux:直接打开终端。

2、验证安装:

在命令行中输入 ollama version ,若安装成功,会显示Ollama的版本号,如“ollama version 0.5.7” 。

四、下载DeepSeek模型

1、了解模型版本:DeepSeek有不同参数规模的模型版本,如 deepseek-r1:1.5b 、 deepseek-r1:7b 、 deepseek-r1:14b 等 ,“b”代表十亿参数,参数越多,模型能力通常越强,但对硬件要求也越高。

2、选择合适模型:根据自己电脑的硬件配置选择模型。如果电脑配置一般,显卡和硬盘都较普通,可选择 deepseek-r1:1.5b ,它消耗显存仅1GB;有8GB显存的显卡,可考虑 deepseek-r1:7b deepseek-r1:8b ;12GB或16GB显存,deepseek-r1:14b ;24GB显存,deepseek-r1:32b ;40GB以上显存,deepseek-r1:70b 。

3、下载模型:在命令行中输入下载命令,格式为 ollama run deepseek-r1:xxx (xxx为所选模型版本,如1.5b、7b等)。例如,要下载 deepseek-r1:7b 模型,输入 ollama run deepseek-r1:7b ,回车后,Ollama会自动从远程仓库下载模型,下载过程中会显示下载进度,耐心等待下载完成。

五、与DeepSeek模型交互

1、直接命令行交互:模型下载完成后,在命令行中,直接输入问题或任务,如“介绍一下春节的传统习俗”,然后回车,DeepSeek模型会处理输入并在命令行中返回回答。结束交互时,输入 /bye ,回车即可退出。

2、使用可视化界面(可选):如果觉得命令行交互不够直观,可使用可视化界面,如Chatbox。

六、配置环境变量:

1、Windows:按下“Win+X”组合键,选择“系统”,在弹出的窗口中点击“高级系统设置”,在新窗口中点击“环境变量”。在“用户变量”区域,点击“新建”,变量名输入“OLLAMA_HOST”,变量值输入“0.0.0.0”,点击“确定”;再点击“新建”,变量名输入“OLLAMA_ORIGINS”,变量值输入“*” ,点击“确定”。

2、macOS和Linux:在终端中输入 export OLLAMA_HOST=0.0.0.0export OLLAMA_ORIGINS=* 两条命令设置环境变量。

3、重启Ollama:关闭正在运行的Ollama进程(若有),重新启动Ollama。

4、设置Chatbox:打开浏览器,访问Chatbox官网 ,进入页面后,先将语言切换为简体中文。点击页面右上角的设置图标,在设置页面中,选择“Ollama”作为模型提供商,在“Ollama API URL”处输入“
http://0.0.0.0:11434/api/generate
”,点击“保存”。设置完成后,就可以在Chatbox界面与DeepSeek模型进行对话了 。

七、常见问题及解决方法

1、安装Ollama失败:

问题表现:安装过程中报错,如提示缺少依赖、安装程序无法启动等。

解决方法:检查系统是否满足Ollama的安装要求,如Windows系统是否为支持版本;对于缺少依赖的问题,按提示安装相应依赖包;若安装程序无法启动,尝试以管理员身份运行安装程序。

2、下载模型失败:

问题表现:下载过程中报错,如网络连接错误、下载中断等。

解决方法:检查网络连接是否正常,可尝试重启路由器、更换网络;若网络正常,可能是Ollama仓库服务器问题,稍后再试;也可在命令行中使用代理命令下载,如ollama run --proxy=http://your_proxy_ip:port deepseek-r1:xxx (将 your_proxy_ip:port 替换为实际代理IP和端口)。

3、模型运行缓慢:

- 问题表现:输入问题后,模型响应时间长,处理速度慢。

- 解决方法:确认是否使用了GPU加速,在命令行输入 nvidia - smi 查看GPU状态,若未正确使用GPU,检查显卡驱动是否为最新版本,以及Ollama是否正确配置使用GPU(一般Ollama会自动检测并使用GPU,若未自动使用,查阅Ollama官方文档进行配置);关闭其他占用大量系统资源的程序,释放系统资源。

相关推荐

告别手动操作:一键多工作表合并的实用方法

通常情况下,我们需要将同一工作簿内不同工作表中的数据进行合并处理。如何快速有效地完成这些数据的整合呢?这主要取决于需要合并的源数据的结构。...

【MySQL技术专题】「优化技术系列」常用SQL的优化方案和技术思路

概述前面我们介绍了MySQL中怎么样通过索引来优化查询。日常开发中,除了使用查询外,我们还会使用一些其他的常用SQL,比如INSERT、GROUPBY等。对于这些SQL语句,我们该怎么样进行优化呢...

9.7寸视网膜屏原道M9i双系统安装教程

泡泡网平板电脑频道4月17日原道M9i采用Win8安卓双系统,对于喜欢折腾的朋友来说,刷机成了一件难事,那么原道M9i如何刷机呢?下面通过详细地图文,介绍原道M9i的刷机操作过程,在刷机的过程中,要...

如何做好分布式任务调度——Scheduler 的一些探索

作者:张宇轩,章逸,曾丹初识Scheduler找准定位:分布式任务调度平台...

mysqldump备份操作大全及相关参数详解

mysqldump简介mysqldump是用于转储MySQL数据库的实用程序,通常我们用来迁移和备份数据库;它自带的功能参数非常多,文中列举出几乎所有常用的导出操作方法,在文章末尾将所有的参数详细说明...

大厂面试冲刺,Java“实战”问题三连,你碰到了哪个?

推荐学习...

亿级分库分表,如何丝滑扩容、如何双写灰度

以下是基于亿级分库分表丝滑扩容与双写灰度设计方案,结合架构图与核心流程说明:一、总体设计目标...

MYSQL表设计规范(mysql表设计原则)

日常工作总结,不是通用规范一、表设计库名、表名、字段名必须使用小写字母,“_”分割。...

怎么解决MySQL中的Duplicate entry错误?

在使用MySQL数据库时,我们经常会遇到Duplicateentry错误,这是由于插入或更新数据时出现了重复的唯一键值。这种错误可能会导致数据的不一致性和完整性问题。为了解决这个问题,我们可以采取以...

高并发下如何防重?(高并发如何防止重复)

前言最近测试给我提了一个bug,说我之前提供的一个批量复制商品的接口,产生了重复的商品数据。...

性能压测数据告诉你MySQL和MariaDB该怎么选

1.压测环境为了尽可能的客观公正,本次选择同一物理机上的两台虚拟机,一台用作数据库服务器,一台用作运行压测工具mysqlslap,操作系统均为UbuntuServer22.04LTS。...

屠龙之技 --sql注入 不值得浪费超过十天 实战中sqlmap--lv 3通杀全国

MySQL小结发表于2020-09-21分类于知识整理阅读次数:本文字数:67k阅读时长≈1:01...

破防了,谁懂啊家人们:记一次 mysql 问题排查

作者:温粥一、前言谁懂啊家人们,作为一名java开发,原来以为mysql这东西,写写CRUD,不是有手就行吗;你说DDL啊,不就是设计个表结构,搞几个索引吗。...

SpringBoot系列Mybatis之批量插入的几种姿势

...

MySQL 之 Performance Schema(mysql安装及配置超详细教程)

MySQL之PerformanceSchema介绍PerformanceSchema提供了在数据库运行时实时检查MySQL服务器的内部执行情况的方法,通过监视MySQL服务器的事件来实现监视内...

取消回复欢迎 发表评论: