再上层楼,让DeepSeek-R1在16G内存,无GPU的Windows笔记本上本地运行!
16G内存笔记本也能跑ChatGPT❗︎
Ollama+DeepSeek-R1+LeetTools=简化版ChatGPT❗︎
手把手教程来了❗︎在一台普通Windows笔记本上,没有GPU显卡,通过使用Ollama、DeepSeek和LeetTools搭建一个本地的问答以及文章编写平台。本文不再具体介绍上述三个工具、模型的功能,有兴趣的可以从Github上看相应的源码以及ReadMe。前文我们也详细介绍过Ollama与LeetTools的安装教程。
Ollama:https://github.com/ollama/ollama
LeetTools:https://github.com/leettools-dev/leettools
演示
📌 工具环境准备
按照安装Vscode,安装Anaconda3

在Anaconda3中创建一个新的Python环境(python版本选择3.11),例如:命名为leettools。


在Vscode中将Python解释环境选择为在Anaconda3中创建的leettools环境。

从Vscode中拉取Ollama源码以及Leettools源码

打开Ollama的Readme,点击其中windows下载的链接,下载适合Ollama的exe文件

在机器上执行Ollama.exe进行Ollama的安装。执行完成后,退出Vscode,并重新打开Vscode。
📌 本机执行Answer问答
在Terminal中执行:
ollama serve

再新建一个Terminal,其中执行:
ollama pull deepseek-r1:1.5b

继续执行:
ollama pull nomic-embed-text

执行以下几条命令:
set "LEET_HOME=/Users/myhome/leettools"
set EDS_DEFAULT_LLM_BASE_URL=https://api.deepseek.com/v1
set EDS_LLM_API_KEY=sk-mykey
set EDS_DEFAULT_INFERENCE_MODEL=deepseek-chat
set EDS_DEFAULT_EMBEDDING_BASE_URL=http://localhost:11434/v1
set EDS_EMBEDDING_API_KEY=dummy-key
set EDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5b
set EDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-text
set EDS_EMBEDDING_MODEL_DIMENSION=76
注意:需要把第一条命令中的myhome替换成你自己的目录,第三条命令的mykey替换成你自己的DeepSeek API key
通过leet命令来执行,使用answer这个flow进行一个问题的问答。命令为:
leet flow -t answer -q "How does the FineTune process Work?" -k llmbook -l info

产生的最后结果是用md格式输出的(因为没有指定输出格式,就是用了默认格式以及默认风格),输出的首先是R1的think的推理说明部分


下面输出的是问答结果部分

有兴趣的可以试试其它的flow类型,看看源码。
🚀帮我们点亮一颗🌟,愿您的开发之路星光璀璨
留言
评论
${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}}说 · ${{item.date.slice(0, 10)}} 回复
暂时还没有一条评论.