https://sudo-djug.xyz/tags/%E5%A4%A7%E6%A8%A1%E5%9E%8B/ Recent content in 大模型 on Harry's Blog Hugo zh-cn Sat, 30 Nov 2024 00:00:00 +0800 https://sudo-djug.xyz/posts/2024-11-30-ollama-local-llm/ Sat, 30 Nov 2024 00:00:00 +0800 https://sudo-djug.xyz/posts/2024-11-30-ollama-local-llm/ <h1 id="ollama本地大模型体验">Ollama本地大模型体验</h1> <p>大模型越来越火，但在线服务要么收费、要么有隐私顾虑。发现 <em>Ollama</em> 之后，本地跑大模型变得异常简单。</p> <p>安装就是一条命令：</p> <pre><code>curl -fsSL https://ollama.com/install.sh | sh </code></pre> <p>装完之后拉模型：</p> <pre><code>ollama pull qwen2.5:7b ollama run qwen2.5:7b </code></pre> <p><em>7B</em> 模型在我的 <em>3060 12G</em> 上跑得很流畅，推理速度大概 20 tokens/s，日常问答完全够用。又试了 <em>llama3.1:8b</em> 和 <em>deepseek-coder:6.7b</em>，后者写代码辅助效果不错。</p> <h6 id="配合其他工具使用">配合其他工具使用</h6> <ul> <li><em>Open WebUI</em>：给 Ollama 套一个漂亮的 Web 界面</li> <li><em>Continue.dev</em>：在 VS Code 里直接调用本地模型补全代码</li> <li><em>Dify</em>：后面打算接进去做 <em>Agent</em> 的底层模型</li> </ul> <hr> <p>本地跑模型的优势是隐私和可控，劣势是参数量受限。不过日常任务 <em>7B-13B</em> 的模型已经能应付大部分场景了。算力平民化的时代真的来了。</p>