Ollama

Ollama本地大模型体验 大模型越来越火，但在线服务要么收费、要么有隐私顾虑。发现 Ollama 之后，本地跑大模型变得异常简单。 安装就是一条命令： curl -fsSL https://ollama.com/install.sh | sh 装完之后拉模型： ollama pull qwen2.5:7b ollama run qwen2.5:7b 7B 模型在我的 3060 12G 上跑得很流畅，推理速度大概 20 tokens/s，日常问答完全够用。又试了 llama3.1:8b 和 deepseek-coder:6.7b，后者写代码辅助效果不错。 配合其他工具使用 Open WebUI：给 Ollama 套一个漂亮的 Web 界面 Continue.dev：在 VS Code 里直接调用本地模型补全代码 Dify：后面打算接进去做 Agent 的底层模型 本地跑模型的优势是隐私和可控，劣势是参数量受限。不过日常任务 7B-13B 的模型已经能应付大部分场景了。算力平民化的时代真的来了。