本地AI on Harry's Blog

用Dify搭建个人AI Agent

Sun, 04 May 2025 00:00:00 +0800

Dify 是一个开源的 LLM 应用开发平台，最近体验了一下，搭建个人 Agent 比从零写代码省事太多。

部署用的 Docker Compose：

git clone https://github.com/langgenius/dify.git
cd dify/docker
docker compose up -d

默认会用 OpenAI 的 API，但我在设置里改成了本地 Ollama 的地址，这样就可以完全离线使用了。

目前搭了几个小助手：

AI Agent 的方向确实是趋势，未来应该会把更多日常事务交给 Agent 处理。Dify 作为入门平台很合适，等更复杂的需求再考虑自己写框架。

Sat, 30 Nov 2024 00:00:00 +0800

大模型越来越火，但在线服务要么收费、要么有隐私顾虑。发现 Ollama 之后，本地跑大模型变得异常简单。

安装就是一条命令：

curl -fsSL https://ollama.com/install.sh | sh

装完之后拉模型：

ollama pull qwen2.5:7b
ollama run qwen2.5:7b

7B 模型在我的 3060 12G 上跑得很流畅，推理速度大概 20 tokens/s，日常问答完全够用。又试了 llama3.1:8b 和 deepseek-coder:6.7b，后者写代码辅助效果不错。

本地跑模型的优势是隐私和可控，劣势是参数量受限。不过日常任务 7B-13B 的模型已经能应付大部分场景了。算力平民化的时代真的来了。

Sat, 22 Jul 2023 00:00:00 +0800

AI 绘画火了大半年，一直在用在线版，但免费额度总是不够用。趁着显卡降价，入了一块 RTX 3060 12G，决定本地部署 Stable Diffusion WebUI。

部署用的是 AUTOMATIC1111 的版本，克隆仓库之后运行：

./webui.sh --xformers

第一次启动会自动下载模型，大概 4GB 左右，耐心等待即可。

生成一张 512x512 的图片大概 3-5 秒，比在线版快多了。试了几个热门的 Checkpoint 模型和 LoRA，效果确实惊艳。

本地跑 AI 的感觉很奇妙，算力掌握在自己手里。接下来想研究一下 ComfyUI 的工作流模式，据说更灵活。