近期技术折腾小结

近期技术折腾小结 好久没写博客了,趁今天有空,把最近半年折腾的东西记录一下。 博客迁移 把原来的 Hexo 博客迁移到了 Hugo,主题用的 PaperMod。迁移的主要原因是 Hugo 构建速度更快,主题也更简洁。整个过程比想象中顺利,文章都是 Markdown,迁移成本低。 MCP协议 最近 MCP(Model Context Protocol)很火,尝试给自托管的 Dify 接了几个 MCP Server,比如文件系统访问、网页搜索、数据库查询。Agent 的能力边界确实因此扩展了不少。 新玩具 入了一台 Orange Pi 5 Plus,打算用来替代 N100 跑一些轻量服务 试了 Claude Code,写代码和改配置的效率提升明显 把家里的网络升级到了 2.5G 内网,NAS 传输速度翻倍 折腾技术这件事,乐趣在于过程本身。不求成为专家,但求每个工具都能物尽其用。继续折腾,继续记录。

March 15, 2026 · 1 min · Harry

Python爬虫踩坑记

Python爬虫踩坑记 工作需要抓取一些公开数据,用 Python 写了个简单的爬虫。一开始以为用 requests 库直接 get 就行,结果发现很多网站都有反爬机制。 第一个坑是 User-Agent 被识别。解决方法是每次请求随机换一个: headers = {'User-Agent': 'Mozilla/5.0 ...'} response = requests.get(url, headers=headers) 第二个坑是请求太频繁被 IP 封禁。加了 time.sleep(random.uniform(1, 3)) 之后好了很多。 第三个坑最麻烦,目标网站用了 JavaScript 动态渲染,requests 抓到的 HTML 是空的。最后用了 Selenium + ChromeDriver,虽然慢了点,但能拿到完整数据。 几点心得 爬虫不是万能的,先看对方有没有提供 API 遵守 robots.txt,不要给人家服务器造成压力 数据拿到之后记得清洗,原始数据往往很脏 写爬虫的过程也是学习 HTTP 协议的过程,收获不小。

April 10, 2022 · 1 min · Harry

Docker初体验

Docker初体验 早就听说 Docker 容器化技术很厉害,今天终于抽时间学习了一下。跟着官方文档走了一遍,感觉比想象中简单。 安装倒是顺利,直接用了官方的一键脚本: curl -fsSL https://get.docker.com | sh 装完之后运行了个 hello-world,成功。接着尝试把自己写的一个小 Flask 应用打包成镜像,遇到几个坑: 基础镜像选 python:3.9-slim 比 python:3.9 体积小很多 requirements.txt 一定要提前写好,不然构建时会报错 Dockerfile 里用 COPY 比 ADD 更直观 第一个打包好的镜像只有 180MB,运行起来也很轻量。 下一步想试试 Docker Compose,把博客、数据库、缓存几个服务一起编排起来。容器化确实是趋势,得跟上。

August 15, 2021 · 1 min · Harry

个人博客搭建初探

个人博客搭建初探 今天跟随视频和网页教程搭建了属于自己的个人博客,视频和网络参考如下: 手把手教你从0开始搭建自己的个人博客 |无坑版视频教程| hexo 超详细Hexo+Github博客搭建小白教程 - 知乎 当然,跟随这些教程的好处是入门快,想提高可得费点劲。安装期间,无意中下载了最新版的 node.js ,版本号 14.16.1 ,结果经常报错,*这篇文章*给了很大帮助。历时两个小时,终于可以把博客搭建起来了,之后的任务有两个~ 一是做好技术的记录和总结 二是做好博客的美化和功能多元化,向个人网站全面发展。 要学的东西太多了…… Python JavaScript HTML CSS Node.js Django SQL 数据分析、机器学习、网页爬虫…… 作为一个业余爱好者,希望自己不耽误主业的同时,把这个爱好玩好……

May 9, 2021 · 1 min · Harry