7 万 Star 的 MediaCrawler 值得学吗?我通读 3.3 万行代码,顺便把合规坑说清楚
NanmiCoder/MediaCrawler 是 GitHub 上 7 万 Star 的多平台自媒体数据采集项目(小红书/抖音/快手/B站/微博/贴吧/知乎)。今年 6 月我写过它的入门教程(当时 1.3 万 Star),这次换个角度:通读约 3.3 万行 Python,拆解它的工程架构——AbstractCrawler 模板方法、七平台同构的 client/core/login 分层、Playwright 登录态复用与 JS 取签名免逆向、CDP 模式接管真实浏览器反检测、八种存储后端工厂、代理池与重试。同时必须说清三件入门稿不会重点讲的事:它的 NON-COMMERCIAL LEARNING LICENSE 1.1 不是 OSI 开源协议、商业使用和大规模爬取被明确禁止;仓库里 MediaCrawlerPro 是闭源付费产品,开源版没有断点续爬;以及国内爬虫的法律红线与个人信息保护义务。本文是架构学习笔记,不是教唆采集。