站群采集规则编写：老站长的实操经验与字段配置思路

站群程序采集规则编写这件事，说难不难，说简单也容易翻车。我见过不少朋友买了站群程序，规则随便填几行就开始跑，结果采回来的正文里混着导航栏、版权声明，标签字段全是空的。问题不在程序，在于规则本身没写对。这套东西本质上是告诉程序“去哪里找、找什么、怎么存”，三个环节任一环节含糊，后面清洗的人工成本就翻倍。

采集入口与列表页的定位逻辑

规则编写第一步是列表页地址。很多站群程序支持通配符翻页，比如用 [1-10] 这类写法批量生成，但前提是目标站的翻页结构得规整。有些站点列表页第一页是 /list.html，第二页变成 /list_2.html，这种就不能一条通配吃到底。我的习惯是先手动翻三页，把 URL 规律记下来，再决定用区间还是分多条规则。

列表页里的文章链接提取也有讲究。正规做法是限定在某个容器 div 内抓 a 标签，避免把侧边栏推荐、页脚导航一起收进去。容器选择器写错，采回来的链接可能一半是栏目页。这点我没法给通用答案，每个站的 DOM 结构不一样，只能现场看源码。

正文与字段映射：哪些必须抓，哪些可以放

进入详情页之后，字段配置才是重头戏。标题、正文、发布时间、来源、缩略图，这五项基本是标配。标题的提取范围尽量卡在一个 h1 里，别用 h2 兜底，不然遇到副标题会串行。正文更麻烦，常见的 class="content"、id="article" 只是通用写法，实际站点可能套了三层 div。稳妥的方式是先抓父容器，再用排除法把“上一页下一页”“相关阅读”这类块剔掉。

发布时间字段建议保留原始格式再统一转换。有些站点写“2024-03-15”，有些写“3分钟前”，规则里不加时间格式识别，入库后排序会乱。缩略图字段能抓就抓，没有的话留空，别让程序去解析正文首图——那个逻辑写不好容易把广告图一起带进来。

过滤规则与内容清洗的取舍

过滤规则是站群采集规则编写里最容易被低估的部分。采集回来的正文如果带内链、带样式、带脚本，直接入库对页面质量影响不小。常规做法是在规则里配置替换项：把 <a> 标签整体去掉，把 style 属性清空，把连续空行压成单行。这些操作在规则编辑器里一般有对应选项，勾选比手写正则省事。

但过滤太狠也有副作用。有次我把所有 img 标签都剔了，结果文章里的配图全丢，正文显得干巴巴。后来改成只保留 src 属性、去掉宽高和样式，效果好很多。这条经验是踩坑换来的，规则里加过滤项之前，最好拿三五个页面实测一下输出结果。

翻页容错与采集频率控制

站群程序跑采集，翻页失败是常态。目标站偶尔超时、返回 503，规则里如果不设重试次数和间隔，整批任务可能卡在一个页面上。我的配置习惯是单页重试 2 次、每次间隔 3 秒，超过就跳过并记日志。日志字段别省，后面排查是哪条规则出的问题全靠它。

采集频率这块，站群程序大多支持并发数和延时设置。并发开太高容易被目标站封 IP，延时设太长又拖进度。我个人的经验是并发控制在 3 到 5 之间，单请求延时 1 到 2 秒，具体还得看目标站的反爬强度。这点没有标准值，得自己试。

规则调试与常见字段错位排查

规则写完别急着全量跑。站群程序一般都有测试采集功能，先拿单条 URL 试，看标题对不对、正文有没有截断、时间字段能不能识别。字段错位最常见的表现是标题抓成了栏目名，或者正文只抓到第一段，多半是选择器层级写浅了。

• 标题抓到导航文字：容器范围过大，收窄到 h1 或文章头部区域
• 正文缺尾段：结束标记匹配到了正文中间的某个标签，改用更靠后的闭合位置
• 时间字段为空：目标站时间格式与规则预设不符，补一条格式匹配
• 缩略图 404：抓的是相对路径，规则里需要拼接域名前缀

调试通过之后再小批量跑一轮，抽几条入库内容看清洗效果。这一步花十分钟，能省掉后面几小时的手工修改。站群程序采集规则编写说到底是个细致活，规则写得越贴站点结构，后面维护越省心。