主域名选择-日志中应该核对哪些字段
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /56033a238033.html
📄
主域名选择-日志中应该核对哪些字段
在主域名选择这件事上，日志里最该核对的是能区分“哪个主机名被访问、返回了什么、由谁处理、是否被搜索引擎抓取”的字段。对多人协作而言，重点不是字段越多越好，而是把主机名、状态码、响应大小、User-Agent、Referer和抓取路径这几项固定成交付清单，让任何人都能复现同一判断。
先确认日志里哪个字段代表主机名
主域名选择的核心证据是请求落到哪个主机名上。常见日志格式中，这通常记录在host或server_name字段；如果使用CDN或反向代理，还要看回源日志里保留的是原始Host还是节点主机名。核对时先确认字段名与含义，再统计各主机名的请求量占比。
- 看Host字段是否完整包含带www与不带www两种形式。
- 看是否存在IP直连请求，这类请求无法反映域名选择效果。
- 看是否存在测试域名或旧域名仍在产生流量。
如果Host字段缺失或被代理改写，日志就无法支撑主域名判断。此时应先调整日志配置，而不是凭感觉下结论。
状态码与响应大小反映真实交付结果
状态码能区分正常返回、跳转和错误。主域名选择常伴随301或302跳转，因此要分别统计200、301、302、404、5xx的数量。若大量请求返回301，说明访问者或爬虫仍在使用非主域名，跳转链条是否过长需要进一步检查。
响应大小字段用于判断返回的是完整页面还是空响应或错误页。同一路径在不同主机名下响应大小差异明显时，可能意味着内容未同步或配置不一致。判断条件很简单：同一URL在主域名与备用域名上，状态码和响应大小应基本一致，跳转目标应稳定指向主域名。
User-Agent与Referer决定流量来源是否可信
User-Agent用于区分普通浏览器、搜索引擎爬虫和监控工具。主域名选择后，如果爬虫请求仍集中在旧域名，说明站内链接、站点地图或外部引用尚未统一。不同搜索引擎的爬虫标识不同，需要分别核查，不能用一个UA代表全部。
Referer用于判断流量从何而来。站内跳转、外部链接和直接访问的Referer表现不同。若大量请求Referer为空，可能是直接访问或隐私策略导致，不能直接判定为无效流量。多人协作时，应把UA匹配规则和Referer分类规则写进交付文档，避免不同人得出相反结论。
抓取路径与robots.txt记录要单独看
日志中的请求路径能显示爬虫实际抓取了哪些页面。核对时重点看主域名下的重要页面是否被持续抓取，以及旧域名是否仍在被大量抓取。需要区分“可能原因”和“已经定位的原因”：旧域名仍有抓取，可能是外链未更新，也可能是跳转配置不完整，还可能是站点地图仍包含旧域名，不能只凭一项断定。
robots.txt的抓取限制不等于可靠的索引移除。日志里看到robots.txt被频繁请求，只说明爬虫在读取规则，不代表页面已被移除。站点地图也不保证收录，它只是发现路径之一。HTTPS同样不保证安全无漏洞或排名，这些都要与主域名选择分开评估。
可执行的核对步骤与交付判断
- 从日志中导出Host、状态码、响应大小、User-Agent、Referer、请求路径六个字段。
- 按Host分组，统计各主机名的请求量、200占比和301占比。
- 筛选主要搜索引擎UA，分别查看它们访问的主机名分布。
- 抽查同一路径在主域名与备用域名上的状态码和响应大小是否一致。
- 把统计口径、字段含义和判断阈值写入交付说明，供协作方复核。
判断结果分三种：主域名请求占比高且状态码稳定，说明选择已生效；备用域名仍有大量200响应，说明内容未统一；备用域名以301为主且爬虫逐步迁移，说明处于过渡期，需要继续观察。若日志字段不完整，先补日志再判断，不要用不完整数据下结论。
下一步，选一个固定时间窗口，按上述六个字段做一次分组统计，并把结果与站内链接、站点地图和跳转配置逐项对照，确认主域名选择是否真正落地。
