图片、视频与新闻 Sitemap:富媒体内容的专用收录通道
基础 sitemap 表达的信息很有限:这里有一个 URL,我希望它被收录。它不描述页面里有什么。而当页面里嵌着图片、视频,或者本身就是一条新闻时,「页面里有什么可展示的媒体」恰恰决定了它能进入哪些展示位置——图片包、视频轮播、新闻结果,都是围绕媒体本身成立的。
媒体扩展就是为这件事设计的。它在同一份 sitemap 里补上媒体层面的字段:图片地址与说明、视频的缩略图与播放页、新闻的标题与发布时间。有了这些,爬虫不必先渲染页面再猜里面有什么,媒体与页面的对应关系是直接声明出来的。
本文只讲扩展部分。基础的 sitemap 结构、lastmod 真实性、URL 过滤这些问题已经在 XML 站点地图指南 里讲过,这里一句话带过:基础规则仍然适用,扩展是在它之上加字段,不是另起一套。下面按三种扩展分别展开,然后讲通用纪律、验证与常见错误。
一、三种扩展各自解决什么
1.1 基础 sitemap 与媒体扩展的分工
两者的分工可以用一句话概括:基础 sitemap 说明有哪些页面,媒体扩展说明这些页面里有哪些媒体。
这个分工有实际后果。一张内联在文章里的图片,本来就能通过 HTML 被发现,扩展提供的价值是补上「这张图属于哪个页面、它讲的是什么」这层语义。而一个独立图片页或图库页,图片本身就是页面主体,扩展的作用是让图片地址与承载它的页面明确配对。
对视频更明显。基础 sitemap 里的一个视频页面 URL,只说明「这里有个页面」;视频扩展才会告诉爬虫缩略图在哪、播放页在哪、时长多少——这些是展示所必需的信息,HTML 里不一定能稳定获得。
1.2 三种扩展的前提条件
三种扩展都有前提,不满足前提时加字段没有意义。
- 图片扩展:图片必须可以被公开访问、返回 200,且所在页面本身允许被索引。
- 视频扩展:视频有稳定的播放页或内容文件地址,有可用的缩略图,且页面不是只有播放器没有文字内容。
- 新闻扩展:内容属于新闻类,站点在该领域有持续发布,且文章是近期发布的。
最后一条最容易被忽略。新闻扩展不是「让新文章更快被收录」的通用手段,它有明确的适用范围,第四章会专门讲这一点。
二、图片 sitemap
2.1 什么时候真的需要
图片扩展的价值与「图片能否被 HTML 自然发现」成反比。判断标准很简单。
需要的情况:站点有独立的图片页或图库页,图片是这些页面的主体内容;站点图片量大,且分散在内容管理系统的深层;图片被 JS 动态插入,HTML 源码里看不到地址;同一张图有多个尺寸版本,需要指明哪个是主版本。
不需要的情况:图片只是正文配图,数量不多,<img> 标签在源码里清晰可见。这种情况下加图片扩展主要是重复劳动,收益接近于零。
2.2 写法与最常漏的字段
图片扩展需要在 sitemap 根节点声明命名空间,然后在每个 URL 条目里挂图片信息。核心字段是图片地址,其余为可选但有用的说明字段。
<url>
<loc>https://example.com/gallery/edge-cache</loc>
<image:image>
<image:loc>https://example.com/img/edge-cache-01.jpg</image:loc>
<image:title>边缘缓存命中与回源的路径示意</image:title>
<image:caption>用户请求经边缘节点命中缓存时,不再回源。</image:caption>
</image:image>
</url>
最常漏的是两件事。一是图片地址必须是绝对 URL,且与页面上实际引用的地址一致——页面上通过参数做尺寸变换、sitemap 里写原图地址,两者对不上就会产生歧义。二是说明字段值得写:image:title 与 image:caption 是少数能直接表达图片语义的地方,对图片搜索的相关性判断有用。图片本身的压缩、格式与加载优化属于另一层,见 图片优化与 CDN。
三、视频 sitemap
3.1 必需字段
视频扩展的字段比图片多,因为视频需要更多信息才能被展示。官方文档列出的必需项可以归为四类:缩略图地址、标题、描述,以及播放页地址或内容文件地址二者之一。除此之外,时长与发布时间是强烈建议提供的字段。具体字段名与校验规则以官方文档为准。
<url>
<loc>https://example.com/guide/video-seo-basics</loc>
<video:video>
<video:thumbnail_loc>https://example.com/img/video-seo-basics.jpg</video:thumbnail_loc>
<video:title>视频页面的基础收录配置</video:title>
<video:description>从页面结构、缩略图到播放页地址的最小可用配置。</video:description>
<video:player_loc>https://example.com/watch/video-seo-basics</video:player_loc>
<video:duration>412</video:duration>
</video:video>
</url>
三个字段最容易写错。缩略图必须是可直接访问的图片地址,不能是需要登录或需要推荐位才显示的地址;播放页地址是可嵌入或可观看的页面,不是视频文件本身,也不是缩略图;时长要与实际一致,写错会让展示与实际不符。
3.2 与 VideoObject 的分工:发现与资格
视频要进入结果页,需要过两关,两关由不同机制负责。
发现由 sitemap 与页面链接负责:告诉爬虫「这里有视频,地址在这里」。资格由页面上的 VideoObject 结构化数据负责:声明这是什么视频、缩略图、时长、上传日期、是否可嵌入。只做前者,视频可能被发现但没有展示资格;只做后者,结构化数据可能因为没有稳定发现路径而迟迟不被处理。
所以正确的做法是两者都做,且两处的信息必须一致。缩略图地址、时长、标题在 sitemap 与结构化数据里不一致时,展示结果会不稳定,排查也很难。结构化数据的字段要求与校验方式见 结构化数据与富媒体结果,视频内容本身怎么组织见 视频内容 SEO,视频轮播的展示机制见 SERP 特性优化。
四、新闻 sitemap
4.1 适用范围与时效约束
新闻 sitemap 是三种扩展里约束最严的一种。它只适用于新闻类内容——也就是说,站点是一个被认可的新闻发布者,内容是按新闻方式生产和更新的。对绝大多数企业站、工具站、电商站,它不适用。
它还有时效与数量上的约束:一般只应包含最近一段时间内发布的文章,单文件条数有上限,超出的部分要靠拆分或 index 处理。具体的天数窗口与条数上限以官方文档为准,且这些规则会随时间调整,动手前应当先查一次当前版本,而不是照抄旧文章里的数字。
4.2 为什么它被误用最多
误用来自一个很自然的联想:新闻 sitemap 看起来是「让新内容更快被发现的通道」,于是有人把它当成通用的加速器,把所有新发布的页面都塞进去。
这个做法有两个问题。第一,它不符合适用范围,放进去了也不会获得对应的展示,反而让这份文件失去意义。第二,它会给站点带来错误的期望——你以为自己配置了加速通道,实际上配置的是一份不被采信的清单,真正该做的内链、结构、内容质量工作反而被跳过了。
正确的心态是:新闻 sitemap 是新闻发布者的专用通道,不是收录加速器。 如果站点不是新闻发布者,需要解决的是发现与质量问题,看 网站收录指南。
五、通用纪律
5.1 loc、lastmod 与两个上限
三种扩展共享同一套底层规则,这部分不因扩展而变。
<loc> 必须是绝对 URL,包含协议与主机名,且是最终地址而不是会跳转的地址。扩展里的媒体地址同样如此。
<lastmod> 必须真实,它表示页面最后一次实质性变更的时间。需要注意的是,视频扩展有自己的发布时间字段,两者不要混用:lastmod 描述页面,发布时间描述视频。
两个上限是协议事实:单个 sitemap 文件最多 50,000 条 URL,未压缩大小不超过 50MB。达到任一上限就要拆分,再用 sitemap index 汇总。带媒体扩展的文件通常比纯 URL 文件大得多,所以 50MB 往往先到——按视频数量估算会比按 URL 数量估算更准。
5.2 放进去的 URL 必须可访问且可索引
这条看起来最基础,违反得却最多:sitemap 里列出的 URL 和媒体地址,必须返回 200,且必须允许被索引。
三类违反最常见。媒体文件本身设了 noindex 或需要鉴权,例如放在需要登录的存储里、或者被防盗链策略拦掉;sitemap 里的媒体地址返回 30x 跳转,尤其是图片经过处理后地址变了而 sitemap 没跟着改;页面上允许索引但媒体所在目录被 robots.txt 屏蔽。这三种情况都会让扩展失效,而且从 sitemap 报告里不一定看得出来,需要单独核对。
如果媒体是通过 CDN 分发的,还要注意边缘层是否会改变这些地址的行为,这一点与 CDN 与 SEO 里讲的「爬虫拿到的可能不是正文」是同一类问题。
六、验证
6.1 sitemap 报告与媒体索引报告
验证要分两步:先确认文件被正确读取,再确认媒体被正确处理。
第一步看 sitemap 报告:文件是否可读取、是否解析成功、已处理多少条 URL、有没有字段级错误。媒体扩展的字段错误通常在这里暴露,例如缺少必需字段、地址格式不合法。
第二步看媒体相关的索引报告:图片与视频分别有多少被索引、有多少因为质量或技术原因被排除。这两份报告的读法与「已发现但未编入索引」的处理思路相通,见 Search Console 使用指南。
6.2 单页的富媒体测试
报告给的是整体状态,单页的问题要靠单页测试。挑几个重点页面,用富媒体结果测试工具检查:结构化数据是否被识别、必需字段是否齐全、缩略图是否可访问、时长与实际是否一致。
这一步的价值在于把「sitemap 层面正确」与「页面层面正确」分开。两者经常只有一边是对的:sitemap 写得很规整,页面上的结构化数据缺失;或者页面结构化数据完整,sitemap 里的地址已经过期。两处都过一遍,才算验证完成。
七、五个常见错误与检查清单
7.1 五个常见错误
- 把缩略图地址当播放页地址填。 字段含义不同,填错之后展示会异常或直接失效。
- 媒体文件本身设了
noindex或需要鉴权。 声明了媒体却不让访问,扩展等于零。 - sitemap 里的媒体地址返回 30x。 通常来自图片处理或存储迁移后地址变更,而 sitemap 没同步。
- 视频时长与实际不一致。 展示信息与实际内容不符,轻则被修正,重则失去展示资格。
- 把新闻 sitemap 当通用加速器。 适用范围不符,配置了也不会获得对应展示。
7.2 检查清单
- 基础 sitemap 的规则仍然成立:无 404、无
noindex、无被屏蔽 URL、lastmod真实。 - 需要扩展的页面已经识别出来:独立图片页、图库页、视频页、新闻页。
- 图片与媒体地址都是绝对 URL,且与页面上实际引用的地址一致。
- 视频扩展的四类必需字段齐全,时长与发布时间与实际一致。
- sitemap 与
VideoObject两处的信息一致,没有互相矛盾的字段。 - 新闻扩展只用于新闻类内容,且时效窗口与条数上限按当前官方文档执行。
- 单个文件未超过 50,000 条与 50MB,超出部分已由 index 汇总。
- 所有列出的媒体地址返回 200、可公开访问、未被 robots 屏蔽。
- sitemap 报告无解析错误,媒体索引报告已建立基线并定期复查。
7.3 上线顺序
顺序上先做「能被访问」再做「能被理解」。也就是说,先确认媒体地址全部返回 200、可公开访问、未被屏蔽,再把字段补齐。顺序反了会出现一种尴尬局面:字段写得很完整,报告显示一堆错误,最后发现是地址本身不可访问。
第二件优先的事是视频的双重配置:sitemap 与结构化数据同时到位,且信息一致。这是三种扩展里唯一需要两处协同的,也是最容易出现「一半正确」的地方。图片扩展的投入可以往后放——它的收益与图片的自然可发现性成反比,很多站点做完基础核对就够了。整体上线前,与 技术 SEO 检查清单 里的抓取与索引项一起过一遍,能挡掉大部分基础错误。
来源:16IDC 原创,文中涉及的抓取与索引行为、SERP 展示机制与 sitemap 协议以 Google Search Central 官方文档与 sitemaps.org 协议为准。
代码示例
示例一:声明图片与视频命名空间并挂载条目
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:image="http://www.google.com/schemas/sitemap-image/1.1"
xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
<url>
<loc>https://example.com/blog/video-guide</loc>
<image:image>
<image:loc>https://cdn.example.com/img/video-cover.jpg</image:loc>
<image:title>站点结构导览封面</image:title>
<image:caption>三分钟了解目录层级</image:caption>
</image:image>
<video:video>
<video:thumbnail_loc>https://cdn.example.com/img/thumb.jpg</video:thumbnail_loc>
<video:title>站点结构导览</video:title>
<video:description>讲解目录层级与内链设计。</video:description>
<video:content_loc>https://cdn.example.com/video/guide.mp4</video:content_loc>
<video:duration>180</video:duration>
</video:video>
</url>
</urlset>
第一段把媒体信息声明在页面条目内部,爬虫不必渲染页面就能建立媒体与页面的对应关系。
示例二:新闻条目与上线前的双重校验
# 新闻扩展需要单独声明 news 命名空间:
# xmlns:news="http://www.google.com/schemas/sitemap-news/0.9"
# publication_date 用 ISO 8601,且与页面可见发布时间一致
# 先校验结构
xmllint --noout --schema \
https://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd \
sitemap-media.xml
# 再确认线上可访问
curl -sI https://example.com/sitemap-media.xml | grep -Ei '^(HTTP/|content-type)'
# 统计条目数,避免误删或重复
curl -s https://example.com/sitemap-media.xml | grep -c '<url>'
第二段用 schema 校验与状态码检查兜住上线前的格式问题。
社区与资源
官方文档与社区
- Sitemap 协议 — 根节点、命名空间与基础元素的权威定义。
- 图片 sitemap 文档 — 图片扩展的必备字段与可选字段说明。
- 视频 sitemap 文档 — 缩略图、播放页与时长字段的要求。
- 新闻 sitemap 文档 — 适用范围、发布时间与站点资质要求。
学习资源与工具
- 构建 sitemap 指南 — 单文件上限、索引文件与提交方式。
- 大型 sitemap 说明 — 按 50000 条或 50MB 拆分与分片管理。
- Bing 网站管理员指南 — 另一家主流搜索引擎对 sitemap 的要求。
- sitemap 相关问答 — 命名空间、编码与校验报错等实际问题。
原文来源:16IDC ↗