有个很简单的自测方法：把浏览器的 JavaScript 关掉，重新打开你的官网。如果页面还是完整的，说明抓取没问题；如果大片空白、只剩导航和页脚，那 AI 和搜索引擎看到的跟你看到的就不是同一个东西。
四类最容易丢失的内容
一、靠 JavaScript 渲染的内容
现在的建站方式里，前端框架渲染的页面很常见。这类页面的 HTML 源码里只有一个空的容器，内容要等脚本跑完才出现。搜索引擎的处理能力在提升，但 AI 的抓取工具不一定跟得上，尤其是那些轻量的抓取程序。
判断方法：右键查看网页源代码（不是「检查元素」），搜索页面上某句正文，搜得到就说明在 HTML 里，搜不到就是脚本渲染的。
二、折叠内容
「点击展开」这种交互在技术文档、FAQ、参数表里很常用。问题在于部分抓取工具不会执行点击，折叠区域的内容直接被跳过。
处理方式：重要的信息默认展开，次要的再折叠。判断标准是——如果这段内容是你希望 AI 复述的，就别折叠。
三、轮播图里的非首屏内容
首页轮播的第 2、3 屏，很多模板在初始 HTML 里根本不输出，等切换时才加载。结果是你在第 2 屏放的核心业务介绍，抓取时完全不存在。
建议：轮播只用于视觉，别把关键信息放在第 2 屏以后。或者改成不需要切换的静态区块。
四、图片里的文字
设计感强的页面喜欢把标语、参数、服务流程做成图片。人看着没问题，抓取时等于空白。虽然现在有 OCR，但识别率不稳定，且不会保留结构。
处理方式：图片照用，但文字层要有等价内容。至少保证 alt 属性和图片附近的正文能说明同一件事。
还有两种隐性丢失
被 robots 或安全策略挡住
有些站为了防止采集，加了比较激进的反爬策略，结果把正常的抓取工具也挡了。表现是日志里看不到 AI 爬虫的访问记录，或者访问全是 403。这种情况先去查安全策略和白名单，别急着改内容。
分页太深
内容藏在第 8 页之后的分页里，抓取工具通常不会翻那么深。重要的内容要能从首页或分类首页两次点击内到达。
怎么系统地检查
- 用纯文本方式抓首页、一个产品页、一篇文章页，看能拿到多少字
- 把拿到的文本和你肉眼看到的对比，列出缺失的部分
- 对缺失的部分判断原因：脚本渲染、折叠、轮播、还是图片
- 按影响排序修复，先修首页和主力业务页
性能也是抓取问题
加载慢的页面，抓取工具有时会超时放弃。特别是首屏依赖大量脚本和字体的页面。这不是「用户体验」问题，而是「内容根本到不了机器手里」的问题。如果页面要 8 秒才渲染完，抓取失败的概率很高。
常见问题
用无头浏览器渲染能解决吗
对搜索引擎有帮助，但对 AI 的轻量抓取工具不一定。更稳的做法是服务端直接输出正文，而不是依赖客户端渲染。这一点在改版选型时就该定下来。
要不要专门为爬虫做一个简化版页面
不建议。「给爬虫看的内容」和「给用户看的内容」不一致，是有明确风险的做法。正确方向是让同一份内容对两者都可用。