[{"data":1,"prerenderedAt":37},["ShallowReactive",2],{"req:\u002Fzehn\u002Fnews\u002Fwhy-not-ai3:{}:{}":3},{"msg":4,"code":5,"data":6},"操作成功",200,{"author":7,"content":8,"coverImage":9,"createBy":10,"createTime":11,"delFlag":12,"faqList":13,"id":17,"isTop":12,"lang":18,"newsType":19,"readMinutes":20,"relateNews":21,"remark":15,"slug":33,"sortOrder":15,"status":12,"summary":15,"tagList":15,"tags":15,"title":34,"updateBy":10,"updateTime":35,"viewCount":36},"刘老师","\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">这是最隐蔽的坑，也是我见过最多的误伤。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">很多网站为了屏蔽垃圾采集器，在robots.txt里写了\u003C\u002Fspan>\u003Ccode style=\"background-color: rgb(235, 238, 242); color: rgb(15, 17, 21);\">User-agent: *\u003C\u002Fcode>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">和\u003C\u002Fspan>\u003Ccode style=\"background-color: rgb(235, 238, 242); color: rgb(15, 17, 21);\">Disallow: \u002F\u003C\u002Fcode>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">。本意是拒绝所有爬虫访问全站。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">但这条规则对AI爬虫同样生效。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">发生了什么？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">GPTBot、ClaudeBot、PerplexityBot都会严格遵守robots.txt。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">你写了拒绝所有爬虫，它们就真的不来了。你本意是防垃圾采集，结果把AI也一并拒之门外。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">最可怕的是，这个设置是静默的。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">你不会收到任何通知，不会看到任何报错。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">你的官网在AI眼里，就是一个被明确标记为\"禁止访问\"的站点。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">为什么会出现这种误伤？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">因为robots.txt的语法是\"通配符优先\"。\u003C\u002Fspan>\u003Ccode style=\"background-color: rgb(235, 238, 242); color: rgb(15, 17, 21);\">User-agent: *\u003C\u002Fcode>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">的意思是\"适用于所有爬虫\"，\u003C\u002Fspan>\u003Ccode style=\"background-color: rgb(235, 238, 242); color: rgb(15, 17, 21);\">Disallow: \u002F\u003C\u002Fcode>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">的意思是\"禁止访问全站\"。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">这两条组合在一起，就是对所有爬虫关闭大门。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">写的人本意是防采集，但语法上把AI也一起防了。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">很多网站管理员写这条规则的时候，脑子里想的是\"防垃圾采集器\"，根本没意识到AI爬虫也会遵守。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">他们以为AI爬虫是\"高级爬虫\"，会有特殊待遇。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">实际上AI爬虫在robots.txt面前，和普通爬虫一样听话。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">为什么这条规则这么常见？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">因为很多建站教程、模板、插件默认就带这条规则。网站管理员可能根本不知道robots.txt里有什么，只是用了默认配置。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">或者几年前为了防采集加上了，后来忘了删。这条规则就一直在那里，静默地挡住所有AI爬虫。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">怎么检查？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">打开你的官网域名，在后面加上\u003C\u002Fspan>\u003Ccode style=\"background-color: rgb(235, 238, 242); color: rgb(15, 17, 21);\">\u002Frobots.txt\u003C\u002Fcode>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">。查看里面有没有\u003C\u002Fspan>\u003Ccode style=\"background-color: rgb(235, 238, 242); color: rgb(15, 17, 21);\">User-agent: *\u003C\u002Fcode>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">和\u003C\u002Fspan>\u003Ccode style=\"background-color: rgb(235, 238, 242); color: rgb(15, 17, 21);\">Disallow: \u002F\u003C\u002Fcode>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">的组合。如果有，而你又希望被AI收录，这就是一个必须立刻修复的问题。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">怎么改？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">明确允许主流AI爬虫访问。把\u003C\u002Fspan>\u003Ccode style=\"background-color: rgb(235, 238, 242); color: rgb(15, 17, 21);\">User-agent: *\u003C\u002Fcode>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">的规则细化，针对GPTBot、ClaudeBot、PerplexityBot等分别设置允许。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">或者直接删除全站禁止的规则，改为只屏蔽你真正想屏蔽的采集器。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">为什么这件事优先级最高？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">因为robots.txt是AI爬虫访问你网站的第一道门槛。这一关没过，后面所有优化都是白费。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">你的内容再好、结构再清晰、结构化数据再完整，AI根本进不来，一切等于零。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">修复时要注意什么？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">不要从一个极端走向另一个极端。不要直接把robots.txt删掉，那样可能真的引来垃圾采集器。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">正确的做法是精细化配置：允许AI爬虫，屏蔽你真正想屏蔽的采集器。每个规则都要有明确的目的，不要用通配符一刀切。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">修复后要注意什么？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">修改robots.txt后，AI爬虫不会立刻重新访问。各平台有自己的抓取频率和调度策略，可能需要几天到几周才能重新抓取。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">但修复是前提，不修复永远抓不到，修复后至少有了被收录的可能。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">怎么验证修复效果？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">修复后，在AI搜索里搜索你的品牌名、核心业务关键词，看AI的回答里有没有提到你。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">持续观察几周，如果开始出现你的品牌信息，说明修复生效了。如果还是没有，检查其他环节是否有问题。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cbr>\u003C\u002Fp>","https:\u002F\u002Fai.zhongenhn.xyz\u002Fprod-api\u002Fprofile\u002Fupload\u002F2026\u002F10\u002F04\u002F微信图片_20260930111944_45_13_20261004141458A005.png","admin","2026-10-04 14:18:09","0",[14],{"answer":15,"createBy":15,"createTime":15,"id":16,"newsId":17,"question":15,"remark":15,"updateBy":15,"updateTime":15},null,57,19,"zh-CN","官网方法","5",[22],{"author":7,"content":23,"coverImage":24,"createBy":10,"createTime":25,"delFlag":12,"faqList":15,"id":26,"isTop":12,"lang":18,"newsType":27,"readMinutes":20,"relateNews":15,"remark":15,"slug":28,"sortOrder":15,"status":12,"summary":29,"tagList":15,"tags":15,"title":30,"updateBy":10,"updateTime":31,"viewCount":32},"\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">我见过太多企业主，花大价钱做官网，设计精美、交互流畅、动效丝滑。人类访问体验极好。但AI来抓取的时候，转身就走。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">为什么？因为你的官网在AI眼里，是一个空壳。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">什么是\"空壳问题\"？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">现代官网为了交互体验，大量采用客户端渲染。页面初始加载时，HTML里只有一个空荡荡的容器，实际内容全靠浏览器执行JavaScript后\"画\"上去。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">人类访问时，浏览器完成了渲染过程，所以看起来一切正常。但绝大多数AI爬虫不执行JavaScript，它们只抓取服务器返回的原始HTML，看到的是一个没有内容的空壳。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">数据有多残酷？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">在一项持续27天的抓取测试中，GPTBot和ClaudeBot对纯HTML页面的抓取覆盖率是100%。对依赖JavaScript渲染的页面，覆盖率是零。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">Googlebot虽然具备渲染JS的能力，但对JS页面的抓取覆盖率也仅有2%。这意味着，即使你的官网在Google上排名很好，在AI搜索里也可能完全隐形。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">谁在受影响？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">所有用React、Vue、Angular等前端框架搭建的官网。所有依赖客户端渲染展示核心内容的网站。所有把公司介绍、产品参数、联系方式放在JS里动态加载的页面。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">这不是技术选型的问题，是认知盲区的问题。你做了一个给人看的网站，但AI只有一双\"文本眼\"。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">为什么企业主意识不到这个问题？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">因为官网在人类访问时表现完全正常。你打开网站，一切都在，内容完整，体验流畅。你自然不会想到AI看到的是另一番景象。而且传统搜索引擎的排名数据也在正常反馈，Google收录正常，百度排名正常，一切指标都告诉你\"网站没问题\"。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">但AI搜索是另一套体系。它不看你的人类访问体验，不看你的传统搜索排名，只看它自己抓到的原始HTML里有没有内容。没有内容，你就是隐形的。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">空壳问题的本质是什么？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">本质是\"渲染时机\"的错位。人类访问时，浏览器先拿到空壳HTML，再执行JS把内容画上去，整个过程几百毫秒，人类感知不到延迟。AI爬虫访问时，拿到空壳HTML后不会执行JS，直接开始解析，发现没有内容，转身就走。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">这个错位在传统搜索时代被Googlebot的JS渲染能力弥补了。但AI爬虫没有这个能力，也不打算在短期内具备这个能力。因为对AI厂商来说，执行JS抓取的成本太高，而纯文本抓取已经能满足大部分需求。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">空壳问题有多普遍？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">我接触过的企业中，超过一半的官网存在这个问题。尤其是近五年新建的网站，几乎全部采用前端框架，全部依赖客户端渲染。这些网站在传统搜索里可能排名不错，但在AI搜索里全部隐形。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">更麻烦的是，这个问题不会自己暴露。你的网站访问量正常，用户行为正常，传统搜索排名正常。没有任何数据告诉你\"AI看不到你\"。你只能主动去检查，才能发现这个问题。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">空壳问题和内容质量的关系是什么？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">空壳问题是\"能不能被读到\"的问题，内容质量是\"读到了值不值得引用\"的问题。两者是先后关系。空壳问题不解决，内容质量再好也没用，因为AI根本读不到。空壳问题解决了，内容质量才成为决定因素。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">所以优先级很明确：先解决空壳问题，再优化内容质量。不要本末倒置，花大量时间写优质内容，结果AI根本看不到。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">解法是什么？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">确保核心信息以服务端渲染方式直接输出。让AI爬虫拿到的原始HTML里，就包含公司简介、产品参数、联系方式等关键内容。技术细节交给工程师，但企业主必须知道：这个问题的存在，决定了你的品牌在新一代用户决策入口里是否可见。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cstrong style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">怎么验证解决效果？\u003C\u002Fstrong>\u003C\u002Fp>\u003Cp>\u003Cspan style=\"background-color: rgb(255, 255, 255); color: rgb(15, 17, 21);\">解决后，用禁用JS的方式打开官网，如果能看到核心内容，说明服务端渲染生效了。再用查看源代码的方式确认，公司简介、产品参数、联系方式直接存在于原始HTML中。两个方法都通过，才算真正解决了空壳问题。\u003C\u002Fspan>\u003C\u002Fp>\u003Cp>\u003Cbr>\u003C\u002Fp>\u003Cp>\u003Cbr>\u003C\u002Fp>","https:\u002F\u002Fai.zhongenhn.xyz\u002Fprod-api\u002Fprofile\u002Fupload\u002F2026\u002F10\u002F04\u002F微信图片_20260930111944_45_13_20261004140911A004.png","2026-10-04 14:09:33",18,"2","why-not-ai2","确保核心信息以服务端渲染方式直接输出。让AI爬虫拿到的原始HTML里，就包含公司简介、产品参数、联系方式等关键内容。技术细节交给工程师，但企业主必须知道：这个问题的存在，决定了你的品牌在新一代用户决策入口里是否可见。","官网设计得很好看，但AI就是不抓取，怎么办？能怎么优化？","2026-10-04 14:13:53",12,"why-not-ai3","如何让AI愿意抓取网站内容？robots.txt可能是在建站时设置的重大障碍！","2026-10-21 16:04:02",15,1794967314032]