互联网正在经历一场悄无声息的剧变。在过去几十年里，传统的 robots.txt 扮演着网站“看门人”的角色，通过简单的命令告诉搜索引擎哪些可以抓取，哪些应该远离。然而，随着大型语言模型（LLMs）的爆发，旧规则开始失效。AI 爬虫不仅仅是在对网页建立索引，它们正在吞噬上下文、提炼知识，并在自己的封闭生态内直接向用户提供答案。这种行为彻底阻断了原网站的流量回流。
💡 形象化比喻：把你的网站想象成一家“米其林餐厅”。传统的谷歌爬虫就像是“美食路标牌”，专门在门口记录你们家今天有什么菜，然后把路人引流到店里消费。而新兴的 AI 爬虫则像是一个自带饭盒的“全能大厨”，每天准时把你店里钻研出来的核心配方和酱汁打包带走，回到他自己的工厂里批量复制，直接免费分发给路人。路人吃饱了，就再也不会进你的餐厅了。
面对这种流量空洞化的危机，llms.txt 应运而生。这并不是一个试图全盘封杀 AI 的激进产物，而是一个主动为 AI 适配的“说明书”。它采用极简的 Markdown 格式，放置在网站的根目录下（/llms.txt），专门为 LLM 提供结构清晰、高密度的信息摘要。
通过部署 llms.txt，站长能够化被动为主动：明确标注网站的核心 API 路径、关键文档入口，并对模型提供“引用首选项（Citation Preference）”。这在保护深层隐私的同时，确保了 AI 在提取答案时必须携带你网站的版权链接，重新打通流量回流的闭环。对于追求 Google AdSense 长期变现的技术站点而言，llms.txt 是防止核心资产被无偿吸干、同时获取高质量定向流量的底层防御武器。