格物志

格物志 › 词条库 › 行业实践

AI 爬虫

为训练或检索目的抓取网页内容的自动化程序（如 GPTBot、ClaudeBot 等）；站点可通过 robots.txt 声明欢迎或限制策略。

相关词条

答案引擎优化（AEO） · 零点击搜索 · AI Overviews · 精选摘要 · 知识面板 · AI 搜索 · 生成式搜索体验 · 实体 SEO