爬虫是一种自动浏览网站的机器人，多数用于像Google一类的搜索引擎做网路索引。Google会派他们的爬虫去抓全世界的网站，让Google知道哪些网站有哪些内容。一个好的网站服务商会帮你网站做好sitemap.xml，它是一张地图让爬虫不会“迷路”，把你想要Google收录的网页都完整收录！

你知道吗？OpenAI的ChatGPT的训练资料，有约60%都是来自一个叫 CommonCrawl 的爬虫！所以可见，企业有一个网站是多么重要的！不然好像现在的Google搜索引擎，未来的ChatGPT，Bing Chat等AI都没有办法找到你的公司 ...

以上都是爬虫的正当使用范围，像电影里的则是用于抓取某某网站的用户公开资料如手机号，Email等用于不正当用途。

如果你想让你的公司在Google或ChatGPT被找到，欢迎点击以下按钮预约免费的专家咨询！