关于我们的抓取程序
如果访问日志中出现自称 WebIntelligence 的抓取程序，那就是 KANSOKU。说明它做什么、如何用 robots.txt 停止它，以及联系方式。
如果访问日志中的用户代理包含 WebIntelligence，那就是我们的软件。本页把这个抓取程序是谁、做什么、如何停止它，整理在一页里。
谁在读取
株式会社FID 运营的销售监测服务 KANSOKU。它读取客户登记的公开商品页，记录价格、商品名、在售状态以及页面上的卖家名称。
我们的用户代理中始终包含 WebIntelligence 这个名称（通常后面跟着版本号和联系网址，例如 WebIntelligence/1.0 (+https://kansoku.ai/bot)）。用浏览器读取页面时，为了读到与普通访客相同的页面，我们不替换普通浏览器的标识，而是在其末尾加上这个名称。 要停止我们，请为 User-agent: WebIntelligence 写规则（robots.txt 的组按这个名称匹配，不区分大小写）。
读取时遵守的事
以下各项在我们按网址加载页面时生效（抽取、监测扫描，以及用我们的浏览器 API 跳转到页面时）。
- 遵守
robots.txt。 每次加载页面都会对照robots.txt的规则，被禁止的路径不会被加载。robots.txt本身每小时重新读取一次。有User-agent: WebIntelligence组时按该组，没有时按User-agent: *组 - 保持间隔。 对同一站点的页面加载，每位客户之间至少间隔 1 秒。公布了 crawl-delay 的，以该值为下限
- 被拒绝就退让。 页面本身返回 403、429 或 503 时连同日期记录，连续被拒绝 3 次的监测来源会被停止
- 收到 429 就等待。 在
Retry-After所示的时间内（未给出时为 1 小时，限定在 60 秒到 24 小时之间），不从任何地址请求该主机的页面 - 不越过验证码和登录。 没有绕过验证码或登录的代码。监测只读取无账号访客能看到的内容；这是我们的方针，浏览器 API 并未在代码中强制执行
无法取得 robots.txt 时（5xx、无法连接、未在时限内响应），我们按「未公布规则」继续读取。取得失败这件事会记住 5 分钟，之后再去取。
如何停止
请在 robots.txt 中写入以下两行。从我们下一次重新读取 robots.txt 起（最迟约 1 小时后），就不再读取该站点。
User-agent: WebIntelligence
Disallow: /只想停止一部分时，请写出路径，例如 Disallow: /products/。
联系方式
如有 robots.txt 无法表达的情况或任何疑问，请写信至 [email protected]。
运营公司信息见基于特定商业交易法的标示，我们读取什么、如何读取见采集方针。
最后更新