取得のボットについて
アクセスログに WebIntelligence と名乗る取得ボットが来たら、当社の KANSOKU です。何をしているか、robots.txt での止め方、連絡先を記載します。
アクセスログのユーザーエージェントに WebIntelligence が含まれていれば、それは当社のソフトウェアです。このページは、そのボットが何者で、何をし、どう止められるかを1枚にまとめたものです。
誰が読んでいるか
株式会社FID が運営する販売監視サービス KANSOKU です。お客様が登録した公開の販売ページを読み、価格・商品名・在庫状況・掲載している販売店の名前を記録します。
当社のユーザーエージェントには、必ず WebIntelligence という名前が含まれます（ふつうは版と連絡先の URL が続きます。例：WebIntelligence/1.0 (+https://kansoku.ai/bot)）。ブラウザでページを読むときは、人が見るのと同じページを読むために、ふつうのブラウザの名乗りを置き換えず、その末尾にこの名前を足します。 止めるときは User-agent: WebIntelligence に規則を書いてください（robots.txt の組は、この名前と大文字小文字を区別せずに照合します）。
読むときに守っていること
次のことは、ページを URL で読み込むたびに掛かります（抽出・監視の掃引・当社のブラウザ API でページへ移動するとき）。
robots.txtに従います。 読み込みのたびにrobots.txtの規則と照合し、禁止されたパスは読み込みません。robots.txtそのものは1時間ごとに読み直します。User-agent: WebIntelligenceの組があればそれに、無ければUser-agent: *の組に従います- 間隔を空けます。 同じサイトへの読み込みは、お客様ごとに最低1秒の間隔を空けます。 crawl-delay が公開されていれば、それを下限にします
- 断られたら引きます。 ページそのものが 403・429・503 を返したら日付とともに記録し、 3回続けて断られた監視の情報源は止めます
- 429 には待ちます。
Retry-Afterに示された時間（示されていなければ1時間。60秒〜24時間の範囲に収めます）、そのホストのページをどのアドレスからも読み込みません - CAPTCHA とログインは越えません。 CAPTCHA やログインを回避するコードはありません。監視はアカウントなしで見られる範囲だけを読みます。これは当社の方針で、ブラウザ API ではコードで強制していません
robots.txt が取れなかったとき（5xx・繋がらない・時間内に答えない）は、規則が公開されていないものとして読み進めます。取れなかったことは5分間覚え、そのあとまた取りに行きます。
止めるには
robots.txt に次の2行を書いてください。次に robots.txt を読み直したとき（遅くとも約1時間後）から、そのサイトを読みません。
User-agent: WebIntelligence
Disallow: /一部だけを止めるときは、Disallow: /products/ のようにパスを書いてください。
連絡先
robots.txt では伝えられない事情があるとき、またはご質問は [email protected] までお知らせください。
運営会社は特定商取引法に基づく表記に、何をどう読むかは取得方針に書いています。
最終更新