ジミー検索

JimmySearchBot について

アクセスログに JimmySearchBot を見つけたサイト管理者の方へ。 何者で、何をしていて、どうすれば止められるかを書いています。

このbotは何者か

JimmySearchBot は、ジミー検索（BuildersLoop が個人で運営している検索エンジン）の収集botです。 日本語のウェブページを集め、検索結果に表示するために使っています。 集めたデータを第三者に販売・提供することはありません。

User-Agent

JimmySearchBot/1.0 (+https://jimmy.builders-loop.com/bot.html; jimmy@builders-loop.com)

ログでの判定は JimmySearchBot という文字列で行ってください。

User-Agent は誰にでも詐称できます。 robots.txt を無視する・極端な高頻度で叩いてくるといった、 下に書いた方針と食い違う挙動を見かけた場合、それは私たちのbotではない可能性があります。 その場合もログを添えてご連絡いただければ調べます。

何を集めるか

robots.txt を尊重します

ページを取りに行く前に必ず /robots.txt を読み、その指示に従います。

noindex を尊重します

次のいずれかが指定されたページは、索引に登録しません。

<meta name="robots" content="noindex">

または、HTTPレスポンスヘッダで:

X-Robots-Tag: noindex

なお googlebot など他のbotを名指しした指示は、私たちには適用しません （他社宛ての指示を勝手に自分のものとして解釈しない、という考え方です）。 私たちを名指しする場合は JimmySearchBot をお使いください。

アクセス頻度

集める量よりも、相手のサーバーに迷惑をかけないことを優先します。

項目値
同一ホストへの最小間隔1秒（Crawl-delay の指定があればそちらに従います）
同時接続同一ホストへは常に1本ずつ。並列アクセスはしません
タイムアウト20秒
エラー時指数バックオフで待機します（叩き続けません）

ジミー検索のデータの多くは、公開アーカイブ Common Crawl と Wikipedia の公式ダンプから取り込んだものです。この分については、 あなたのサーバーへのアクセスは一切発生しません。 アクセスログに残っていないページが検索結果に出てくるのは、このためです。

クロールを止める方法

robots.txt に次のように書いてください。 robots.txt のキャッシュは1時間なので、おおむね1時間以内に反映されます。

サイト全体を拒否する

User-agent: JimmySearchBot
Disallow: /

一部だけ拒否する

User-agent: JimmySearchBot
Disallow: /private/
Disallow: /search

拒否はしないが、もっとゆっくり来てほしい

User-agent: JimmySearchBot
Crawl-delay: 10

この例では10秒間隔になります。極端に大きな値（1日など）を指定された場合は上限（30秒）で丸めますので、 完全に止めたい場合は Disallow: / をお使いください。

収集は構わないが、検索結果には出したくない

そのページに noindex（上記）を指定してください。

自分のページがどう扱われているか見たい

URLを入れるだけで、索引に入っているか・検索結果に出るか・どう評価されているかを確認できます。 あなたのrobots.txtがこちらの収集を拒否している場合も、その場で分かります。

→ 掲載状況の確認

すでに集められた分を消したい

robots.txt で拒否しても、過去に収集済みのページは自動では消えません （以降の新規収集が止まります）。既存分の削除はこちらからお申し付けください。

→ 掲載削除の申請

URL単位でもドメイン単位でも受け付けます。削除すると同時に除外リストへ登録されるため、 以降そのURLが再び収集されることはありません。

連絡先

クロールに関する質問・苦情・削除依頼は、どんな内容でも受け付けます。 サーバーに負荷をかけてしまっている場合は、遠慮なくお知らせください。 ログ（日時・User-Agent・アクセス元）を添えていただけると原因を特定しやすくなります。