クローラについて

このページは、自治体ナビが運用するクローラ(自動取得プログラム)についての説明です。 サーバー管理者様のアクセスログに次の User-Agent が記録されていた場合、本クローラによるアクセスです。

JichitaiNavi/0.1 (+https://jichitai.omikuji.dev/about-crawler)

アクセスポリシー

• 取得対象: 公開されているHTMLページ(新着情報のRSS・一覧、およびサイト構造の索引化のための各ページ)。フォーム等の動的プログラムにはアクセスしません。
• robots.txt: 取得前に必ず確認し、Disallow・Crawl-delay を遵守します。
• 頻度・負荷: 同一ホストへのアクセスは常に直列・3秒以上の間隔(並列アクセスは行いません)。新着情報の確認は1日1回程度で、If-Modified-Since / ETag による条件付きリクエストを使用します。サイト構造の巡回は低頻度で、複数日に分けて少しずつ行います。
• 用途: タイトル・URL・掲載日・ページ階層などのメタデータの索引化。本文・画像の転載や再配布は行いません。

クロールの停止・除外のご依頼

貴サイトへのクロールの停止、掲載の除外をご希望の場合は jichitai@omikuji.dev までご連絡ください。速やかに対応します。robots.txt に User-agent: jichitai-navi 向けの Disallow を記載いただいた場合も自動的に従います。