- Bloggerのダッシュボードにログインし、該当するブログを選択します。
- 左側のメニューから「設定」を選択し、その中から「クローラと検索の設定」を選択します。
- 「カスタムrobots.txt」セクションを見つけ、その横にある「編集」ボタンをクリックします。
- robots.txtファイルの編集画面が表示されます。ここで、カスタムのルールを追加したり、既存のルールを変更したりすることができます。
以下に一般的なrobots.txtのルールの例を示します:
User-agent: *
Disallow: /private/ # プライベートなディレクトリをクロールしない
Disallow: /admin/ # 管理者用のディレクトリをクロールしない
Disallow: /secret-page.html # 特定のページをクロールしない上記の例では、"User-agent: *"はすべてのウェブクローラーに対して適用されるルールです。"Disallow"はクロールを禁止するディレクトリやページを指定します。上記の例では、"private"と"admin"というディレクトリ、および"secret-page.html"というページがクロールされないように設定されています。
ただし、注意点として以下のことに留意する必要があります:
- robots.txtファイルは、ウェブクローラーが遵守することを期待するガイドラインですが、必ずしも全てのクローラーがこれに従うわけではありません。セキュリティ上の重要なデータはrobots.txtで保護しないでください。
- robots.txtファイルはパブリックにアクセス可能な場所に配置されるため、機密情報を含むべきではありません。
- ウェブクローラーはrobots.txtファイルを頻繁に読み込むわけではないため、変更を即座に反映することはできません。ウェブサイトのクロール頻度を変更したい場合は、そのウェブクローラーに対して直接指示を行う必要があります。
以上が、Bloggerでのカスタムrobots.txtファイル作成の基本的な手順と注意点です。自分のウェブサイトのニーズに応じて、さまざまなルールを追加または変更することができます。ただし、正しく設定するためには、ウェブクローラーの動作やrobots.txtの仕様について理解することが重要です。必要に応じて、ドキュメンテーションや専門家の助言を参考にしてください。