当ブログが12月5日頃から、突然Googleにインデックスされなくなりました。
Google Search Consoleで診断したところ「URL は Google に登録できません」「robots.txt にアクセスできませんでした」というエラーが表示されており、原因の切り分けを進めた末、ホスティングサービス提供元のQuicca Plus(クイッカプラス)に問い合わせることになりました。
同じような状況で困っている人もいるかもしれないので、発生から解決までの一連の流れをまとめておきます。
関連記事：無料で快適！シンフリーサーバーの特徴とブログ運営のメリット
Googleにインデックスされない問題が発生
12月5日頃からアクセスが急に激減し、何事かとサーチコンソールを確認したところ、Googlebotがrobots.txtにアクセスできていないことが判明しました。結果として、インデックス済みのページがごっそり減るという最悪の事態に。
以下がサーチコンソールの検索パフォーマンスの推移です。
いや、これヤバいでしょ…
Search Consoleの「ページ」レポートで確認すると、登録できない理由が「robots.txt によりブロックされました」ではなく「robots.txt にアクセスできませんでした」と出ているのがポイントでした。robots.txtの中身でブロックしているのではなく、そもそもファイル自体を取得できていない状態です。
Googlebotアクセス障害の原因
まずは自分側を疑いました。robots.txtの記述、WordPressの「検索エンジンがサイトをインデックスしないようにする」設定(noindex)、サーバーの管理コンソールなどをひと通り点検。URL検査ツールでクロールを試しても、やはりrobots.txtの取得でこけている状態でした。
ただ、ここ数か月はサーバーもWordPressも設定をさわっておらず、自分の環境をいくら見直しても原因が見当たりません。
そこで、当ブログのサーバーを管理しているクイッカプラスに問い合わせたところ、原因が判明しました。原因はクイッカプラス側のファイアウォール設定によるものでした。
Googlebotからのアクセスが「大量アクセス」または「攻撃」とみなされ、自動的に遮断される設定になっていたとのこと。これによってGooglebotのクロール要求がすべてブロックされ、robots.txtにすらアクセスできない状況に陥っていたわけです。ページ側のnoindexやrobots.txtの記述ではなく、サーバーの手前でGooglebotが弾かれていたのが真因でした。
クイッカプラスの対応
私が問い合わせた結果、クイッカプラスはこの問題を認識し、Googlebotのアクセスをファイアウォール上で許可するよう設定を変更してくれました。ただし、GooglebotのIPアドレスは固定ではなく随時変動するため、今後も100%遮断されない保証は難しい、とのことでした。
実際、GoogleはGooglebotのIPレンジを公開していますが、その範囲は定期的に更新されます。ファイアウォールでIPを許可する運用では、こうした変動に追従し続ける必要があるということですね。
「利用者から指摘されなければ気づかなかったのか？」と尋ねたところ、「ファイアウォールによる遮断は、外部からの過剰なアクセスによるサーバーの高負荷を避けるためにシステム側で自動的に行われるものなので、クイッカプラス側から能動的に気づくのは難しい状況だった」との回答でした。
今回の問題について
とりあえず、Google Search ConsoleのURL検査ツールから、あらためてインデックス登録をリクエストしました。ただ、再インデックスされるまでの期間や、そもそも元の検索順位に戻るのかは一切不明。この記事を書いている時点でアクセスはほぼ0に近く、正直かなりまいっています…
私は仕事も含めて、いろいろなホスティングサービスを使ってきました。エックスサーバー、さくらインターネット、GMO、CPI、NTT…その他、マイナーなサービスもろもろ。それだけ経験してきても、今回のような事例は初めてで、かなり焦りました。
今回は個人ブログの問題なので、私が我慢すれば(内心はかなり怒っていますが)丸くおさまります。ただ、これが企業案件で発生していたらと思うと恐ろしい…。とはいえ、クイッカのエントリープランは月額200円ほどの激安サーバーなので、割り切れと言われればそれまでではあります。
GMOのときも似たようなことを書きましたが、やはりホスティングは先々のことまで考えて選定しないと危ない、という事実(2回目)。
私が今まで使ってきたなかだと、やはり定番のエックスサーバー
かさくらインターネット
あたりが安心。本格的にビジネスで運用するのであれば、XServerビジネス
が安定です。
今回の件を教訓に、金額だけでなくサービスの中身まで含めてホスティングサービスを選定するよう気をつけていきます。
