Google Search Consoleでサーバーエラー(5xx)、インデックス登録・復旧方法を整理(Blogger障害)

2021年6月15日火曜日

Bloggerブログ

t f B! P L


本ブログですが、6月1日からGoogleインデックス登録でエラーが発生してました。

これにより、トップページがGoogle検索で表示されなくなり検索アクセスからの流入におおきく影響が発生しています。

本記事は備忘録もかねて、サーバーエラー5xxの復旧までに試したことをまとめました。

※6月16日早朝よりエラーは解消された模様で、現在は状況監視中となります。

Bloggerで障害!Google Search Consoleでサーバーエラー(5xx)が発生、復旧方法整理 

前提として、本ブログはBloggerというサービスを利用しています。

そして、Googleがサイト内にクロールやインデックスに関する問題を発見すると、サーチコンソールに表示されます。

逆に言うと、サーチコンソールに登録していないとエラー把握ができず、Google検索に影響する問題が発生しても気づくことができません。

※インデックスやクロールに関するエラーが出た場合、これらを解消しない限りページはGoogleに評価されず、検索順位に悪影響が及ぶ可能性があります


今回、Google Search Consoleに登録していたことで、早期にサーバーエラー(5xx)でインデックス登録が出来ない問題が発生していることに気づけました。

Google Search Consoleで問題発生!

リダイレクトエラー、サーバーエラー(5xx)検出

問題に気づいたのは、6月2日のことでした。
ブログ記事を投稿をして、いつものようにGoogle Search Consoleでインデックス登録しようとしたらサーバエラー(5xx)となり登録ができません。
発生したインデックスカバレッジとサーバーエラー(5xx)について調べてみたところ、
インデックスカバレッジのエラーとはURLがインデックスされていない状況になっていて、サーバーエラー(5xx)とはサイト内部でphpなどの不具合が原因になっていることが多いとのことでした。

リダイレクトエラーの内容

そこで、Google Search Consoleを調べてみると、トップページでリダイレクト エラーが発生してるのを発見しました。

※エラーの有無は、サーチコンソールのメニュー「インデックス」>「カバレッジ」で確認できます。また、画面に右上「最終更新日」時点のクロール結果が表示されるので、いつの状態か把握できます。

前回のクロール
2021/06/07 23:47:16
ユーザー エージェント
スマートフォン用 Googlebot
クロールを許可?
はい
ページの取得
失敗しました: リダイレクト エラー

直近でBloggerやGoogle Search Consoleで変更は行っていなかったので、
他の人も同じエラーが発生してないか検索してもこの時点では特に見つかりませんでした。


サーバー不可などで一時的に発生した可能性をかんがえ、対応を保留してましたが翌日も復旧せず。

サーバーエラー(5xx)の内容


数日後、新たなサーバーエラー(5xx)が発生し、Google検索のインデックス登録から除外されたページが増加しました。

クロール
前回のクロール
2021/06/13 22:31:41
ユーザー エージェント
スマートフォン用 Googlebot
クロールを許可?
はい
ページの取得
失敗しました: サーバーエラー(5xx)


本来、「エラー」は発生しません。
そのため件数に注目し、1件でもエラーが発生している場合、画面下部の「詳細」を確認して早期に対応すすめる必要があります。

原因切り分け、Blogger?GSC?

問題が発生シた場合、すぐに原因を突き止めることは難しいです。
ただ、どのような状況となり、各画面の状態を整理すると問題解決が進みます。

Bloggerなのか?GSCで発生した問題なのか?
切り分けを進めると、すべてのページがサーバエラー5xxとなっているわけでないことに気づきました。

クロール状況を見てみると、ユーザーエージェントがPC用GooglebotとなっていたWEBページは問題が発生してないこともわかりました。

Googleコミュニティや他の人のブログで類似事象が発生していないか調べると、Bloggerユーザ限定でちらほら発生していることを確認できました。


このことより、リダイレクトエラーとサーバーエラー5xxは根本原因は同じと判断。

想像されるのは、なんらかの理由でGoogle Search ConsoleのサーバからBloggerへのアクセス不可が発生。

そのため、検索インデックス登録に必要な情報を集められない状態となったと考えられます。

Googleコミュニティを調査

とはいえ、これ以上はどうしたら良いのか、検索しても原因がわからず。
途方にくれてしまいましたが、Googleのコミュニティを調べてみると、ちらほらと同じサーバーエラー5xxが発生しているとの報告があがってました。


このサーバーエラー5xxは世界中のBloggerユーザーで発生しており、エキスパートの方のコメントではBloggerサービスを提供しているGoogleの対応を待つ必要があるとのことでした。

Bloggerの追加対応で復旧!

とはいえ、日々ふえていくサーバーエラー5xx。
このまま放置しておくと、仮に復旧したとしてもGoogle検索のインデックス上位になるまで多大な時間がかかる可能性があります。

そのため、Bloggerの問題であるという前提で、いろいろ試しました。

robots.txtの削除:効果なし

Google Search Consoleのツールでrobots.txtのチェックを行った所、Not found404のエラーが発生。
※ただし、WEBブラウザからのアクセスは問題なく、robots.txtは正常表示。

そこで、Blogger設定を変更しオリジナルのrobots.txtを使わず、blogger標準のrobots.txtを利用。

このあと、Google Search ConsoleでWEBページの検証を行い、インデックス登録を行いました。
5日後に結果がとどき、「未修正の問題有り」とのことで、効果はありませんでした。

Bloggerテンプレートの復旧:効果なし

さらにテンプレート記載のHTMLに誤りがあった可能性もあったので、数ヶ月前のバックアップから復元してみました。

このあと、Google Search ConsoleでWEBページの検証を行い、インデックス登録を実施。

こちらは結果がすぐ通知され、Google Search Consoleからは変わらず「未修正の問題有り」とのことで、効果はありませんでした。

robots.txtの変更:効果あり?

次に、robots.txtの記載内容を見直しました。
詳細はhttps://tsuzukiku.blogspot.com/robots.txtにあるとおりとしました。
User-agent: Mediapartners-Google
Disallow: 

User-agent: Googlebot
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://tsuzukiku.blogspot.com/sitemap.xml

Bloggerテンプレートの最新版適用:効果あり?

さらにやれることとしては、テンプレートの最新化です。

テンプレートは無料のQooQを利用してますが、作者にて不具合修正が定期的に行われているので最新のテンプレートをダウンロードして適用してみました。

このあと、Google Search ConsoleでWEBページの公開URLの検証を行ったところ、エラーは無くなり正常となりました。
<ライブテスト結果>
URL は Google に登録できます
URL がインデックスに登録され、正規 URL として選択された場合、関連するすべての拡張機能とともに Google 検索結果に表示されます。


robots.txtの変更、Bloggerテンプレートの最新化のいずれかが効果があったかはわかってませんが、6月16日をもって無事復旧となりました。

※もしかしたら、同タイミングでGoogleがBloggerでなにか対応したのかもしれません。



さいごに

今回発生したサーバエラー5xxx、リダイレクトエラーですがBloggerやGoogle Search Console側から正式な不具合報告はアナウンスされていません。

これで完全復旧したのかはわからないため、検索してみた海外のスレッドで引き続き報告をまちたいと思います。
・Server error 5xxx
・How to fix server error 5xx shown on live test of search console?


とはいえ6月初日にエラーが発生したことから、サーバの設定変更をGoogle側で行ったことが原因と考えられます。

今回の障害でインデックス登録がされずアクセス数減少となってしまいましたが、一日でも早くGoogle検索で表示されるようになりアクセス数が戻ることをまちたいと思います。

検索

最新の記事