Googleにインデックス登録されない問題【サーチコンソール】

知って得する!
Amazonお得情報まとめ【無料キャンペーン・セール・サブスク】2021年10月24日 更新 Amazonお得情報の記事など有益な情報をまとめました。使えば使うほど得する!(随時更新) 【今だけ! ポイント2倍還元キャンペーン 開催中(10/28まで)】 キャンペー...
祈り

ブロガーにとってGoogleは生命線。唯一神。ゴッド!

記事を書いてもインデックスしなけりゃ読んでもらえない。すなわちデッド!

ブログ界に激震が走る。7月辺りからGoogleのサーチコンソールが更新されにくい状況が続いている。ご多分に漏れず当サイトも結構なダメージを受けている。今日はこの件について現状と自分が行った対策を書いてみる。

(インデックス:検索エンジンに記事を登録すること)

目次

当ブログの現状

現状

サーチコンソールのデータによると、記事数44に対して12記事が弾かれている。

確認するには「カバレッジ」→「検出 – インデックス未登録」

ここに表示されているURLが、インデックスされていないページ。

インデックス未登録

 

当ブログで異変に気づいたのが8月22日。これを書いてる時にはすでに対策を施してしまった後なので、その記事がどれだったのか失念してしまった。確かこの記事がインデックスされなかったのが発端だったと思う。

 内容的にTips記事となるので、ひょっとしたら他サイトと被る内容かもしれない。しかし書いてあるデータや内容は100%自分が検証した自分の主観によるもの。

こういった記事を書く際、事前に他サイトのリサーチから始めてしまうと無意識でも影響を受けてしまう。だから俺は必ずまっさらな状態から書き始める。

書き終わった後にデータの信憑性を確認するために他サイトの記事をチェックしたりはするけど、基本的にそれありきで書きはじめる事はしない。

だからこれをパクリ記事と認定されたら俺はもう成すすべがない。だけどCopy Content Detectorでチェックしたところ「良好」だったので心配には及ばない(はず)。

記事のボリューム的には4,000文字以上あるので少なくはないと思う。加えて画像も潤沢に貼り付けているので、それなりに見応えある内容だと自分では思ってる。

「需要」や「価値」を問われると何も言えないのは正直なところだけど、それを言うなら明らかに需要や価値がないのにインデックスされた記事はいったい何なのだ・・・

これとか・・・

これ

実際の流入は

Windows11

旬な記事(Windows11関連)はそれなりに自信があって出しているのだけど、ことごとくGoogleにはインデックスされていない。

とある記事について、深夜の3時にWindows Updateが来たので検証し、寝ることを諦めて必死で書き上げた。最速とは言わないまでも明らかに他よりも早い段階で世に出たはず。少なくとも日本国内では。

結果、Googleにインデックスしてもらえず直接の流入はほぼ無かったものの、Twitter、Bing経由でそこそこ流入があったので少しは救われた。

Bing

Bing

当たり前だけど出来ることはすべてやるのが自分の信条なので、Bingも早い段階で登録して活用している。他のサイトではあまり聞かないが。

Windowsネタを扱う以上、マイクロソフトの検索エンジンを蔑ろにする理由はない。Windowsを使っていればデフォルトはIEあるいはEdgeなわけで。

ただしAppleの 信者 お客様は基本的に乗ってこないので割り切りは必要。

検索クエリもGoogleと違ってWindows関連がダントツ。絶対数は少ないが、少なくとも俺とは相性がいい。Bingたんマジ天使。

Twitter

Twitter

それとTwitterね。

俺はまだSNSで交流するタイミングではないと思ってるので、記事の告知しかしていない。当然ツイートのRTやFavをしてくれる人も少なくなってきた。記事の告知ツイートをしても最近は反応ゼロなことも多い。

それでもいつもFavくれる人ありがとう! ちゃんと見てる😊

ところで「反応がないのにどうして毎回Twitterで告知するの?バカなの?」と思う人も居るだろう。しかしそれにもちゃんとした理由がある。

この画像を見てほしい。RTもFavもゼロだったツイートに関しての通知。

ツイートの反応

察しの良い人ならもう分かるかと。他の記事でも書いたと思うけど、今はTwitterで検索する人が多い。アナリティクスを使いこなせていない俺でさえ、データを見たらそのぐらい分かる。

最近の人たちはTwitterでググる(?)のだ。

フォロワーに届いていようがいまいが、それよりも重要なことは発信すること、検索に引っかかることだ。トレンド記事なら尚のこと。

フォロワー

世の中には理解が難しい、不可解なことがままある。「記事の告知をしたらフォロワーが減るからやらない」と言う層が一定数いる。

それはフォローを外される程度の記事しか書いていない自覚があるのか。そもそもそのぐらいで外されるフォロワーを囲う意味があるのか?君は何のためにTwitterやってるのか?と問いたい。

SNS村に揉まれる人の多いことおおいこと。

話を戻そう。Googleが現在のインターネットの核になっているのは紛れもない事実。いちばんに目を向けるべきはそこ。だからといって視界をGoogleに完全に奪われてしまっているのは、それはそれで大きな機会損失につながる。これに早い段階で気づけたのは収穫。

情報を整理

情報

さて、この問題をTwitterで検索してみるとあちらこちらで悲鳴が上がっている。国内外問わず、だ。

件のGoogle側からは全くアナウンスがない。なので様々な憶測や推論が飛び交っているが、すべて根拠や裏付けの取れたものは存在しない。

ここぞとばかりに自称「SEO専門家」の発言を鵜呑みにして、RTファボ爆撃しまくっている人が居るがそういうのは止めた方がいいと思う。

ネット上の比較的大きな声をまとめるとこんな感じ。

  • 多少の前後はあるものの、発症は7月頃?
  • クロール頻度が明らかに落ちている?
  • サーバーの負荷を避けるためにクロールが後回しになっている?
  • 発症は弱小サイトのみで大手はほぼ影響ない?(ドメインパワー)
  • コンテンツの質が低いから?
  • ボリューム(文字数)が少ないから?
  • 内部リンクの構造に問題があるから?
  • サイト全体の品質の問題?
  • 投稿して早い段階でインデックスされなければ以降ずっとインデックスされない?
  • めげずにひたすら記事を書き続けると一緒にインデックスされることがある?
  • URLを変更するとインデックスされた事例が多い?(パーマリンク・URLスラッグ)

他にもあるけどザッと見てこんな感じの意見が多い。

どれもそれっぽいし、どれも根拠がない。うーむ困った。

クロール頻度が明らかに落ちている?

クロールリクエスト

当サイトの履歴を見てみると、多少の波はあるもののクロールリクエストの中央値自体は微増している。

サーバーの負荷を避けるためにクロールが後回しになっている

「カバレッジ」→「検出 – インデックス未登録」ここに表示されているURLの「前回のクロール」から日付が経っていれば、さすがに後回しされているとしても、読みにこない理由にはならない。

それ以降に投稿した、後出し記事がインデックス登録されているのはいったい何?

発症は弱小サイトのみで大手はほぼ影響なし?(ドメインパワー)

確かに駆け出しサイトやドメインパワーが低いうちはGoogleに見つけてもらいにくい。

しかしそれまで普通にインデックスされていたサイトが急にインデックスされなくなる理由にはならない。というか、見つけてもらえないなら「XMLサイトマップ」やクロールリクエストするシステムは何?飾り?

コンテンツの質が低いから?

ボリューム(文字数)が少ないから?

この2つはあるかもしれないが俺の肌感では上に書いたレポートのように、明らかに需要がなくてボリュームが少ない記事がインデックスされているので当てはまらない気がする。

内部リンクの構造に問題がある?

リンク構造

ここでいう「内部リンク」がどういった状態のことを指すのか分からないけど、WordPressの場合は自動で「関連記事」への表示や「人気記事」への誘導など内部リンクを張り巡らす機能が備わっているので、外から見ていわゆる記事が「孤立した状態」にはなりにくい。

ほとんどの場合、記事を投稿すればトップに表示される設定になっていると思うので、リンクが皆無といった状態にはならないはず。クローラーだってドメインのトップページは最優先で周るだろうし。

サイト内回遊率を上げる目的のリンクとなれば話は別だが、それが今回の件と直接関係しているとは思えない。ちなみにこの説を検証するため、同カテゴリの閲覧数が多いページのいくつかからリンクを張り巡らす作戦を実行してみた。

数日経ってGoogle検索で表示されたのは、その閲覧数が多い記事内に貼られたリンクが参照されただけ。間接的に表示されたということにはなるが、目的の記事そのものがインデックスされることは無かった。

ちなみにそのインデックスされなかった記事のPVがリンクを貼った記事のPVを追い抜いて、勢いが収まらないというのに未だインデックスされない。たぶんPV数もあまり関係していないのでは?

それより何より、明らかに当サイトでいちばん需要が低いであろう、内部リンク皆無の記事がGoogleにインデックスされているのだから関係ないな。

これね

サイト全体の品質の問題?

それもあるかもしれないが上のドメインパワーと同じく、それまで普通にインデックスされていたサイトが急にインデックスされなくなる理由にはならない。足切りされたというならもう降参するしかないが(苦笑)

投稿して早い段階でインデックスされなければ以降ずっとインデックスされない?

めげずにひたすら記事を書き続けると一緒にインデックスされることがある?

投稿して1~2日でインデックスされなければ、それ以降インデックスされないのはあるかもしれない。

長期的な動きを見るには期間が足りないのでなんとも言えないけれど、少なくとも自分のブログで動きを見守っている分には一切変化がなかった。

ここ最近、毎日更新を続けていたが状況は変わらず、インデックスされない記事が増えていくばかりだった。

「クロール済 – インデックス未登録」「検出 – インデックス未登録」の違いは?

これについてGoogleが明確な解説をしているソースが見当たらない。あるのはサーチコンソール内のヘルプの一文のみ。

クロール済み – インデックス未登録: ページは Google によりクロールされましたが、インデックスには登録されていません。今後、インデックスに登録される可能性がありますが、登録されない可能性もあります。この URL のクロールのリクエストを再送信する必要はありません。

Search Console ヘルプ

検出 – インデックス未登録: ページは Google により検出されましたが、まだクロールされていません。これは通常、Google が URL をクロールしようとしたものの、サイトへの過負荷が予想されたため、クロールの再スケジュールが必要となった場合です。そのため、レポート上で最終クロール日が空欄になっています。

Search Console ヘルプ

これだけしかない。これ以外はどのサイトも言ってることがバラバラ。まったく見当違いなことを書いてるサイトもあった。

自分なりに統計したデータから察するに以下のような違いがあると思われる。

  • クロール済 – インデックス未登録
    クロールはもちろん済んでおり、ページの内容まで精査された上でGoogleがインデックスする必要はないと判断したページ。これには、過去にインデックスされていたが検索結果から取り下げられたページも含まれる。
    内容がGoogleの方針に準拠していないのでリライトで復活する可能性はある。逆に言うとそれ以外では復活しない可能性。
     
  • 検出 – インデックス未登録
    「sitemap.xml」や「Feed」あとはクロールリクエストなどによってGoogleはページの存在を認識しているが、内容の精査にまでは至っていないページ。
    これはリライト云々以前に、Googleに読んでもらえていない。

もちろん今回の問題は後者の「検出 – インデックス未登録」だ。

読んでもらえていない以上、内容やリライトでどうにかなる問題でもないというのが現時点での答えになってしまう。

もちろん読んでもらえない理由があるのかもしれない。だから「自分に何かできることはないか?」「思いつくことはやってみよう」というのがこの記事の趣旨。

サイトの評価を上げる

直接的にできることはないので、評価を上げるというよりも「下がる要素を排除する」という考え。

  • ページの表示スピード
  • 広告の最適化
  • カバレッジの問題を解決

「ページの表示スピード」と「広告の最適化」

Page Speed Insights

これについては相関する問題なので同時に考えなければいけない。

そもそも、無駄に重いプラグインやカルーセルなどのJavascriptを使用していなければ、広告以外にサイトを重くする要因は考えにくい。

実際、当ブログも広告を全て外した上でサイトスピードを計測してみると評価は「高速」判定された。なので、広告をいかに少なく効果的に配置するかがサイトスピード向上の鍵となる。

とりあえずアンカーなどの自動広告は外した。そもそも広告単価が下がるし、ウザがられて離脱率が上がってしまっては元も子もない。

それと記事内広告は要らない。結局のところクリック率が高いのはページ上部のタイトル周辺と記事最後尾という鉄板に落ち着く。先人の言うことには根拠がある。

「サイドバー」については、そもそもスマホでは存在が消される。

あと、記事を読んでいるときは特別な理由がない限りサイドバーに目が行かない。よってサイドバーの広告はお守り。

それと広告主やAMPによってバナー表示の重さが違う。なんだかんだでGoogleアドセンスはJavascriptの整形や処理さえキチンとしてあげればそこまで重くはない。(遅延表示など)

俺が試した中でいちばん重かったのがAmazon本家のバナー(新しいギフト券のやつ)あれは遅延などではどうにもならない。サイトのためには貼りたくないけど貼らないと収益に繋がらない両刃の剣。これに関して不思議と情報が出回ってないのだけど、誰も気付いてないわけがない。

まさか握らされてるのか?ボクも握らせて!(謎)

カバレッジの問題を解決

カバレッジの問題

カバレッジに表示されているページや要素、問題点に関してはすべてGoogleは把握しているはず。カバレッジに表示すらされていない問題は、そもそも技術的要因がサイト自体に発生している。

Googleによると、カバレッジで特に「エラー」表示されていないものは問題ないという認識で良いらしい。上の画像は過去にエラーが出ていたが現在は対処済の要素。「合格」であれば問題ない。

当サイトでは「クロール済 – インデックス未登録」に22件の問題が表示されている。

クロール済 インデックス未登録

内容を覗いてみると、すべて末尾が「Feed」と「Atom」のURLだ。結論から言うとこれらはGoogle的には「問題なし」とされていて、FeedもAtomもサイトの更新通知に使われるのでこれを塞いでしまうことはGoogleも非推奨としている。

なので「クロール済 – インデックス未登録」のなかにFeedとAtomのURLがある場合は放置で構わないそうだ。

しかし見た目に「問題」のように映るのは気持ちの良いものではない。これをクリアするにはFeedに「noindex」属性を付与すれば良い。

以下を「functions.php」に記述すれば「クロール済 – インデックス未登録」から徐々に時間を掛けて「feed」と「atom」は消えていく。ただ、無理してやる必要はない。あくまで気持ちの問題。

// Feedにnoindexを付与する
add_action('template_redirect', function(){
    if ( is_feed() && headers_sent() === false ) {
        header( 'X-Robots-Tag: noindex, follow', true );
    }
});

動作確認はFeedページを開いてブラウザの検証モードで。

noindex

「x-robos-tag: noindex」の表示を確認。

URLスラッグの変更(リダイレクト)

Redirection
Redirection

これはなるべくやりたくなかったが、背に腹は代えられない。

URLを変えるとインデックスされたという声がそれなりに上がってるので、とりあえず倣ってみることにした。

ページのURLが変わるということは、そこまでのSEOがゼロ(振り出し)に戻ることになる。だから旧URLからのリダイレクトは必須。

「そもそもGoogleにインデックスされてないんだからSEOもクソもないでしょ」という人はこの記事をもう一度頭から読んだ方がいい。

で、リダイレクトは以前に問題になったことがあるので俺はあまり使いたくない。いちおう解決はしてるし、原因はサーバー側のキャッシュだったので今は無効にしてるから恐らく大丈夫・・・

URL

それより301リダイレクトを張りまくることでURLの管理が複雑になるのが嫌だった。プラグイン「Redirection」を使うので、勝手にやってくれるといえばそうなのだけど、URLの変遷が把握できなくなることが基本的に嫌。

今後トラブルが起きなければ気にする必要はないのだけど、何も起きない保証はどこにもない。俺は基本的にブラックボックスというものが嫌い。全部見えていないとイヤ。

サーバーを引っ越しするとなったときどうする?とかいろいろ考えてしまう。が、とりあえず今は考えないことにする。

ということで問題の出ていた12記事は、すでにURLを変えてリダイレクトで旧URLからも飛べるように設定してある。ついでに微妙に記事タイトルを変更したのと、投稿日時を本日にしておいた。

恐らくGoogleにはバレてると思うけど、新たに投稿した新記事として認識してもらうため。

「sitemap.xml」も一度消して再登録し直した。URL検査からインデックスリクエストも申請しておいた。結果が出るには数日掛かると思うのでこのまま様子を見る。

結果は後日。

 

【追記】9月22日

この記事を書いた後、情報収集しながら思うところがありちょっとした施策を仕込んでみた。これがプラスに働くかどうかは少し時間が経たないと分からないけど、追って記事を書く予定。

↓続きです↓

 

目次
閉じる