みなさんは自身のWebサイト（ホームページ）が正常に検索エンジンにインデックスされていますでしょうか？いままでに100以上の新規サイト制作、サイトリニューアルに携わってきましたが、「インデックスされないページが元々存在している」「なぜかインデックスをしてくれない」などの事象が起こることもありました。
Google Search Centralから興味深い動画が配信されましたので、その動画とサイト制作、Webサイト運用の現場でのことを合わせて紹介していきたいと思います。
※Google Search Centralが2024-08-21にX（旧Twitter）にポストした「Help! Some of my website’s pages appear as Discovered – currently not indexed on Search Console.」および「動画の「Help! Google Search isn’t indexing my pages」を元に記事を作成しています。
Google Search Console(グーグル サーチコンソール)とは
Webサイトの運用に欠かせないGoogle Search Console（グーグル サーチコンソール）を使用されている方は多いと思います。もし、まだ利用されていない方がいたら利用するべきでしょう。
このツールは、Googleの検索エンジンへWebサイトのURLを認識させて、検索結果に表示してもらえるように登録を促したり、登録されているページを確認することが出来るツールです。
ページのインデックス登録とツール内には記載されていますね。
このツールでは登録されたページの「検索エンジンに表示された回数」「クリック回数」「クリック率」「平均掲載順位」の計測機能と、ページの登録状況の確認、登録できなかった理由（インデックスに登録されなかった理由）など内部的な要素を出力する機能を持っています。
企業のコーポレートサイト、商品・サービスの販売を目的としたECサイトなどの運営で困る事態の一つとして検索エンジンで検索しても表示されないことがあります。
多くの人に認識されず、URLを知っている人しか訪れないサイトではせっかくのWeb媒体を立ち上げた意味が薄れます。
今回はそのような事態を含めた事態をどのように回避するか。または、解決するかのヒントとしてください。
「検出 – インデックス未登録」の意味とは？
サイトのインデックス状態を確認するためにページのインデックス登録（インデックス作成内のページ）を閲覧することは少なくないと思います。
この時に「検出 – インデックス未登録」の表示を目にしたことがあるのではないでしょうか。
そして動画では「この件に関して最も頻繁に寄せられる質問の一つが、「Discovered– urrently not indexed 」というステータスです。」と語っています。
※日本のサーチコンソールでは「検出 – インデックス未登録」と表記
この状態は、Googleにページは検出されているが、クロールがされておらず、検索エンジンに登録がされていない状態を表しています。
この意味と対処法を動画で解説してくれていますので次の項目で記載していきます。
GoogleがWebサイトのすべてをインデックスすることはほぼない
動画では「何よりもまず、Googleがサイトのすべてのコンテンツをインデックスすることはほぼありません。」と述べています。
ある程度のページやコンテンツ数があるサイトでは「インデックス未登録」の状態が確認できるのではないでしょうか。
動画では続けてこのように述べています。
これはエラーではないし、必ずしも調べる必要のある問題でもない。この意味を理解するためには、Google検索を構成するシステムとプロセスの中でページがどのように進んでいくかを見ていく必要があります。
Googlebotとインデックス作成 一番初めに、GooglebotはどこかのURLを見つけます。それは例えばサイトマップであったり、リンクであったりする。
Googlebotは基本的に、このURLを後で訪問し、インデックスするURLのToDoリストに入れます。理想的な世界では、GooglebotはすぐにこのURLに取り掛かるでしょう。
しかし、あなた自身のToDoリストを見ればお分かりのように、それは常に可能というわけではありません。
これが、Google Search Consoleでこのような表示がされる最初の理由です。Googlebotは他のURLで忙しく、まだそのURLをクロールしていないだけなのです。
ですから、この問題を解決するには、もう少し忍耐が必要なこともあります。最終的には、Googlebotがクロールしてくれるかもしれません。
もし私のウェブページがインデックスされたままでクロールされなかったら？
もしクロールされずに 「検出 – インデックス未登録」のままだったら？それは通常、サーバーに問題があるか、ウェブサイトの品質に問題があるかのどちらかです。
上記の通り、多量のタスクがあって対応しきれない状況というのはコンピューターであろうと、人だろうと関係なく起きる事象です。
新規サイト、新規ページの場合はsitemap.xmlを送信、インデックスのリクエストなどを行って様子を見るものいいかもしれません。
事実、過去に携わったWebサイトで「検出 – インデックス未登録」が数日続き、急にクロールが頻繁に行われるケースがありました。
サーバースペックとクロールの関係
次に動画ではクロール時のサーバー負荷について語っています。
あなたがウェブショップを持っていて、1000の新しい商品を追加したとします。Googlebotはこれらの商品を同時に発見し、クロールしようとします。
しかし、これまでのクロールで、10以上の商品を同時にクロールしようとすると、サーバーが非常に遅くなるか、あるいは圧倒されることに気づきました。
サーバーに負担をかけたくないので、もしクロールするのであれば、1,000商品すべてを同じ1時間以内にクロールするのではなく、10商品ずつ数時間かけてクロールするなど、長い時間をかけてクロールすることになります。
つまり、1,000の商品すべてが同時にクロールされるわけではありません。そうなると、Googlebotはこれらの商品を巡回するのに時間がかかることになります。
クロール統計レポートとその中の返信セクションを見て、Googlebotがクロールしようとしたときに、サーバーの応答が遅かったり、HTTP 500エラーが出たりしていないかどうかを確認することは意味があります。
これは通常、ページ数が非常に多いサイト–たとえば数百万ページ以上–にのみ関係することですが、サーバーの問題は小規模なサイトでも起こりうることに注意しましょう。
この指摘はWebサイトの環境を定める際に、参考になるのではないでしょうか。
場合によってはランニングコストを最小にするために、月額ホスティングプランの低いサーバーを選択している場合があります。
アクセスが少なく、カタログ替わりに会社ホームページを表示させていた時代であれば、十分だったかもしれません。
このGoogle検索セントラルのページでもサーバーへの負担については記載があります。
サーバーに大きな負荷をかけることなく、1 回のアクセスでサイト内のページをできるだけ多くクロールすることを目標にしています。Google のクロール リクエストへの対応で問題が発生した場合は、クロール頻度を減らすことができます。
どの程度をサーバー負担と判断するかのしきい値はわかりませんが、少なくともクロールに関わらずサイトへのアクセスが多くなった際に「サーバーの応答時間が長くなる」「サーバーが落ちる」「エラーが発生する」ような性能のサーバーは避けるべきでしょう。
特に集客、販売促進などを目的として、Webマーケティング、SEO対策、広告施策を行うことを前提としたWebメディアでは、想定集客＋αに耐えうるサーバーを選択が望ましいのではないでしょうか。
インデックスされないのは低品質なコンテンツの可能性
コンテンツの品質については、何年も前から言われ続けているので、いまさら？と思われるかもしれません。
動画でも「低品質なページは削除」とインデックスから削除することを言及しています。
When Google Search notices a pattern of low-quality or thin content on pages, they might be removed from the index and might stay in “Discovered.”
また低品質なコンテンツを含むURLのパターンを検出した場合は、これらのURLを完全にスキップ、または「検出」のままにする可能性があるそうです。
事実「検出 – インデックス未登録」または「クロール済 – インデックス未登録」対象となるページは「タグページ」「アーカイブページ」「デジタルカタログ」「デジタルブック」「コンテンツが少ないページ」が多く目にする機会があります。
これらのページ以外で低品質と判断されているのではないかと懸念がある場合は「コンテンツの見直し」「内部リンクで他のコンテンツ、ページとの関連性を示す」ことを動画では推奨しています。
最後に
動画では最後にこのように語られています。
要約すると、ほとんどのサイトにはインデックスされないページがあり、それは通常問題ありません。
インデックスされるべきページがあると思うのであれば、「検出 – インデックス未登録」にとどまっているページのコンテンツの質をチェックすることを検討すべきです。
いかがでしたでしょうか。この内容は動画で紹介されておりこちらから閲覧することが出来ます。※Youtubeが開きます
すでに既知の内容ではありましたが、改めて把握すると、いままで見逃していた事柄に気づくこともあるのではないでしょうか。
※訳に誤りがありましたらご指摘いただけますと幸いです
