先日から、Googleでsite:wantech.ikuto.comの結果がおかしな事になっている。
まだ不安定期っぽいので経過を正確にはメモっていないが、
まず、日本語ページからの検索で通常のキャッシュつきは約80ページほど、
8月のキャッシュが表示される「補足結果」が数十ページ、合計140ページぐらいになってた。
以前は、この検索方法では補足結果が表示されていなかったので、
補足こみでならインデックス増加、メインインデックス自体は減少って感じだ。
ウェブ全体からの検索では今まで通り、補足結果が出ないので、
キャッシュつき約80ページと、その他URLのみ表示のインデックス多数。

そんな感じだったのだが、今日見たらまた全然違う結果になっている。
日本語ページでもウェブ全体でも294件で補足結果ナシだ。
日付ページとかも拾われているところを見ると、これはおそらく補足クロールだな。
Googleは、メインでクロールするページを制限しているわけだが、
基準を満たさないページはそのメインクロールでは拾われず、
制限の緩い補足クロールでキャッシュされる。
で、キャッシュされてすぐはメインクロールか補足クロールかわからないけど、
2～3ヶ月たつと、検索したとき補足結果と表示されるようになる。
これほどサイトの隅々まで回っていくのは、この補足クロール以外あり得ない。
mt.ikuto.comも補足されてるから間違いないが、他の周辺サイトはまだ補足されていないので、
ちょうど今やってる所なんだろうな。
ちなみにいきなり増えたそれらのキャッシュは1月はじめから終わりまでバラついている。
かなりおおざっぱに、補足クロールは年に二回って事だろうな。

ただしGoogleの結果って、変化したと思ったら逆戻りってことも良くあるので、
気まぐれにまたガクっとインデックス減ったりするかもな。

とりあえず既にどうすれば良いかという結論は出ていて、
よそのサイトから非リンクを集めないと、毎月ペースでクロールされるページ数は増えない。
そのクロールから漏れたページは、年二回の補足クロールで拾われるのを待つ。
より検索エンジンに拾われたいページは、トップからリンクを張るなどし、
ただし限界を超えると必要なページが消えるので、そうならない様に注意する。
このことについてはこれ以上追跡しても仕方ないだろう。

ちなみに、これほど隅々までキャッシュされておきながら、
Google Sitemapsに書いた隠しページは出てこなかった。
この実験もそろそろ賞味期限切れっぽいので、
Googleサイトマップは調査のクロールだけして全く機能してない、という結論でいいかな。
でもおそらく、今回の補足クロールをサイトマップのおかげと勘違いして騒ぐ人は出るだろうが。

B0002PPWU6