goo ブログ検索の2つのクローラ

• gooblog/2.0：更新 ping を送るとやってくるクローラ。サイトトップにアクセスしたあと、index.rdf を見に行く
• gooblogsearch/2.0：実際にインデックスしているクローラ。こいつが来た時点で最終更新日時が最新の記事の時刻に更新される

「gooblog/2.0」がきても「gooblogsearch/2.0」がこなかったら一生インデックスされない。どうやったら「gooblogsearch/2.0」が来るのかはなぞ（わかる人がいたら教えてほしい）。また「gooblogsearch/2.0」は初回の訪問でサイトトップにアクセスし、RSS の URL を捕獲すると次からは、トップにアクセスしないで直接捕獲した RSS の URL を見に来る。だから、一度「gooblogsearch/2.0」に捕獲されたら、その RSS の URL は変わることはない。

gooblogsearch/2.0 に捕獲されている RSS の URL を確かめる

下記アドレスにアクセスし、オレンジ色の RSS のマークのところにマウスオーバーすると、gooblogsearch/2.0 に捕獲されている RSS の URL が表示される。

http://blog.search.goo.ne.jp/search_goo/result/?mod=info&bu=（サイトトップのURL、最後の「/」抜き）

例えば、このサイトだったら、下記。
http://blog.search.goo.ne.jp/search_goo/result/?mod=info&bu=http://www.1010uzu.com

捕獲されている RSS の URL は下記。

http://www.1010uzu.com/feed

goo ブログ検索の2つのクローラの挙動

前回の記事を投稿したときの「gooblog/2.0」と「gooblogsearch/2.0」の挙動を Apache の生ログから抜粋してみた。

210.165.9.64 – - [16/Mar/2010:00:15:56 +0900] “GET / HTTP/1.1″ 200 68639 “-” “gooblog/2.0 (http://help.goo.ne.jp/contact/)”
210.165.9.64 – - [16/Mar/2010:00:15:59 +0900] “GET /feed/rdf HTTP/1.0″ 200 187493 “-” “-”
210.173.171.133 – - [16/Mar/2010:00:21:04 +0900] “GET /feed HTTP/1.1″ 200 135413 “-” “gooblogsearch/2.0 (http://help.goo.ne.jp/contact/)”

こんな感じで、「gooblog/2.0」がやってきてから「gooblogsearch/2.0」がやってくるまで数分のタイムラグがある。

今後、解明すべき点は何をトリガーとして「gooblogsearch/2.0」がやってきているのかだ。

ポイントは2点3点です。
1) Ping の送り先
2) ヘッダ内の RSS 1.0 の記載
3) 記事修正時に Ping を送らないようにする　※2009.12.1 追記しました

以下、上記2点の詳しい説明。

1) Ping の送り先
→Kuwata’s Blog くわぶろ：それでもYahoo!ブログ検索にインデックスされない・・・という方へ
上記サイトを参考に Ping の送り先は下記のようにします。

http://api.my.yahoo.co.jp/rss/ping?u=最新記事のURL

上記をブラウザのアドレス欄に打ってみてください。

Refresh requested: http://www.1010uzu.com/○○○○

Blog Search: Successfully refresh requested
My Yahoo! RSS reader: Refresh requested.
About “Blog Search”, see “http://blog-search.yahoo.co.jp/”
About “My Yahoo! RSS reader”, “http://my.yahoo.co.jp/st/rssguide/”

上記のように返ってくるはずです。これが返ってくれば Ping がきちんと送られています。
（ブラウザでいちいち送るのは面倒なので、現在プラグインの改造を行ってテスト中です。プラグインの改造方法を公開しました。→WordPress から Yahoo! ブログ検索に Ping を送信するプラグインの改造方法）

ちなみに下記の Yahoo! 推奨の Ping の送り先 URL に送っても、クロールはしにきてくれますが、feed を読みにきてくれないため、インデックスはされません。（検証済み）

http://api.my.yahoo.co.jp/RPC2
または

http://api.my.yahoo.co.jp/rss/ping?u=あなたのサイトのRSSファイルのアドレス

→Yahoo!ブログ検索ヘルプ：Yahoo!ブログ検索の検索結果に表示されるには

2) ヘッダ内の RSS 1.0 の設定
1) を行っただけでは、Feed を読みに来ますが、インデックスはされません。Apache のアクセスログを見てみると、Yahoo! ブログ検索のクローラ Y!J-BSC/1.0 は、最新記事にアクセスしたあと「/?feed=rss2」にアクセスしています。ここから、予想するところによると、Yahoo! ブログ検索は、RSS 1.0 でないといけないようです。「/?feed=rss2」は RSS 2.0 なのではねられたようです。

そこでテーマの header.php に下記を付け加えます。
<link rel="alternate" type="application/rss+xml" title="RSS" href="<?php bloginfo('rdf_url'); ?>" />

<link rel="alternate" 群の一番上の行に来るようにするのがポイントです。

3) 記事修正時に Ping を送らないようにする
上記2点を行っても、インデックスされない方がいらっしゃるようなので、追記しました。※2009/12/01
WordPress は記事のちょっとした修正を行うだけでも、更新 Ping を送ってしまいます。これが Yahoo! ブログ検索や goo ブログ検索にて WordPress が嫌われている一番の理由ではないかと考えられます。新規投稿時のみ Ping を送るようにするプラグインをインストールすることで解決します。

• Smart Update Pinger：日本語化されています。予約投稿時には WordPress 標準の Ping 送信機能が使われる。予約投稿しない人はこれで充分。
• Ultimate Plugins Smart Update Pinger：Smart Update Pinger の改良版で予約投稿時にも対応。おすすめ。ただしダウンロードにメルアド登録が必要。（Smart Update Pinger の後継版）
• MaxBlogPress Ping Optimizer：アクティベーションが必要。
• cbnet Ping Optimizer：MaxBlogPress Ping Optimizer の後継版。ログを保存するために新にテーブルを作成するよう。

上記2点3点を行った結果、実験的に公開していた WordPress のサイト（デフォルトテーマ）が Yahoo! ブログ検索にインデックスされました。

改造は上記2点3点のみです。ご参考になれば幸いです。

goo ブログ検索にインデックスさせるにはもう少し改造が必要です。引き続き検証中ではありますが、下記の記事をご参照ください。
→【祝！】goo ブログ検索インデックス！ 〜WordPress を Yahoo! ブログ検索させる方法 その8〜

＊追記 2009.8.21＊
WordPress の記事投稿時に自動的に Yahoo! ブログ検索に 1) の動作をするように3)で紹介した既存のプラグインの改変方法を下記に公開いたしました。
→WordPress から Yahoo! ブログ検索に Ping を送信するプラグインの改造方法

昨日「【【祝！】goo ブログ検索インデックス！ 〜WordPress を Yahoo! ブログ検索させる方法 その8〜」を書いたあと、くわ。さんよりコメントをいただき、Yahoo! ブログ検索にインデックスされる方法を教えていただきました。
→Kuwata’s Blog くわぶろ：それでもYahoo!ブログ検索にインデックスされない・・・という方へ

pingの打ち方が肝のようです。

簡単にまとめてしまうと以下のように ping を打て、ということです。

http://api.my.yahoo.co.jp/rss/ping?u=（あなたのサイトの最新記事のURL）

詳しい諸注意などは くわ。さんの Kuwata’s Blog くわぶろ をお読みになってください。本当に感謝です。ありがとうございます。
またこれ以前に下準備しなくてはならないことは、下記記事にまとめてありますのでご覧ください。
→【祝！】WordPress を Yahoo! ブログ検索させる方法 その8【gooブログ検索インデックス！】

でもこれだと、いちいちブラウザから更新 ping を送らないといけないのがちょっとだけ面倒ですね。モブログとかしたときには不便だな、と思うのでした。今度も、どうにかならないか、模索を続けていこうと思います。サイト改善するか、もしくは ping 送信プラグインをつくるか。（そんな力量今は持ち合わせていませんけれど、あくまで構想です。）

ところで、一応、昨日のYahoo! ブログ検索クローラ Y!J-BSC/1.0 の挙動を調べてみました。そうすると、気になる点が二点ほどあったので記しておきます。

昨日上記方法でpingを打ったのが12時18分だった。でも Y!J-BSC/1.0 が来た時間は12時14分。これって、更新時の ping できたのか、上記方法で送った ping で来たのかちょっとだけ疑問が残ります。
そしてもう一点、Y!J-BSC/1.0 が WordPress のコアファイルも根こそぎクロールしていっていること。これは正直気持ち悪かった。ということで、下記サイトを参照に、robots.txt を作成しアップロードしました。
→森の夢：Wordpressセキュリティ向上①-robots.txtでログイン画面のインデックス化を防ぐ-

Goo ブログ検索のクローラ gooblog/2.0 は、更新後すぐきちんと来てくれています。ただ、インデックスへの反映が遅いですが。（約半日後くらい。）このあたり、goo のスコアとかが関係してるんだろうか。それともバッチ処理してるんだろうか。疑問が残ります。

まず、Yahoo! ブログ検索のクローラ Y!J-BSC/1.0 ですが、今回も1度だけきました。
http://www.1010uzu.com//boyaki/200905-18000300.html にアクセスし、そのまま帰っていきます。
WordPressの投稿記事をYahoo!ブログ検索にインデックスさせる方法のコメント欄によると、下記のような挙動をとるようです。

１．Y!J-BSC/1.0が個別記事を直接見に来る
　　※当記事の場合 /kuwata/blog/post/334

２．末尾に“/”が付いたURLに301リダイレクトされる
　　※当記事の場合 /kuwata/blog/post/334/

３．Y!J-BSC/1.0が＜link rel=”alternate”～に書いてあるフィードURLを見に来る
　　※当ブログの場合 /kuwata/blog/feed/rdf/

４．Yahoo! Slurp/3.0がブログを直接見に来る
　　※当ブログの場合 /kuwata/blog/

個別記事のアクセスのあと、feed を見に行くようだが、そこがうまくいっていないようだ。そこで、HTML 内の RSS の記述にあるのではと思い、下記の変更を施す。index.rdf ベタ打ちです。

前：<link rel="alternate" type="application/rss+xml" title="RSS" href="<?php bloginfo('rdf_url'); ?>" />
後：<link rel="alternate" type="application/rss+xml" title="RSS" href="<?php bloginfo('url'); ?>/index.rdf" />

改変前後で出力は下記のようになる。

前：<link rel="alternate" type="application/rss+xml" title="RSS" href="http://www.1010uzu.com/feed/rdf" />
後：<link rel="alternate" type="application/rss+xml" title="RSS" href="http://www.1010uzu.com/index.rdf" />

それから、複数あった link rel="alternate を上記1本にしました。

もうひとつ、昨日の改変で 301 リダイレクトを設定しましたが、302 リダイレクトに変更。何となく。
Redirect temp /index.rdf http://www.1010uzu.com/feed/rdf

goo の blog 検索クローラ gooblog/2.0 ですが、こちらはわたしの思惑どおり、トップにアクセスがあった後、 /index.rdf からリダイレクトされて /feed/rdf を読みにきた！　インデックスされる日も近いと信じて様子を見ます。

しかも、クロールに来た時間がまた微妙。昨日、何回か方法を変えて Ping を送っていたのですが、その中で、送信履歴が見れるからと使っていた Ping 送信プラグイン Smart Update Pinger を使わず送ったあと、30分後くらいで Y!J-BSC/1.0 がやってきました。ちょっと微妙なタイミング。

あと違いは以下の2つある Yahoo! の Ping 送信先の後者の方に送っていることくらいかなぁ。

http://api.my.yahoo.co.jp/RPC2
または

http://api.my.yahoo.co.jp/rss/ping?u=あなたのサイトのRSSファイルのアドレス

その状態に戻してもう一度、Ping を送信。こうやって情報を小出しにしてるのも、Ping 送信テストを兼ねてるんです（笑）。

しかし Yahoo! ブログ検索にインデックスされない（涙。

今日はなぜインデックスされなかったのかの考察する。

結論からいうと、クローラが来てくれないんです。
サーバーの Apache ログを見てみました。Yahoo! ブログ検索にインデックスされるためには、Y!J-BSC/1.0 というクローラが来る必要があるらしいです。でもログを見たけど、それらしきものはなし。そのかわり、YahooFeedSeekerJp/2.0 と YahooFeedSeeker/2.0 というクローラが来ていた。調べてみたら、これは Yahoo!RSSリーダー のクローラみたい。関係なかった。
ちゃんと Ping も打ってるし、どうしたらきてくれるようになるのかわからない。

Yahoo!ブログ検索ヘルプ：Yahoo!ブログ検索の検索結果に表示されるには

主に以下のような場合は、検索エンジン用ロボットの巡回対象とならないことがあります。
* RSSの書式に問題がある（例：channelやitemなどの要素が存在しない）
* RSSの言語指定の記述が、日本語以外になっている（例：en-us、arなど）
* RSSのアドレスが、ブログや各記事のドメインと異なる（例：外部サーバ上のRSSアドレスを直接参照している）
* ブログや各記事のHTMLソース中に、適切なRSSの記述がない（例：link rel=”alternate”…ではじまるRSS表記がない）
* ブログや各記事の記述と、RSSの記述に整合性がない
* ブログや各記事がアクセス制限されている（例：アカウントによる公開設定、robots.txtやMETAタグによる制御など）

やっぱり「RSSの書式に問題がある」が一番問題ありそう。

＊追記＊
→Yahoo!ブログ検索ヘルプ：Yahoo!ブログ検索とは

上記ページに下記のような記載がある。

※Yahoo!ブログ検索は、東京工業大学 精密工学研究所 奥村研究室からの技術協力を受けてサービスを行っています。

つまりあれだな、この研究室が対応してくれないかぎり、WordPress は Yahoo! ブログ検索にも、gooのブログ検索にも掲載されないのだな。MT から WordPress に世界が動いているなかで、この対応はちょっとどうなんだろう。