トイレのうず

ここ2日間くらい goo ブログ検索に関して Apache のログとにらめっこしています。そして、わかったことは goo ブログ検索のクローラは2種類あるらしいこと。具体的には「gooblog/2.0」と「gooblogsearch/2.0」。

goo ブログ検索の2つのクローラ

• gooblog/2.0：更新 ping を送るとやってくるクローラ。サイトトップにアクセスしたあと、index.rdf を見に行く
• gooblogsearch/2.0：実際にインデックスしているクローラ。こいつが来た時点で最終更新日時が最新の記事の時刻に更新される

>>『goo ブログ検索のクローラは2種類あるらしい』の続きを読む

WordPress から Yahoo! ブログ検索に Ping を打ってもインデックスされないことでずっと悩んでいました。原因を探るべく3か月ほど前に試行錯誤した結果、どうにかインデックスされるようになりました。（参照：【まとめ】WordPress を Yahoo! ブログ検索させる方法 その10）しかし、手動で Ping を送るのは面倒。ということで、既存のプラグインをちょこっと改造することで、自動化することに成功しました。

テスト運用してきて問題ないようなので、WordPressから Yagoo! ブログ検索に Ping を送るために既存プラグインを改造する方法を公開します。（元のプラグインが GNU GENERAL PUBLIC LICENSE だから公開しても問題ないはずですよね。）このプラグインの改変を行うことにより、通常の投稿にて Yahoo! ブログ検索へ認識可能な Ping を送信してくれますので、Yahoo! ブログ検索にインデックスされるようになるはずです。
初めに書いておきますが、何か問題が起こっても、インデックスされなくても自己責任でお願いします。
>>『WordPress から Yahoo! ブログ検索に Ping を送信するプラグインの改造方法』の続きを読む

昨日、Google ウェブマスターツールでタイトルの重複が大量にあった件の対処をした。

重複の原因は大きく分けると2つのパターン。

1. 「?view=com‎」「?view=wrt‎」など URL のあとにパラメータがつく

これは、携帯表示プラグイン MobileEye+ のコメントページ、コメント書き込みページのURL。実験的に入れているツールがモバイルページもパソコンのページと認識させているため起こっているみたい。「link rel=”canonical”」を入れてとりあえずの対策をしたけれど、根本的な対策が必要っぽい。要相談。

2. 月別アーカイブやカテゴリ、タグページなどで、記事数が多く複数のページにわたっているとき、同じ <title> タグがついてしまっている
3. カテゴリとタグで同じ文字列があるとき、<title> タグが重複

今回は 2) と 3) に対して対策を行った。
>>『WordPress でタイトル要素の重複を回避する』の続きを読む

Goole ウェブマスターツールをチェックしていたら、620 ページも「タイトルタグの重複」があった。これが Google から村八分にされた原因か？

中をよく見ると、URLに「?view=com‎」というパラメータのあるページも同一ページなのに違うページとして認識してしまっているよう。それで、ダブったものが「タイトルタグの重複」として現れている。

確か、何ヶ月か前に重複を取り除いてくれる meta タグがあったような。
→Web担当者Forum：link rel=”canonical”によるURL正規化タグ——SEOにとって非常に重要な進歩（前編）

「rel=”canonical”」だ。これの WordPress のプラグインはないか調べた。
→blockworks：wordpressの「rel=canonical」プラグイン2つ

プラグインは以下。
→Yoast：Canonical URL’s for WordPress

あと、試しで入れてみたプラグイン「All in One SEO Pack」にも同じ機能があるみたい。

＊追記＊
All in One SEO Pack は携帯表示プラグインの MobileEye+ の title タグも書き換えてしまうようで、タイトルが文字化けしてしまった。
「?view=com‎」「?view=wrt‎」はどうやら MobileEye+ のコメントページ、コメント書き込みページのURLらしい。どうやら、実験的に入れているツールが悪さをしているようだ。

Yahoo! ブログ検索にインデックスされて喜んでいたのも束の間、どうやら Google からスパム判定をくらってしまったみたいです。あちゃちゃ。

それまで順調に伸びていた Google からの検索アクセスが、昨日の午後7時を境に検索件数が激減。今日なんて Yahoo! と同じくらいの件数ですよ。悲しい。

スパム判定くらった心当たりは、ずばり「WordPress を Yahoo! ブログ検索させる方法」関連の記事。たぶんタイトルが一緒と判断されて、スパムになっちゃったんだと思う。一昨日くらいまでは、3位くらいにあった「WordPress Yahoo ブログ」での検索結果からものの見事に消えてしましました。連続もの書くときタイトルに注意しないと。

取り急ぎ、タイトルを変更。様子を見てみますが、復活してくれるだろうか？

それともとあるページにリンクされたのがまずかったのだろうか？　本当の原因はわからないけど、Google さんにいい評価を受けていただけに悲しい結果であることには変わりなし。

＊追記＊
Google のウェブマスターツールを見てみたら、「診断」→「クロールエラー」に「見つかりませんでした」が 106 件も出てる。最終検出が5月末から6月頭でこれが原因かも。URL をよく見てみたら、カテゴリの階層を変更して、「.htaccess」に、301リダイレクトを書いたのだけれど、その移転先のパスが間違っていたという初歩的なミス。やってしまった。また地道にやってくしかないのかなぁ。

goo ブログへのインデックス時刻が9時間遅れで GMT になってしまっていたのの修正に成功したのでご報告いたします。

goo ブログは index.rdf へ決め打ちでクロールしにきますが、実際にインデックスするのは、goo に登録されている RSS のようです。どの RSS ファイルが登録されているのかは、「【考察】goo ブログ検索にインデックスされた日時が9時間遅れている件」にて方法をご紹介していますのでご覧ください。

どの RSS が登録されているかわかったら、その URL を開きバージョンを確認してください。おおかた RSS 2.0 を現す feed のアドレスが登録されているのではないかと思います。

このサイトの場合は「/feed」でしたので、RSS 2.0 の時刻の出力を下記サイトを参考に変更しました。
→RSS 2.0 Notes：pubDate要素
>>『【解決】goo ブログ検索にインデックスされた日時が9時間遅れている件【RSS2 の時刻修正】』の続きを読む

前回の記事（【ついに成功】Yahoo! ブログ検索にインデックス！ 〜WordPress を Yahoo! ブログ検索させる方法 その9〜）にてこの blog をYahoo! ブログ検索へインデックスさせることに成功しましたが、無駄な改変が多いような気がして、改めて WordPress を Yahoo! ブログ検索にインデックスさせる方法を、まっさらなデフォルトのテーマにて検証してみました。Yahoo! ブログ検索にインデックスさせることに成功したのでまとめを記載しておきます。

ポイントは2点3点です。
1) Ping の送り先
2) ヘッダ内の RSS 1.0 の記載
3) 記事修正時に Ping を送らないようにする　※2009.12.1 追記しました

以下、上記2点の詳しい説明。
>>『【まとめ】WordPress を Yahoo! ブログ検索させる方法 その10【追記あり】』の続きを読む

なんとか、Yahoo! ブログ検索にこの blog がインデックスされるようになりました！

昨日「【【祝！】goo ブログ検索インデックス！ 〜WordPress を Yahoo! ブログ検索させる方法 その8〜」を書いたあと、くわ。さんよりコメントをいただき、Yahoo! ブログ検索にインデックスされる方法を教えていただきました。
→Kuwata’s Blog くわぶろ：それでもYahoo!ブログ検索にインデックスされない・・・という方へ

pingの打ち方が肝のようです。

簡単にまとめてしまうと以下のように ping を打て、ということです。
http://api.my.yahoo.co.jp/rss/ping?u=（あなたのサイトの最新記事のURL）

詳しい諸注意などは くわ。さんの Kuwata’s Blog くわぶろ をお読みになってください。本当に感謝です。ありがとうございます。
またこれ以前に下準備しなくてはならないことは、下記記事にまとめてありますのでご覧ください。
→【祝！】WordPress を Yahoo! ブログ検索させる方法 その8【gooブログ検索インデックス！】
>>『【ついに成功】Yahoo! ブログ検索にインデックス！ 〜WordPress を Yahoo! ブログ検索させる方法 その9〜』の続きを読む

WordPress を Yahoo! ブログ検索にインデックスさせる戦線、定期報告です。
昨日は残念ながら、Yahoo! ブログ検索のクローラ Y!J-BSC/1.0 は1度も来てくれませんでした。なので、昨日手を加えた点についての検証はできず。

しかし、そんなあさこんに朗報が！　なんと goo ブログ検索にインデックスされたのです！　やった！　今朝（2009年5月19日午前8時58分）現在、12記事がインデックスされました！
Apache ログを調べてみると、gooブログ検索のクローラ gooblog/2.0 が午後12時前と午前12時前の2回アクセスしにきてくれてました。その時点までの記事がインデックスされてます。うれしい。

ここで goo ブログ検索インデックスへ試行錯誤をまとめてみようと思います。
>>『【祝！】goo ブログ検索インデックス！ 〜WordPress を Yahoo! ブログ検索させる方法 その8〜』の続きを読む

WordPress を Yahoo! ブログ検索にインデックスさせる戦線、変化なしです。

まず、Yahoo! ブログ検索のクローラ Y!J-BSC/1.0 ですが、今回も1度だけきました。
http://www.1010uzu.com//boyaki/200905-18000300.html にアクセスし、そのまま帰っていきます。
WordPressの投稿記事をYahoo!ブログ検索にインデックスさせる方法のコメント欄によると、下記のような挙動をとるようです。

１．Y!J-BSC/1.0が個別記事を直接見に来る
　　※当記事の場合 /kuwata/blog/post/334

２．末尾に“/”が付いたURLに301リダイレクトされる
　　※当記事の場合 /kuwata/blog/post/334/

３．Y!J-BSC/1.0が＜link rel=”alternate”～に書いてあるフィードURLを見に来る
　　※当ブログの場合 /kuwata/blog/feed/rdf/

４．Yahoo! Slurp/3.0がブログを直接見に来る
　　※当ブログの場合 /kuwata/blog/

個別記事のアクセスのあと、feed を見に行くようだが、そこがうまくいっていないようだ。そこで、HTML 内の RSS の記述にあるのではと思い、下記の変更を施す。index.rdf ベタ打ちです。
>>『【模索】Feed アドレスを index.rdf に変更してみる 〜WordPress を Yahoo! ブログ検索させる方法 その7〜』の続きを読む