またしても百度のスパイダーに泣く

かねてから問題になっていました、サーチエンジン「百度（バイドゥ）」のスパイダーエンジンに引っかき回され、サーバのエラーコードである５０３をたたき出しました。

これは、通常のサーバエラー５００や４０４エラーとくらべ致命的で

実際、一日にどの程度の負荷がかかったら発生するか（これはサーバ会社の許容量によるので一言にいえません）が、一日７ギガバイトという途方もない数字です。

実際に、私の会社の主要コンテンツが１ヶ月約３ギガバイト～５ギガバイト（一日平均１００メガ～２００メガ前後）からしても相当な負荷率である事は確かです。

これが１週間～１０日続いており

おかしいとおもいながらも、放置しておりました。

ただ、いい加減原因を特定しなければ「専門家」としての名が廃るので、調査したところ、百度のスパイダープログラムの負荷率が半数以上を占める結果となっており

ゆゆしき問題である事がわかりました。

当然ながら、スパイダーエンジンを排除する＝アクセス結果が悪くなる

事は致し方ありません。

ただ、サーバダウンと検索エンジンの負荷を下げる場合、どちらが適切か？と言われると、当然後者の事になるのはやむなき事情といえます。

今回の事をふまえ、ホームページの作り込みを全面的に見直し、百度がアクセスしても耐えるコンテンツづくりにしなければいけない。そう考えるようになりました。

百度がおこした事件は、決して今回が初めてではありません。

日々の検索エンジンのヒット率はすべて「ロボットクロール」のたまものであり、私たちにとって
サーチエンジンの精度は欠かせないものです。

今回の一件を対岸の火事とみないで済むよう

新たな対策が必要になるのは言うまでもありません。
ホスティングサービスの利便性を感じた今日この頃です。