桜恋唄
幽遊白書・黒鵺×蔵馬中心、桜枝真央の同人的創作の館

RSS0.91 | RSS2.0 || 桜恋唄 (HOME) » 桜恋唄構築話 » 百度クローラーは相変わらず

百度クローラーは相変わらず

Contents

Writer:
桜枝真央
Category:
桜恋唄構築話
Posted on:
2010-01-12 22:12

 百度 (Baidu) のクローラーが絨毯爆撃的にやって来てサイトが重い!と騒がれたのは数年前。最近は大分お行儀が良くなったと思っていたのですが、最近再び頻繁にアクセスされるようになりました。そこまで酷くないからと放っておいたのですが、うちで使ってるアクセス解析「PHPTrafficA」で何故かボットとして解析されないことに気づき (PHPTrafficA は人間のアクセスとボットのアクセスを分けて表示できるのです) 原因を探っていて分かりました。ヤツらどうやら IE 6 に偽装しているらしい。しかも他所の記事によると、ホスト名を逆引き出来ないよう設定してるため .htaccess に「Deny from asianetcom.net」と書いても弾けない…らしいです。

 うちのような過疎サイトはクローラーを弾かなきゃならないほど困ってもいないのですが、UA偽装してホスト名も逆引きさせないようなボットは存在自体許し難いのでIPアドレスで規制かけることにしました。もしかしたら巻き添え食って表示できない方もいらっしゃるかもしれませんが取りあえず

Deny from 61.14.184
Deny from 61.14.185
Deny from 122.152.146
Deny from 122.252.88
Deny from 202.147.2
Deny from 202.147.4
Deny from 203.192.173

と、かなり広範囲に切っております (一応今日アクセスがあったものから見つけたものです)。他社様では他のアドレスでのアクセスもあったようなので追加が必要かしら。

 実はうちのサイト「.cn」は全部拒否しています。あと一度でも怪しい振る舞いをしたIPアドレスはかなりバッサリ拒否していますので、巻き添え食ってる方は沢山いるんじゃないかなぁ。

||

コメント

まだコメントはありません。

このアイテムは閲覧専用です。コメントの投稿、投票はできません。

桜恋唄について | 管理人について | サークル情報 | サイトマップ