| Server Management |
| ファイルメーカーWeb公開表示スピードをさらに高速化するために(4) 検索エンジンロボットNaver.comに注意 09/09/2009 17:03:54 |
| これはファイルメーカーのWeb公開だけの問題ではないのだが、どうしても、Webページにヘビーな検索結果を表示するサービスは、固定ページを表示するよりも表示速度が遅くなることは避けられない。そのため、通常の利用者を対象にしたサービスであれば、アクセスが集中しそうなページは想像がつくので、それらのページのキャッシュ対応や固定ページにしておくことで負荷に対応することになる。 しかし、相手が検索ロボットの場合、彼らは単にリンクをたどってアクセスしてくるので、どのページにどれだけアクセスが来そうだ、ということで準備はできない。GoogleやYahooのロボットはrobots.txtで制御でき、あまり負荷のかからないように時間を空けてアクセスしてくるので、大きな問題にはならないが、注意が必要なのが韓国系検索エンジンNaver.comだ。 Naver.comに注意が必要な理由は、そのアクセス集中度だ。2009年9月のある日の1時間のアクセスログをみると、202.131.30.146〜150の5つのIPアドレスから合計数百ページのスピードでクロールをかけてきている。同じ秒に複数のIPからのアクセスもあるため、複雑で負荷のかかるようなサービス／検索ページにアクセスがあった場合はたまったものではない。しかも、robots.txtの指定を無視したり、Googleの名を語ってアクセスしてくるというから始末が悪い。  Navar.comからのアクセスが集中したときのグラフ これに対応すべく、ハイパフォーマンスなマシンとネットワーク環境を用意できるのであれば問題ないが、それが無理な場合や、それでも性能が不足な場合は、残念ながら彼らのアクセスを遮断するしかない。アクセスの遮断方法は、.htaccessや、ファイアウオールでフィルタリングする方法がある。Googleで検索すれば一通りの方法がヒットするので、適した方法を適用されたい。 |
| Comments |