大まか検索エンジン設計想像図
No:129　Time[2008-01-17 05:39:33]
何故検索エンジンは大手ばかりが手がけるのでしょうか?
ずばり、従来型だとできないからです。
検索エンジンを作るということは、基本的には、世界中のHPのコピーを自社のサーバー
に入れておくことと等しいのです。
だから、サーバーも何千台下手したら何万台も必要になってきます。
だから大手しかできないのです。
でよくクローラーが何度も何度もくることを不思議に思いませんか?
一度収集したなら少なくても同じHPはまたクロールする必要はないですよね。
もちろん、ある程度の同期はとれていますが、サーバーが何万台とかになると、
同期をとるだけでも大変なことになります。
とまあ、ここまでは、収集のことでしたが、次は検索のことを考えてみたいと思います。相手は世界のHPのデータベースです。
でも検索エンジンってすぐ表示しますよね?
基本的にはすぐ表示します。
例えばSEOと検索して何時間もまたせますか?
でも相手は世界のデータです。
SQLを使ったことがある人ならおわかりですね?
世界のデータを検索させるなのてのは、一つのテーブルでは不可能だということを。
ではどうするか?

これが大雑把な予想図です。
通常検索例えばSEOというキーワードに対しては、順位変動がないかぎり、その瞬間瞬間では同じ検索結果が返ってきます。
したがって、閲覧者がまず検索エンジンで見ているランキングは、キーワードに対するあらかじめ作られたランキングリストです。
ということはどういうことか?
最新のものではないということです。
ではどの段階でリストは作られるか?
初めていれるような単語では、キーワードに対してのリストがありません。(基本的に)
その場合は世界のデータベースを収めているサーバー郡に同時に検索をかけます。
その瞬間何万というサーバーを一瞬動かしたことになります(笑)
でその瞬間にリストが作られ、次回の更新が行われるまで同じ検索結果が表示される。
また、こういった原理なんだろうと、私は想像します。
そうでなければ、検索するたびに何万台ものサーバーを使ってしまては、世界の人が使うということを考えれば、とてもパンクしてしまいますものね。
尚、これは私が作るならこうするなという大雑把な原理なのでもしかしたら違うかもしれませんよ。