クローラーと分散処理

検索してみたところけっこう面白いのが引っかかりました。
http://www.google.co.jp/search?hl=ja&q=クローラー　分散処理

なんとなくp2p的なものがクローラーの分散処理につかえそうだという昨日の勘は、けっこうあたってたかも。まあ、こっち（わたし）はしろうとだから、ネットバブル時代の投資家の発想とあまり大差ないってかんじだけどね。でもそういうのもクリエイティブシンキングやオープンマインドという面ではわるくもない。まあ、これから勉強でもするっか・・・
http://www.google.co.jp/search?hl=ja&q=クローラー　分散処理　p2p

おお、これもかっこいいかも。
http://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11409346081967476360

〜http://qdbm.sourceforge.net/mikio/rbbs.cgi?id=RA11409346081967476360からの引用〜
複数のGathererと呼ばれるクローラ機能が集めたデータをさらに集めてBrokerでインデックスにする。
Brokerは複数のBrokerに対して多階層メタ検索をかけることで、分散処理が実現される。Hyper Estraierの
P2Pのアーキテクチャはこれをもろにパクッて考えたもので、GathererとBrokerを統合すればP2Pじゃんという
安直な発想だったりもする。
〜だっそうです。ほ〜。