RSS

Overview of Web Clawler

23 May

The first six star opensource project:

Nutch, (http://wiki.apache.org/nutch/FrontPage) —  integrate with HBase– java (*)
Heritrix ( https://webarchive.jira.com/wiki/display/Heritrix/Heritrix)  — java (*)
Searchbox     http://www.searchblox.com/  —   java
Scrapy (http://scrapy.org/) — python  (*)
mechanize (http://wwwsearch.sourceforge.net/mechanize/)  — python
Flax Clawler (http://www.flax.co.uk/the_software) —  python

1) 简单好用的网络爬虫spider/crawler

http://zhangxiang390.iteye.com/blog/252590

2) Lucene+Heritrix开发自己的搜索引擎  http://virgoooos.iteye.com/blog/185850

Heritrix是IA的开放源代码,可扩展的,基于整个Web的,归档网络爬虫工程
Heritrix工程始于2003年初,IA的目的是开发一个特殊的爬虫,对网上的
资源进行归档,建立网络数字图书馆,在过去的6年里,IA已经建立了400TB的数据。
IA期望他们的crawler包含以下几种:
宽带爬虫:能够以更高的带宽去站点爬。
主题爬虫:集中于被选择的问题。
持续爬虫:不仅仅爬更当前的网页还负责爬日后更新的网页。
实验爬虫:对爬虫技术进行实验,以决定该爬什么,以及对不同协议的爬虫爬行结果进行分析的。
Heritrix的主页是http://crawler.archive.org

3)  搜索引擎中网络爬虫的设计分析  http://www.xinxilong.com/Html/?2465.html

  • 网络爬虫高度可配置性。
  •  网络爬虫可以解析抓到的网页里的链接
  • 网络爬虫有简单的存储配置
  • 网络爬虫拥有智能的根据网页更新分析功能
  • 网络爬虫的效率相当的高

4) Googlebot

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=182072

5) WebSPHINX: A Personal, Customizable Web Crawler

http://www.cs.cmu.edu/~rcm/websphinx/

6) How to write a multi-threaded webcrawler

http://www.andreas-hess.info/programming/webcrawler/index.html

7)Heritrix  (Recommended)

https://webarchive.jira.com/wiki/display/Heritrix/Heritrix

8) how google works

http://www.googleguide.com/google_works.html

9) Nutch Examples

收费的

Advertisements
 
Leave a comment

Posted by on May 23, 2012 in Web Clawler

 

Tags: ,

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

 
%d bloggers like this: