OpenWebSpider

Dự án OpenWebSpider ra đời với ý tưởng rằng internet là free và tất cả thông tin phải được free cho tất cả chúng ta!
Tất cả là free và đó là Open Source, OpenWebSpider có thể sẽ là cơ sở cho một Search engine mới được phát triển từ cộng đồng những người phát triển mã nguồn mở!

Đầu tiên ta tải OpenWebSpider v0.7 - bản mới nhất => [Download]

Để cho nhanh, ta cài thử trước trên Windows. 2 thư mục để dùng: Win32_bin, PHP và sql.

Import sql/sql_struct.txt vào MySQL. Tiếp theo, cần phải chỉnh lại một chút trong file config của MySQL: my.cnf để có thể search được unicode

[mysqld]
default-character-set=utf8
character-set-server=utf8
default-collation=utf8_unicode_ci
skip-character-set-client-handshake

Cách sử dụng OpenWebSpider

Danh sách các công cụ tìm kiếm

Căn bản về Search Engine

Một số thông tin về OpenWebSpider:

• Sử dụng database là MySQL và cơ chế tìm kiếm FULLTEXT, tìm kiếm Boolean
  
• Hỗ trợ robots.txt
• Đặc biệt có cơ chế Host/Page Rank

Nhận xét: Có thể nói OpenWebSpider ban đầu đã cung cấp một số kiến thức, cấu trúc dữ liệu, cũng như công cụ cơ bản để từ đó có thể phát triển một Search Engine tương đối hoàn chỉnh.