心血來潮將之前寫的網路爬蟲Web Crawler稍微重構後開源到Github上,以下是簡單的設計介紹及使用說明。
Github:https://github.com/A-Ho/Crawler
簡介:
Github:https://github.com/A-Ho/Crawler
簡介:
- 採link by link的方式大量截取網頁資訊至用戶端
- 可自行設定探勘深度
- 支援多線程(multi-thread)
- 資訊存取方式以Cobweb.java作為abstract class,分別以memory、DB、disk三種資料存取來實作。(後來才知道用到了template method pattern)
- 支援單獨檔案下載