采集器多线程采集设置
很多人想快速采集,想开多线程!
这里教大家一个方法,对一个站开两个线程,一个线程采集全部小说,另一个线程采集更新小说。
修改run.ini,添加下面两条,第一条默认是采集更新列表的,第二条是指定小说编号,现在的设置是从1到66542,可以根据自己的想法设置
-rule hk020.com.xml -ca
-rule hk020.com.xml -c 1-66542
修改start.sh(windows是start.bat)
默认的java -jar spider.jar -ca & 改成 java -jar spider.jar -m &
启动采集器就可以啦,这样就可以最快的从一个网站把数据都抓过来啦!
等把对方站的数据采集的差不多了,就可以把-rule hk020.com.xml -c 1-66542 去掉啦,用更新列表就可以啦!
另外如果要采集多个站的话,就在run.ini再加几条规则就可以啦