https://fliaping-blog.pages.dev/tags/%E6%95%B0%E6%8D%AE%E6%8A%93%E5%8F%96/Recent content in 数据抓取 on Fliaping's BlogHugo -- gohugo.iozh-cnMon, 23 Sep 2024 14:15:29 +0800https://fliaping-blog.pages.dev/crawl-web-page-by-using-webmagic-crawler-framework/Thu, 26 May 2016 05:44:25 +0000https://fliaping-blog.pages.dev/crawl-web-page-by-using-webmagic-crawler-framework/<p>有人可能会有疑问，Heritrix用的好好的，干嘛还要换别的呢？Heritrix固然很好，成熟、稳定、有管理界面、监控、多线程、开箱即用。但这真的适合我们这种垂直爬虫吗？我觉得未必，用Heritrix，你可以通过配置文件来确定接受规则和URL的发现规则，然后直接构建运行就好了。然而对于我来说，它的配置文件中的那些选项说的并不是那么清楚，相关文档也都是很简单的，想用一些复杂的规则都不知道这样对不对，至少要等到好久抓出来东西了，发现多抓了或者少抓了，你才发现配置文件写错了。并且配置文件中的项目也是老多的，这么多东西把人搞的头晕目眩。</p> <p>好吧，总的来讲,如果你是爬虫老手，对Heritrix的架构了解比较清晰的，Heritrix是个很好的选择。但是对于一个新手，我觉得webmagic更加灵活高效。就拿我的体验来讲，当初用Heritrix抓了3天才抓了七千多数据（可能是我配置文件写的不好），而用webmagic一个白天就抓了一万三的数据。</p>https://fliaping-blog.pages.dev/crawl-web-page-by-using-heritrix/Wed, 18 May 2016 05:14:25 +0000https://fliaping-blog.pages.dev/crawl-web-page-by-using-heritrix/<p>Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性，方便用户实现自己的抓取逻辑。最重要是对于一般的抓取，你是不用碰任何代码的，只要写好配置文件就可以了，简直就是某些人的福音。不过对于一个真正的程序员，代码可是他们的整个生命啊.</p>