java爬虫？java下一页

一、java和python在爬虫方面的优势和劣势是什么

python

网络功能强大，模拟登陆、解析javascript，短处是网页解析python写起程序来真的很便捷，著名的python爬虫有scrapy等

java

java有很多解析器，对网页的解析支持很好，缺点是网络部分java开源爬虫非常多，著名的如nutch国内有webmagicjava优秀的解析器有htmlparser、jsoup对于一般性的需求无论java还是python都可以胜任。如需要模拟登陆、对抗防采集选择python更方便些，如果需要处理复杂的网页，解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择java。

二、java怎么写爬虫

爬虫都是基于现有的框架来开发的，基于java语言实现的爬虫框架很多，这里列举一个:WebMagic，它的架构设计参照了Scrapy，应用了HttpClient、Jsoup等Java成熟的工具，包含四个组件(Downloader、PageProcessor、Scheduler、Pipeline)，Spider是WebMagic内部流程的核心，上面的四个组件都相当于Spider的一个属性，通过设置这个属性可以实现不同的功能。

三、Java爬虫方向怎么样

曾经在某较大项目进行过Java的爬虫数据采集，在Java方面有一定经验。

这个问题较多的取决于有权限下决定的那个人和团队是更熟悉Java还是Python。Python在爬虫方面有简单易用和结构简洁的优势，适合常见爬虫项目的开发；如果是一个纯Java架构的项目和团队，再去专门找个人去研究Python就麻烦了，而且会形成Java与Python的混合架构，有维护的成本，这时候Java就会占优。

如果一般性的网站爬取还是比较容易的，用原生HttpClient即可。若碰到较知名的网站，往往会具有很多反爬取机制（js、验证码、图形验证码...等等），和频繁的网页改版，造成爬取失效。可以说，爬取工作更多的是在与网站的反爬取机制进行攻防对抗。当然对抗技术也有很多，就不在这里展开了。