java用什么jar包解析html文档(java中几种解析html的工具)
今天给各位分享java用什么jar包解析html文档的知识,其中也会对java中几种解析html的工具进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!
java解析xml的几种方式哪种最好
(1)DOM解析
DOM是html和xml的应用程序接口(API),以层次结构(类似于树型)来组织节点和信息片段,映射XML文档的结构,允许获取
和操作文档的任意部分,是W3C的官方标准
【优点】
①允许应用程序对数据和结构做出更改。
②访问是双向的,可以在任何时候在树中上下导航,获取和操作任意部分的数据。
【缺点】
①通常需要加载整个XML文档来构造层次结构,消耗资源大。
【解析详解】
①构建Document对象:
DocumentBuilderFactory dbf= DocumentBuilderFactory.newInstance();
DocumentBuilder db= bdf.newDocumentBuilder();
InputStream is= Thread.currentThread().getContextClassLoader().getResourceAsStream(xml文件);
Document doc= bd.parse(is);
②遍历DOM对象
Document: XML文档对象,由解析器获取
NodeList:节点数组
Node:节点(包括element、#text)
Element:元素,可用于获取属性参数
(2)SAX(Simple API for XML)解析
流模型中的"推"模型分析方式。通过事件驱动,每发现一个节点就引发一个事件,事件推给事件处理器,通过回调方法
完成解析工作,解析XML文档的逻辑需要应用程序完成
【优势】
①不需要等待所有数据都被处理,分析就能立即开始。
②只在读取数据时检查数据,不需要保存在内存中。
③可以在某个条件得到满足时停止解析,不必解析整个文档。
④效率和性能较高,能解析大于系统内存的文档。
【缺点】
①需要应用程序自己负责TAG的处理逻辑(例如维护父/子关系等),文档越复杂程序就越复杂。
②单向导航,无法定位文档层次,很难同时访问同一文档的不同部分数据,不支持XPath。
【原理】
简单的说就是对文档进行顺序扫描,当扫描到文档(document)开始与结束、元素(element)开始与结束时通知事件
处理函数(回调函数),进行相应处理,直到文档结束
【事件处理器类型】
①访问XML DTD:DTDHandler
②低级访问解析错误:ErrorHandler
③访问文档内容:ContextHandler
【DefaultHandler类】
SAX事件处理程序的默认基类,实现了DTDHandler、ErrorHandler、ContextHandler和EntityResolver接口,通常
做法是,继承该基类,重写需要的方法,如startDocument()
【创建SAX解析器】
SAXParserFactory saxf= SAXParserFactory.newInstance();
SAXParser sax= saxf.newSAXParser();
注:关于遍历
①深度优先遍历(Depthi-First Traserval)
②广度优先遍历(Width-First Traserval)
(3)JDOM(Java-based Document Object Model)
Java特定的文档对象模型。自身不包含解析器,使用SAX
【优点】
①使用具体类而不是接口,简化了DOM的API。
②大量使用了Java集合类,方便了Java开发人员。
【缺点】
①没有较好的灵活性。
②性能较差。
(4)DOM4J(Document Object Model for Java)
简单易用,采用Java集合框架,并完全支持DOM、SAX和JAXP
【优点】
①大量使用了Java集合类,方便Java开发人员,同时提供一些提高性能的替代方法。
②支持XPath。
③有很好的性能。
【缺点】
①大量使用了接口,API较为复杂。
(5)StAX(Streaming API for XML)
流模型中的拉模型分析方式。提供基于指针和基于迭代器两种方式的支持,JDK1.6新特性
【和推式解析相比的优点】
①在拉式解析中,事件是由解析应用产生的,因此拉式解析中向客户端提供的是解析规则,而不是解析器。
②同推式解析相比,拉式解析的代码更简单,而且不用那么多库。
③拉式解析客户端能够一次读取多个XML文件。
④拉式解析允许你过滤XML文件和跳过解析事件。
【简介】
StAX API的实现是使用了Java Web服务开发(JWSDP)1.6,并结合了Sun Java流式XML分析器(SJSXP)-它位于
javax.xml.stream包中。XMLStreamReader接口用于分析一个XML文档,而XMLStreamWriter接口用于生成一个
XML文档。XMLEventReader负责使用一个对象事件迭代子分析XML事件-这与XMLStreamReader所使用的光标机制
形成对照。
java中几种解析html的工具
HTML分析是一个比较复杂的工作,Java世界主要有几款比较方便的分析工具:
1.Jsoup
Jsoup是一个集强大和便利于一体的HTML解析工具。它方便的地方是,可以用于支持用jQuery中css selector的方式选取元素,这对于熟悉js的开发者来说基本没有学习成本。
String content="blabla";
Document doc= JSoup.parse(content);
Elements links= doc.select("a[href]");
Jsoup还支持白名单过滤机制,对于网站防止XSS攻击也是很好的。
2.HtmlParser
HtmlParser的功能比较完备,也挺灵活,但谈不上方便。这个项目很久没有维护了,最新版本是2.1。HtmlParser的核心元素是Node,对应一个HTML标签,支持getChildren()等树状遍历方式。HtmlParser另外一个核心元素是NodeFilter,通过实现NodeFilter接口,可以对页面元素进行筛选。这里有一篇HtmlParser的使用文章:使用 HttpClient和 HtmlParser实现简易爬虫。
3.Apache tika
tika是专为抽取而生的工具,还支持PDF、Zip甚至是JavaClass。使用tika分析HTML,需要自己定义一个抽取内容的Handler并继承org.xml.sax.helpers.DefaultHandler,解析方式就是xml标准的方式。crawler4j中就使用了tika作为解析工具。SAX这种流式的解析方式对于分析大文件很有用,我个人倒是认为对于解析html意义不是很大。
InputStream inputStream= null;HtmlParser htmlParser= new HtmlParser();
htmlParser.parse(new ByteArrayInputStream(page.getContentData()),
contentHandler, metadata, new ParseContext());
4.HtmlCleaner与XPath
HtmlCleaner最大的优点是:支持XPath的方式选取元素。XPath是一门在XML中查找信息的语言,也可以用于抽取HTML元素。XPath与CSS Selector大部分功能都是重合的,但是CSS Selector专门针对HTML,写法更简洁,而XPath则是通用的标准,可以精确到属性值。XPath有一定的学习成本,但是对经常需要编写爬虫的人来说,这点投入绝对是值得的。
JAVA解析html
吧源文件找到,去掉html的符号就可以啦。给你看一段我写的,写的不好,还得改呢(*^__^*)嘻嘻……:
public String HtmlToTextGb2312(String inputString)
{
String htmlStr= inputString;//含html标签的字符串
String textStr="";
Pattern p_script;
Matcher m_script;
Pattern p_style;
Matcher m_style;
Pattern p_html;
Matcher m_html;
Pattern p_houhtml;
Matcher m_houhtml;
Pattern p_spe;
Matcher m_spe;
Pattern p_blank;
Matcher m_blank;
Pattern p_table;
Matcher m_table;
Pattern p_enter;
Matcher m_enter;
try{
String regEx_script="<[\\s]*?script[^>]*?>[\\s\\S]*?<[\\s]*?\\/[\\s]*?script[\\s]*?>";
//定义script的正则表达式.
String regEx_style="<[\\s]*?style[^>]*?>[\\s\\S]*?<[\\s]*?\\/[\\s]*?style[\\s]*?>";
//定义style的正则表达式.
String regEx_html="<[^>]+>";
//定义HTML标签的正则表达式
String regEx_houhtml="/[^>]+>";
//定义HTML标签的正则表达式
String regEx_spe="\\&[^;]+;";
//定义特殊符号的正则表达式
String regEx_blank="+";
//定义多个空格的正则表达式
String regEx_table="\t+";
//定义多个制表符的正则表达式
String regEx_enter="\n+";
//定义多个回车的正则表达式
p_script= Pattern.compile(regEx_script,Pattern.CASE_INSENSITIVE);
m_script= p_script.matcher(htmlStr);
htmlStr= m_script.replaceAll("");//过滤script标签
p_style= Pattern.compile(regEx_style,Pattern.CASE_INSENSITIVE);
m_style= p_style.matcher(htmlStr);
htmlStr= m_style.replaceAll("");//过滤style标签
p_html= Pattern.compile(regEx_html,Pattern.CASE_INSENSITIVE);
m_html= p_html.matcher(htmlStr);
htmlStr= m_html.replaceAll("");//过滤html标签
p_houhtml= Pattern.compile(regEx_houhtml,Pattern.CASE_INSENSITIVE);
m_houhtml= p_houhtml.matcher(htmlStr);
htmlStr= m_houhtml.replaceAll("");//过滤html标签
p_spe= Pattern.compile(regEx_spe,Pattern.CASE_INSENSITIVE);
m_spe= p_spe.matcher(htmlStr);
htmlStr= m_spe.replaceAll("");//过滤特殊符号
p_blank= Pattern.compile(regEx_blank,Pattern.CASE_INSENSITIVE);
m_blank= p_blank.matcher(htmlStr);
htmlStr= m_blank.replaceAll("");//过滤过多的空格
p_table= Pattern.compile(regEx_table,Pattern.CASE_INSENSITIVE);
m_table= p_table.matcher(htmlStr);
htmlStr= m_table.replaceAll("");//过滤过多的制表符
p_enter= Pattern.compile(regEx_enter,Pattern.CASE_INSENSITIVE);
m_enter= p_enter.matcher(htmlStr);
htmlStr= m_enter.replaceAll("");//过滤过多的制表符
textStr= htmlStr;
}catch(Exception e)
{
System.err.println("Html2Text:"+ e.getMessage());
}
return textStr;//返回文本字符串
}
如果你还想了解更多这方面的信息,记得收藏关注本站。