首页编程java编程java用什么jar包解析html文档(java中几种解析html的工具)

java用什么jar包解析html文档(java中几种解析html的工具)

编程之家2023-10-1379次浏览

今天给各位分享java用什么jar包解析html文档的知识,其中也会对java中几种解析html的工具进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

java用什么jar包解析html文档(java中几种解析html的工具)

java解析xml的几种方式哪种最好

(1)DOM解析

DOM是html和xml的应用程序接口(API),以层次结构(类似于树型)来组织节点和信息片段,映射XML文档的结构,允许获取

和操作文档的任意部分,是W3C的官方标准

java用什么jar包解析html文档(java中几种解析html的工具)

【优点】

①允许应用程序对数据和结构做出更改。

②访问是双向的,可以在任何时候在树中上下导航,获取和操作任意部分的数据。

java用什么jar包解析html文档(java中几种解析html的工具)

【缺点】

①通常需要加载整个XML文档来构造层次结构,消耗资源大。

【解析详解】

①构建Document对象:

DocumentBuilderFactory dbf= DocumentBuilderFactory.newInstance();

DocumentBuilder db= bdf.newDocumentBuilder();

InputStream is= Thread.currentThread().getContextClassLoader().getResourceAsStream(xml文件);

Document doc= bd.parse(is);

②遍历DOM对象

Document: XML文档对象,由解析器获取

NodeList:节点数组

Node:节点(包括element、#text)

Element:元素,可用于获取属性参数

(2)SAX(Simple API for XML)解析

流模型中的"推"模型分析方式。通过事件驱动,每发现一个节点就引发一个事件,事件推给事件处理器,通过回调方法

完成解析工作,解析XML文档的逻辑需要应用程序完成

【优势】

①不需要等待所有数据都被处理,分析就能立即开始。

②只在读取数据时检查数据,不需要保存在内存中。

③可以在某个条件得到满足时停止解析,不必解析整个文档。

④效率和性能较高,能解析大于系统内存的文档。

【缺点】

①需要应用程序自己负责TAG的处理逻辑(例如维护父/子关系等),文档越复杂程序就越复杂。

②单向导航,无法定位文档层次,很难同时访问同一文档的不同部分数据,不支持XPath。

【原理】

简单的说就是对文档进行顺序扫描,当扫描到文档(document)开始与结束、元素(element)开始与结束时通知事件

处理函数(回调函数),进行相应处理,直到文档结束

【事件处理器类型】

①访问XML DTD:DTDHandler

②低级访问解析错误:ErrorHandler

③访问文档内容:ContextHandler

【DefaultHandler类】

SAX事件处理程序的默认基类,实现了DTDHandler、ErrorHandler、ContextHandler和EntityResolver接口,通常

做法是,继承该基类,重写需要的方法,如startDocument()

【创建SAX解析器】

SAXParserFactory saxf= SAXParserFactory.newInstance();

SAXParser sax= saxf.newSAXParser();

注:关于遍历

①深度优先遍历(Depthi-First Traserval)

②广度优先遍历(Width-First Traserval)

(3)JDOM(Java-based Document Object Model)

Java特定的文档对象模型。自身不包含解析器,使用SAX

【优点】

①使用具体类而不是接口,简化了DOM的API。

②大量使用了Java集合类,方便了Java开发人员。

【缺点】

①没有较好的灵活性。

②性能较差。

(4)DOM4J(Document Object Model for Java)

简单易用,采用Java集合框架,并完全支持DOM、SAX和JAXP

【优点】

①大量使用了Java集合类,方便Java开发人员,同时提供一些提高性能的替代方法。

②支持XPath。

③有很好的性能。

【缺点】

①大量使用了接口,API较为复杂。

(5)StAX(Streaming API for XML)

流模型中的拉模型分析方式。提供基于指针和基于迭代器两种方式的支持,JDK1.6新特性

【和推式解析相比的优点】

①在拉式解析中,事件是由解析应用产生的,因此拉式解析中向客户端提供的是解析规则,而不是解析器。

②同推式解析相比,拉式解析的代码更简单,而且不用那么多库。

③拉式解析客户端能够一次读取多个XML文件。

④拉式解析允许你过滤XML文件和跳过解析事件。

【简介】

StAX API的实现是使用了Java Web服务开发(JWSDP)1.6,并结合了Sun Java流式XML分析器(SJSXP)-它位于

javax.xml.stream包中。XMLStreamReader接口用于分析一个XML文档,而XMLStreamWriter接口用于生成一个

XML文档。XMLEventReader负责使用一个对象事件迭代子分析XML事件-这与XMLStreamReader所使用的光标机制

形成对照。

java中几种解析html的工具

HTML分析是一个比较复杂的工作,Java世界主要有几款比较方便的分析工具:

1.Jsoup

Jsoup是一个集强大和便利于一体的HTML解析工具。它方便的地方是,可以用于支持用jQuery中css selector的方式选取元素,这对于熟悉js的开发者来说基本没有学习成本。

String content="blabla";

Document doc= JSoup.parse(content);

Elements links= doc.select("a[href]");

Jsoup还支持白名单过滤机制,对于网站防止XSS攻击也是很好的。

2.HtmlParser

HtmlParser的功能比较完备,也挺灵活,但谈不上方便。这个项目很久没有维护了,最新版本是2.1。HtmlParser的核心元素是Node,对应一个HTML标签,支持getChildren()等树状遍历方式。HtmlParser另外一个核心元素是NodeFilter,通过实现NodeFilter接口,可以对页面元素进行筛选。这里有一篇HtmlParser的使用文章:使用 HttpClient和 HtmlParser实现简易爬虫。

3.Apache tika

tika是专为抽取而生的工具,还支持PDF、Zip甚至是JavaClass。使用tika分析HTML,需要自己定义一个抽取内容的Handler并继承org.xml.sax.helpers.DefaultHandler,解析方式就是xml标准的方式。crawler4j中就使用了tika作为解析工具。SAX这种流式的解析方式对于分析大文件很有用,我个人倒是认为对于解析html意义不是很大。

InputStream inputStream= null;

HtmlParser htmlParser= new HtmlParser();

htmlParser.parse(new ByteArrayInputStream(page.getContentData()),

contentHandler, metadata, new ParseContext());

4.HtmlCleaner与XPath

HtmlCleaner最大的优点是:支持XPath的方式选取元素。XPath是一门在XML中查找信息的语言,也可以用于抽取HTML元素。XPath与CSS Selector大部分功能都是重合的,但是CSS Selector专门针对HTML,写法更简洁,而XPath则是通用的标准,可以精确到属性值。XPath有一定的学习成本,但是对经常需要编写爬虫的人来说,这点投入绝对是值得的。

JAVA解析html

吧源文件找到,去掉html的符号就可以啦。给你看一段我写的,写的不好,还得改呢(*^__^*)嘻嘻……:

public String HtmlToTextGb2312(String inputString)

{

String htmlStr= inputString;//含html标签的字符串

String textStr="";

Pattern p_script;

Matcher m_script;

Pattern p_style;

Matcher m_style;

Pattern p_html;

Matcher m_html;

Pattern p_houhtml;

Matcher m_houhtml;

Pattern p_spe;

Matcher m_spe;

Pattern p_blank;

Matcher m_blank;

Pattern p_table;

Matcher m_table;

Pattern p_enter;

Matcher m_enter;

try{

String regEx_script="<[\\s]*?script[^>]*?>[\\s\\S]*?<[\\s]*?\\/[\\s]*?script[\\s]*?>";

//定义script的正则表达式.

String regEx_style="<[\\s]*?style[^>]*?>[\\s\\S]*?<[\\s]*?\\/[\\s]*?style[\\s]*?>";

//定义style的正则表达式.

String regEx_html="<[^>]+>";

//定义HTML标签的正则表达式

String regEx_houhtml="/[^>]+>";

//定义HTML标签的正则表达式

String regEx_spe="\\&[^;]+;";

//定义特殊符号的正则表达式

String regEx_blank="+";

//定义多个空格的正则表达式

String regEx_table="\t+";

//定义多个制表符的正则表达式

String regEx_enter="\n+";

//定义多个回车的正则表达式

p_script= Pattern.compile(regEx_script,Pattern.CASE_INSENSITIVE);

m_script= p_script.matcher(htmlStr);

htmlStr= m_script.replaceAll("");//过滤script标签

p_style= Pattern.compile(regEx_style,Pattern.CASE_INSENSITIVE);

m_style= p_style.matcher(htmlStr);

htmlStr= m_style.replaceAll("");//过滤style标签

p_html= Pattern.compile(regEx_html,Pattern.CASE_INSENSITIVE);

m_html= p_html.matcher(htmlStr);

htmlStr= m_html.replaceAll("");//过滤html标签

p_houhtml= Pattern.compile(regEx_houhtml,Pattern.CASE_INSENSITIVE);

m_houhtml= p_houhtml.matcher(htmlStr);

htmlStr= m_houhtml.replaceAll("");//过滤html标签

p_spe= Pattern.compile(regEx_spe,Pattern.CASE_INSENSITIVE);

m_spe= p_spe.matcher(htmlStr);

htmlStr= m_spe.replaceAll("");//过滤特殊符号

p_blank= Pattern.compile(regEx_blank,Pattern.CASE_INSENSITIVE);

m_blank= p_blank.matcher(htmlStr);

htmlStr= m_blank.replaceAll("");//过滤过多的空格

p_table= Pattern.compile(regEx_table,Pattern.CASE_INSENSITIVE);

m_table= p_table.matcher(htmlStr);

htmlStr= m_table.replaceAll("");//过滤过多的制表符

p_enter= Pattern.compile(regEx_enter,Pattern.CASE_INSENSITIVE);

m_enter= p_enter.matcher(htmlStr);

htmlStr= m_enter.replaceAll("");//过滤过多的制表符

textStr= htmlStr;

}catch(Exception e)

{

System.err.println("Html2Text:"+ e.getMessage());

}

return textStr;//返回文本字符串

}

如果你还想了解更多这方面的信息,记得收藏关注本站。

java上传文件用什么类,java 传输 获取文件类型用java做一个软件是什么意思啊,java软件开发到底是干什么的