Java爬虫入门(2) Jsoup使用

Jsoup介绍：

        一款Java对html的解析工具。

Jsoup的基础使用:

        导入Maven依赖:                

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.11.3</version>
</dependency>
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-lang3</artifactId>
    <version>3.1</version>
</dependency>

        Jsoup解析url：      

Document doc = Jsoup.parse(new URL("http://www.itcast.cn"), 1000);//访问时候的超时时间
String title = doc.getElementsByTag("title").first().text();//获取第一个title标签内容

        Jsoup解析文件:

                Document doc = Jsoup.parse(new File(html文件的绝对路径), "utf8"); 

        dom方式遍历文档:

        1、根据id查询元素getElementById        

        2、根据标签获取元素getElementsByTag

        3、根据class获取元素getElementsByClass

        4、根据属性获取元素getElementsByAttribute

        使用选择器获取元素:

                doc.select