一、前置背景
1、URL定义
统一资源标识符（Uniform Resource Identifier ，URL）是采用一种特定语法标识一个资源的字符串。所标识的资源可能是服务器上的一个文件。Java的URL网络类可以让你通过URL去练级网络服务器并获取资源。
URL的格式如下：protocol://host:port/path?query#fragment
例如：https://www.baidu.com/
protocol（协议）可以是HTTP，HTTPS，FTP和File，port为端口号，path为文件路径及文件名。
URL类
Java的URL类可以让访问网络资源就像是访问你本地的文件夹一样方便快捷。我们通过使用Java的URL类 就可以经由URL完成读取和修改数据的操作。通过一个URL连接，我们就可以确定资源的位置，比如网络文件、网络页面以及网络应用程序等。其中包含了许多的语法元素。
构造函数
方法
使用案例
public class URLTest {
@Test
public void test01() {
URL u;
try {
u = new URL("https://www.baidu.com/");
//返回一个URLConnection实例，表示与URL引用的远程对象的URL 。
URLConnection uc = u.openConnection();
InputStream in = uc.getInputStream();
byte[] b = new byte[1024];
int len;
while ((len = in.read(b)) != -1) {
System.out.println(new String(b, 0, len));
}
in.close();
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
@Test
//获取URL网页数据
public void getFromURL2() {
URL u = null;
BufferedReader in = null;
try {
u = new URL("https://www.baidu.com/");
//openStream方法：打开此 URL ，并返回一个 InputStream ，以便从该连接读取。
in = new BufferedReader(new InputStreamReader(u.openStream(), "UTF-8"));
String str;
while ((str = in.readLine()) != null) {
System.out.println(str);
}
in.close();
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
} finally {
if (in != null) {
try {
in.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
}
}
2、Pattern和Matcher
Pattern和Matcher是用于解决String功能有限不足以解决问题的强大的正则表达式对象。
使用步骤：
1. 将String类型的正则表达式传入Pattern.compile（）中，生成Pattern对象，Pattern对象表示编译后的正则表达式
Pattern pattern = Pattern.compile("abc+"); //jdk解释：将给定的正则表达式编译到 模式 中。正则表达式：
2. 利用Pattern对象的matcher()生成Matcher对象，利用Matcher对象来进行一系列操作
Matcher matcher = pattern.matcher("abcdefg");参数为用于匹配的字符串
3. Matcher的常用方法有：
group()：匹配成功返回的组
find()：尝试查找与该模式匹配的输入序列的的下一个子序列。
示例：
public static void main(String[] args) {
Pattern pattern = Pattern.compile("\\w+"); //https://baike.baidu.com/item/%E6%AD%A3%E5%88%99%E8%A1%A8%E8%BE%BE%E5%BC%8F/1700215
Matcher matcher = pattern.matcher("how old are you");
while (matcher.find()) {
System.out.println(matcher.group()+" ");
}
}
二、爬虫实例
下面先实现一个单网页数据提取的功能。
package com.gqx;
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.Arrays;
import java.util.Collections;
import java.util.HashSet;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class URLDemo {
//爬取过的url
private static Set<String> oldSet = new HashSet<>();
private static Set<String> resultSet = new HashSet<>();
public static void main(String[] args) {
String urlStr = "https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC&enc=utf-8&wq=%E7%AC%94%E8%AE%B0%E6%9C%AC&pvid=71d09ef7ac384d039840ce5d3c6e38ef";
//授予及号码的匹配
Pattern p = Pattern.compile("<a .*href=.+</a>");
getHrefSet(urlStr, p);
Set<String> newUrlSet = new HashSet<>();
for (String str : resultSet) {
newUrlSet.add(str);
}
for (String newUrlStr : newUrlSet) {
getHrefSet(newUrlStr, p);
}
for (String str : resultSet) {
System.out.println(str);
}
}
public static HashSet getHrefSet(String urlStr, Pattern pattern) {
HashSet<String> result = new HashSet<>();
try {
//建立url爬取核心对象
URL url = new URL(urlStr);
//通过url建立与网页的连接
URLConnection conn = url.openConnection();
//通过链接取得网页返回的数据
InputStream is = conn.getInputStream();
//一般按行读取网页数据，并进行内容分析
//因此用BufferedReader和InputStreamReader把字节流转化为字符流的缓冲流
//进行转换时，需要处理编码格式问题
BufferedReader br = new BufferedReader(new InputStreamReader(is, "UTF-8"));
//按行读取并打印
String line = null;
while ((line = br.readLine()) != null) {
Matcher m = pattern.matcher(line);
// 通过Matcher类的group方法和find方法来进行查找和匹配
while (m.find()) {
String href = m.group();
//有无引号
href = href.substring(href.indexOf("href="));
if (href.charAt(5) == '\"') {
href = href.substring(6);
} else {
href = href.substring(5);
}
//截取到引号或者空格或者到">"结束
try {
href = href.substring(0, href.indexOf("\""));
} catch (Exception e) {
try {
href = href.substring(0, href.indexOf(" "));
} catch (Exception e1) {
href = href.substring(0, href.indexOf(">"));
}
}
if ((href.startsWith("http:") || href.startsWith("https:")) && !result.contains(href) ) {
resultSet.add(href);
}
}
}
br.close();
} catch (Exception e) {
System.out.println(e.getMessage());
}
return result;
}
}