Java实现批量下载《神秘的程序员》漫画

上周看了西乔的博客“西乔的九卦”。《神秘的程序员们》系列漫画感觉很喜欢，很搞笑。这些漫画经常出现在CSDN“程序员”杂志末页的，以前也看过一些。

后来就想下载下来，但是一张一张的点击右键“另存为”，还有很多时候要点击“下一页，”确实让人淡疼。就想着写个程序搞定，自认确实水平一般，查阅了很多资料后，终于搞定。。。

大体的下载过程就是从网页url不断获取html源码的字符串，遇到图片地址，就下载，遇到下一页的地址，就修改原来的url为下一页的url，然后重复上一过程。

1.下载网络图片

首先要解决的是根据url下载单个网络图片的问题。之前确实没有这方面的经验。于是就问度娘，百度多了好几份代码，大都下载的图片效果很差。后来终于找到一个可行的，在此感谢作者。http://www.open-open.com/lib/view/open1329995970842.html

先贴出作者原代码，最终还要修改

package action;

import java.io.DataInputStream;
import java.io.DataOutputStream;
import java.io.FileOutputStream;
import java.net.HttpURLConnection;
import java.net.URL;

public class Getpic {
	public Getpic() {
	}

	public static boolean saveUrlAs(String fileUrl, String savePath)/* fileUrl网络资源地址 */
	{

		try {
			/* 将网络资源地址传给,即赋值给url */
			URL url = new URL(fileUrl);
			
			/* 此为联系获得网络资源的固定格式用法，以便后面的in变量获得url截取网络资源的输入流 */
			HttpURLConnection connection = (HttpURLConnection) url.openConnection();
			DataInputStream in = new DataInputStream(connection.getInputStream());
			
			/* 此处也可用BufferedInputStream与BufferedOutputStream  需要保存的路径*/
			DataOutputStream out = new DataOutputStream(new FileOutputStream(savePath));
			
			
			/* 将参数savePath，即将截取的图片的存储在本地地址赋值给out输出流所指定的地址 */
			byte[] buffer = new byte[4096];
			int count = 0;
			while ((count = in.read(buffer)) > 0)/* 将输入流以字节的形式读取并写入buffer中 */
			{
				out.write(buffer, 0, count);
			}
			out.close();/* 后面三行为关闭输入输出流以及网络资源的固定格式 */
			in.close();
			connection.disconnect();
			return true;/* 网络资源截取并存储本地成功返回true */

		} catch (Exception e) {
			System.out.println(e + fileUrl + savePath);
			return false;
		}
	}

	public static void main(String[] args) {
		Getpic pic = new Getpic();/* 创建实例 */
		
		//需要下载的URL
		String photoUrl = "http://hiphotos.baidu.com/yanshennan/pic/item/03a505c8bcbaf6557f3e6f8a.jpg";

		// 截取最后/后的字符串
		String fileName = photoUrl.substring(photoUrl.lastIndexOf("/"));
		
		//图片保存路径
		String filePath = "E:";
		
		/* 调用函数，并且进行传参 */
		boolean flag = pic.saveUrlAs(photoUrl, filePath + fileName);
		
		System.out.println("Run ok!\n Get URL file " + flag);
		System.out.println(filePath);
		System.out.println(fileName);
	}

}

2.提取出图片URL

我们可以轻松的获得一个html网页的源代码，图片地址也包含其中，接下来要做的就是如何从这些html代码中分析出图片的网络地址。我想到的就是“正则表达式”，原来只是用正则表达式在android里面匹配过电话号码-_-#，正则表达式确实博大精深。。一时半会真的吃不透。。以后慢慢学习啦。

这里我们看一点西乔博客的html源码

<a href="http://blog.xiqiao.info/blogimg/programmers/53_run_result.gif">点击看大图</a></p>
<p style="text-align: center;"><a href="http://blog.xiqiao.info/blogimg/programmers/53_run_result.gif" target="_blank"><img title=" 运行结果——《神秘的程序员们》系列漫画" src="http://blog.xiqiao.info/blogimg/programmers/53_run_result_thumb.gif" alt=" 运行结果——《神秘的程序员们》系列漫画" /></a></p>

其中包含有图片地址。用buffer的readLine方法得到的是一行行的字符串，也就是遇到\r，\n结束的字符串，所以虽然下面那一行很长，但是也是只会得到一个字符串。

开始我的想法是截取第一段中的图片地址，但是后来发现问题，这段代码代表的是原网页中“点击看大图”的链接。而《神秘的程序员》系列博文里有的是没有这个“点击看大图”的文字链接。于是我就想截取下一段，字符串。

但是这段字符串包含两个图片网址，其中一个是高清大图，另一个是一般的大小。你或许会说那就下高清的吧，确实，但是有的博文图片偏偏是没有高清的，这样匹配起来又会出问题，或许你可以根据判断语句来区别对待，优先下载高清的，没有就下载普通的。但是我这里为了实现起来简单，就统一下载一般大小的图片了。

下面是我蛋疼的正则表达式，写法有很多。。

Pattern p1 = Pattern.compile(".*src.*[gif|jpg].*");

匹配出来，还要再提取出来，正则应该也可以做到，但是我还是选择用字符串取子串的方法来写，更简单。

String line = inputLine.substring(inputLine.indexOf("src"),inputLine.lastIndexOf("\" alt"));
Url = line.substring(line.indexOf("http"));

3.获取下一页

实际上漫画是在很多个网页中的。你看漫画的时候也要点击，下一页，下一页。就是网页上的“← Older Entries”

原网页html代码

<ul class="navigation">
        <li class="left"><a href="http://blog.xiqiao.info/category/programmers/page/3" >← Older Entries</a></li>
	<li class="right"><a href="http://blog.xiqiao.info/category/programmers/" >Newer Entries →</a></li>
</ul>

上面，是一个上一页，一个下一页。要找出他，同样使用正则匹配。我写的烂，大家可自由发挥。

Pattern p2 = Pattern.compile(".*<li class=\"left\"><a href=\"http://blog.xiqiao.info/category/programmers/page/.*");

提取比较简单

Url = "http"+inputLine.substring(inputLine.indexOf(':'),inputLine.lastIndexOf('"'));

4.完整代码

//package com.xiqiao;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import java.io.DataInputStream;
import java.io.DataOutputStream;
import java.io.FileOutputStream;
import java.net.HttpURLConnection;
/**
 * 批量下载“西乔的九卦”中的系列漫画《神秘的程序员》
 * @author guodongxiaren
 * 2013/11/14
 */
public class DownLoad {

    private String path = "http://blog.xiqiao.info/category/programmers";
    private String filePath = "D:/day/net/pic";//可以改成你自己的路径，注意必须是已存在的路径
    private String fileName = null;
    private String Url = null;
    private Pattern p1 = Pattern.compile(".*src.*[gif|jpg].*");
    private Pattern p2 = Pattern.compile(".*<li class=\"left\"><a href=\"http://blog.xiqiao.info/category/programmers/page/.*");
    
    public static void  main(String[]args)throws IOException{
	DownLoad ia = new DownLoad();
	ia.start();
    }
/**
 * 解析出图片下载地址及图片名称
 * @param inputLine
 */
	public void AddResolution(String inputLine)
	{
	    String line = inputLine.substring(inputLine.indexOf("src"),inputLine.lastIndexOf("\" alt"));
	    Url = line.substring(line.indexOf("http"));
	    System.out.println(Url);
             //为了便于查看图片，我把所有图片都改成jpg。。因为gif图片经常会用浏览器打开-_-#
         fileName = Url.substring(Url.lastIndexOf("/"),Url.lastIndexOf("."))+".jpg";
    }
	
/**
 * 开始下载
 * @throws IOException
 */
	public void start() throws IOException{
		URL name = new URL(path);
		URLConnection conn = name.openConnection();
		InputStream input = conn.getInputStream();
		InputStreamReader isr = new InputStreamReader(input);
		BufferedReader buffer = new BufferedReader(isr);
		String inputLine=null;

		Getpic pic = new Getpic();
		while((inputLine=buffer.readLine())!=null){
			Matcher matcher1 = p1.matcher(inputLine);
			Matcher matcher2 = p2.matcher(inputLine);
			try{
			if(matcher1.matches()){
				AddResolution(inputLine);
				boolean flag = pic.saveUrlAs(Url, filePath + fileName);
		
				System.out.println("Get URL file " + flag);
				System.out.println(filePath);
				System.out.println(fileName+" save successful");
				}
			}catch(StringIndexOutOfBoundsException e){}
			if(matcher2.matches()){
		         Url = "http"+inputLine.substring(inputLine.indexOf(':'),inputLine.lastIndexOf('"'));
				name = new URL(Url);
				conn = name.openConnection();
				input = conn.getInputStream();
				isr = new InputStreamReader(input);
				buffer = new BufferedReader(isr);
			}
		}
		System.out.println("Successful");
	}


/**
 * 感谢这段代码原作者
 * @author http://www.open-open.com/lib/view/open1329995970842.html
 * 内部类Getpic
 */
    class Getpic {
	public  boolean saveUrlAs(String fileUrl, String savePath)
	{
		try {
			URL url = new URL(fileUrl);
			
			HttpURLConnection connection = (HttpURLConnection) url.openConnection();
			DataInputStream in = new DataInputStream(connection.getInputStream());
			
			DataOutputStream out = new DataOutputStream(new FileOutputStream(savePath));
			
			byte[] buffer = new byte[4096];
			int count = 0;
			while ((count = in.read(buffer)) > 0)
			{
				out.write(buffer, 0, count);
			}
			out.close();
			in.close();
			connection.disconnect();
			return true;

		} catch (Exception e) {
			System.out.println(e + fileUrl + savePath);
			return false;
		}
	}
  }
}