Node.jsでWebページをダウンロードする


Node.jsでWebページをダウンロードするサンプルを写経してみました。

download(
  "http://www.google.co.jp",
  "google.html",
  function(){console.log("ok, google");});

download(
  "http://www.yahoo.co.jp",
  "yahoo.html",
  function(){console.log("ok, yahoo");});

function download(url, savepath, callback) {
	var http = require('http');
	var fs = require('fs');
	var outfile = fs.createWriteStream(savepath);
	var req = http.get(url, function(res) {
		res.pipe(outfile);
		res.on('end', function() {
			outfile.close();
			callback();
		});
	});
}

JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック

JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック