由于58的APP筛房子没有各种排序，不好找房子，没有我爱我家的APP写的好，但是我爱我家又要中介费
就写了个程序爬取导出58所有房源，然后一览众山小
步骤如下
下载使用Charles
使用方法
https://blog.csdn.net/forebe/article/details/98945139
手机连接上Charles后保证能抓数据之后
打开58APP 设置你搜的租房条件
然后过滤请求
https://apphouse.58.com/api/list/chuzu/?focusActiveDict
接下来全选 右键保存到一个文件夹
然后随便创建一个项目 把代码贴进去 运行
运行代码
package com.songaw.pachong;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
/**
* @author songanwei
* @description todo
* @date 2022/8/31
*/
public class WubaPachong {
public static void main(String[] args) {
File dir=new File("/Users/mac/Desktop/58");
List<JSONObject> jsonList=new ArrayList<>();
if(dir.isDirectory()){
File[] jsonFiles=dir.listFiles();
if(jsonFiles!=null&&jsonFiles.length>0){
for(File jsonFile:jsonFiles){
String jsonStr=readFile(jsonFile);
jsonStr=jsonStr.replaceAll("\n","").replaceAll("\t","");
if(jsonStr==null){
continue;
}
try{
JSONObject jsonObject=JSON.parseObject(jsonStr);
jsonList.add(jsonObject);
}catch (Exception e){
e.printStackTrace();
}
}
}
}
if(jsonList.size()>0){
exportPachong("58租房",jsonList);
}
}
private static String readFile(File file){
String line=null;
FileInputStream fis=null;
try {
fis = new FileInputStream(file);
byte[] data = new byte[(int) file.length()];
fis.read(data);
line = new String(data, StandardCharsets.UTF_8);
}catch (Exception e){
return null;
}finally {
if(fis!=null) {
try {
fis.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
return line;
}
public static void exportPachong(String title, List<JSONObject> excelMapList){
// 序号 抓取时间 发布平台 板块 子版块 榜单名字 榜单地址 第1个产品名字 第2个产品名字 第3个产品名字 第4个产品名字 第5个产品名字 第6个产品名字 第7个产品名字 第8个产品名字 第9个产品名字 第10个产品名字
Date now = new Date();
SimpleDateFormat sdf = new SimpleDateFormat("yyyy/MM/dd");
String dateStr=sdf.format(now);
List<Object[]> dataList = new ArrayList<Object[]>();
int count=0;
for (int i = 0; i < excelMapList.size(); i++) {
JSONObject jsonObject = excelMapList.get(i).getJSONObject("result");
JSONObject getListInfo=jsonObject.getJSONObject("getListInfo");
if(getListInfo==null){
continue;
}
JSONArray infolist=getListInfo.getJSONArray("infolist");
if(infolist==null){
continue;
}
for(int j=0;j<infolist.size();j++){
count++;
JSONObject info=infolist.getJSONObject(j);
List<Object> elementList=new ArrayList<>();
elementList.add(""+count);
elementList.add(dateStr);
elementList.add(info.get("title") == null ? "" : info.get("title").toString());
elementList.add(info.get("huxing") == null ? "" : info.get("huxing").toString());
elementList.add(info.get("area") == null ? "" : info.get("area").toString().replace("㎡",""));
elementList.add(info.get("price") == null ? "" : info.get("price").toString().replace("元/月",""));
elementList.add(info.get("date") == null ? "" : info.get("date").toString());
String tuijian="";
try {
tuijian = info.getJSONObject("recommendReason").getString("text");
}catch (Exception e){
e.printStackTrace();
}
elementList.add(tuijian);
elementList.add(info.get("lastLocal") == null ? "" : info.get("lastLocal").toString());
String local_address="";
try {
local_address = info.getJSONObject("distanceDict").getString("local_address");
}catch (Exception e){
e.printStackTrace();
}
elementList.add(local_address);
String louceng="";
String chaoxiang="";
String jingwei="";
try {
louceng = info.getJSONObject("detailaction").getJSONObject("content").getJSONObject("preLoadInfo")
.getJSONObject("result").getJSONArray("info").getJSONObject(5).getJSONObject("zf_titleinfo_area")
.getJSONArray("base_info").getJSONObject(2).getString("title");
chaoxiang = info.getJSONObject("detailaction").getJSONObject("content").getJSONObject("preLoadInfo")
.getJSONObject("result").getJSONArray("info").getJSONObject(5).getJSONObject("zf_titleinfo_area")
.getJSONArray("base_info").getJSONObject(3).getString("title");
}catch (Exception e){
e.printStackTrace();
}
elementList.add(louceng);
elementList.add(chaoxiang);
try {
String xq_lat=info.getJSONObject("detailaction").getJSONObject("content").getJSONObject("preLoadInfo")
.getJSONObject("result").getJSONArray("info").getJSONObject(13).getJSONObject("zf_simplemap_trip").getString("xq_lat");
String xq_lon=info.getJSONObject("detailaction").getJSONObject("content").getJSONObject("preLoadInfo")
.getJSONObject("result").getJSONArray("info").getJSONObject(13).getJSONObject("zf_simplemap_trip").getString("xq_lon");
jingwei = xq_lat+","+xq_lon;
}catch (Exception e){
e.printStackTrace();
}
elementList.add(info.get("usedTages") == null ? "" : info.get("usedTages").toString());
elementList.add(jingwei);
Object[] element =new String[elementList.size()];
for(int k=0;k<elementList.size();k++) {
element[k]=elementList.get(k);
}
dataList.add(element);
}
}
String[] rowName = {"序号",
"抓取时间",
"标题",
"户型",
"面积",
"价格",
"发布时间",
"推荐内容",
"地址1",
"地址2",
"楼层",
"朝向",
"Tag",
"经纬度"
};
try {
String fileUrl=title+new SimpleDateFormat("yyyy年MM月dd日_HH").format(new Date())+".xls";
File file = new File("/tmp/"+fileUrl);
HSSFWorkbook workbook;
if(file.exists()) {
workbook=new HSSFWorkbook(new FileInputStream(file));
workbook = PoiUtils.export2(workbook,title, rowName, dataList);
}else{
workbook = PoiUtils.export(title, rowName, dataList);
}
// Excel的名字
FileOutputStream outputStream = new FileOutputStream(file);
workbook.write(outputStream);
System.out.println("抓取成功");
outputStream.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
工具类
package com.songaw.pachong;
import com.alibaba.fastjson.JSONObject;
import org.apache.poi.hssf.usermodel.*;
import org.apache.poi.hssf.util.CellRangeAddress;
import org.apache.poi.hssf.util.HSSFColor;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
/**
* @Description:excel导出工具类
* @Author: dk
* @Date: 2020/1/14 9:49
*/
public class PoiUtils {
public static void exportPachong(String title, List<JSONObject> excelMapList,Call call){
// 序号 发布时间 抓取时间 发布平台 板块 子版块 品牌 内容地址 内容形式（图文/直播/视频） 标题 阅读数/曝光量/播放量 互动量（助力） 点赞数 评论数 收藏数 转发数 发布者昵称 发布者认证信息 发布者粉丝数 发布者个人主页点赞数 发布者关注数
String[] rowName = {"序号",
"发布时间",
"抓取时间",
"发布平台",
"板块",
"子版块",
"品牌",
"内容地址",
"内容形式（图文/直播/视频）",
"标题",
"阅读数/曝光量/播放量",
"互动量（助力）",
"点赞数",
"评论数",
"收藏数",
"转发数",
"发布者昵称",
"发布者认证信息",
"发布者粉丝数",
"发布者个人主页点赞数",
"发布者关注数"};
List<Object[]> dataList = new ArrayList<Object[]>();
for (int i = 0; i < excelMapList.size(); i++) {
JSONObject jsonObject = excelMapList.get(i);
Object[] element =call.call(i,jsonObject);
dataList.add(element);
}
try {
String fileUrl=title+new SimpleDateFormat("yyyy年MM月dd日_HH").format(new Date())+".xls";
File file = new File("/tmp/"+fileUrl);
HSSFWorkbook workbook;
if(file.exists()) {
workbook=new HSSFWorkbook(new FileInputStream(file));
workbook = PoiUtils.export2(workbook,title, rowName, dataList);
}else{
workbook = PoiUtils.export(title, rowName, dataList);
}
// Excel的名字
FileOutputStream outputStream = new FileOutputStream(file);
workbook.write(outputStream);
outputStream.close();
System.out.println("爬取完成");
} catch (Exception e) {
e.printStackTrace();
}
}
abstract static class Call{
abstract Object[] call(int i,JSONObject jsonObject);
}
/**
* excel导出数据
*
* @param title 显示的导出表的标题
* @param rowName 导出表的列名
* @param dataList 表的内容
* @return
*/
public static HSSFWorkbook export(String title, String[] rowName, List<Object[]> dataList) throws Exception {
HSSFWorkbook workbook = new HSSFWorkbook(); // 创建工作簿对象
HSSFSheet sheet = workbook.createSheet(title); // 创建工作表
// 产生表格标题行
HSSFRow rowm = sheet.createRow(0);
HSSFCell cellTiltle = rowm.createCell(0);
// sheet样式定义【getColumnTopStyle()/getStyle()均为自定义方法 - 在下面 - 可扩展】
HSSFCellStyle columnTopStyle = getColumnTopStyle(workbook);// 获取列头样式对象
HSSFCellStyle style = getStyle(workbook); // 单元格样式对象
sheet.addMergedRegion(new CellRangeAddress(0, 1, 0, (rowName.length - 1)));
cellTiltle.setCellStyle(columnTopStyle);
cellTiltle.setCellValue(title);
// 定义所需列数
int columnNum = rowName.length;
HSSFRow rowRowName = sheet.createRow(2); // 在索引2的位置创建行(最顶端的行开始的第二行)
// 将列头设置到sheet的单元格中
for (int n = 0; n < columnNum; n++) {
HSSFCell cellRowName = rowRowName.createCell(n); // 创建列头对应个数的单元格
cellRowName.setCellType(HSSFCell.CELL_TYPE_STRING); // 设置列头单元格的数据类型
HSSFRichTextString text = new HSSFRichTextString(rowName[n]);
cellRowName.setCellValue(text); // 设置列头单元格的值
cellRowName.setCellStyle(columnTopStyle); // 设置列头单元格样式
}
// 将查询出的数据设置到sheet对应的单元格中
for (int i = 0; i < dataList.size(); i++) {
Object[] obj = dataList.get(i);// 遍历每个对象
HSSFRow row = sheet.createRow(i + 3);// 创建所需的行数
for (int j = 0; j < obj.length; j++) {
HSSFCell cell = null; // 设置单元格的数据类型
cell = row.createCell(j, HSSFCell.CELL_TYPE_STRING);
if (!"".equals(obj[j]) && obj[j] != null) {
cell.setCellValue(obj[j].toString()); // 设置单元格的值
}else{
cell.setCellValue("");
}
cell.setCellStyle(style); // 设置单元格样式
}
}
// 让列宽随着导出的列长自动适应
for (int colNum = 0; colNum < columnNum; colNum++) {
int columnWidth = sheet.getColumnWidth(colNum) / 256;
for (int rowNum = 0; rowNum < sheet.getLastRowNum(); rowNum++) {
HSSFRow currentRow;
// 当前行未被使用过
if (sheet.getRow(rowNum) == null) {
currentRow = sheet.createRow(rowNum);
} else {
currentRow = sheet.getRow(rowNum);
}
if (currentRow.getCell(colNum) != null) {
HSSFCell currentCell = currentRow.getCell(colNum);
if (currentCell.getCellType() == HSSFCell.CELL_TYPE_STRING) {
int length=0;
try {
if (currentCell != null && currentCell.getStringCellValue() != null) {
length = currentCell.getStringCellValue().getBytes().length;
}
}catch (Exception e){
}
if (columnWidth < length) {
columnWidth = length;
}
}
}
}
try {
if (colNum == 0) {
sheet.setColumnWidth(colNum, (columnWidth - 2) * 256);
} else {
sheet.setColumnWidth(colNum, (columnWidth + 4) * 256);
}
}catch (Exception e){
}
}
return workbook;
}
/**
* excel导出数据
*
* @param title 显示的导出表的标题
* @param rowName 导出表的列名
* @param dataList 表的内容
* @return
*/
public static HSSFWorkbook export2(HSSFWorkbook workbook,String title, String[] rowName, List<Object[]> dataList) throws Exception {
HSSFSheet sheet = workbook.getSheet(title); // 创建工作表
// 产生表格标题行
// sheet样式定义【getColumnTopStyle()/getStyle()均为自定义方法 - 在下面 - 可扩展】
HSSFCellStyle columnTopStyle = getColumnTopStyle(workbook);// 获取列头样式对象
HSSFCellStyle style = getStyle(workbook); // 单元格样式对象
sheet.addMergedRegion(new CellRangeAddress(0, 1, 0, (rowName.length - 1)));
// 定义所需列数
int columnNum = rowName.length;
int lastRowNum= sheet.getLastRowNum();
// 将查询出的数据设置到sheet对应的单元格中
for (int i = 0; i < dataList.size(); i++) {
Object[] obj = dataList.get(i);// 遍历每个对象
HSSFRow row = sheet.createRow(i +lastRowNum+1);// 创建所需的行数
for (int j = 0; j < obj.length; j++) {
HSSFCell cell = null; // 设置单元格的数据类型
cell = row.createCell(j, HSSFCell.CELL_TYPE_STRING);
if (!"".equals(obj[j]) && obj[j] != null) {
cell.setCellValue(obj[j].toString()); // 设置单元格的值
}
cell.setCellStyle(style); // 设置单元格样式
}
}
// 让列宽随着导出的列长自动适应
for (int colNum = 0; colNum < columnNum; colNum++) {
int columnWidth = sheet.getColumnWidth(colNum) / 256;
for (int rowNum = 0; rowNum < sheet.getLastRowNum(); rowNum++) {
HSSFRow currentRow;
// 当前行未被使用过
if (sheet.getRow(rowNum) == null) {
currentRow = sheet.createRow(rowNum);
} else {
currentRow = sheet.getRow(rowNum);
}
if (currentRow.getCell(colNum) != null) {
HSSFCell currentCell = currentRow.getCell(colNum);
if (currentCell.getCellType() == HSSFCell.CELL_TYPE_STRING) {
int length=0;
try {
if (currentCell != null && currentCell.getStringCellValue() != null) {
length = currentCell.getStringCellValue().getBytes().length;
}
}catch (Exception e){
}
if (columnWidth < length) {
columnWidth = length;
}
}
}
}
try {
if (colNum == 0) {
sheet.setColumnWidth(colNum, (columnWidth - 2) * 256);
} else {
sheet.setColumnWidth(colNum, (columnWidth + 4) * 256);
}
}catch (Exception e){
}
}
return workbook;
}
/**
* 列头单元格样式
*
* @param workbook
* @return
*/
public static HSSFCellStyle getColumnTopStyle(HSSFWorkbook workbook) {
// 设置字体
HSSFFont font = workbook.createFont();
// 设置字体大小
font.setFontHeightInPoints((short) 11);
// 字体加粗
font.setBoldweight(HSSFFont.BOLDWEIGHT_BOLD);
// 设置字体名字
font.setFontName("Courier New");
// 设置样式;
HSSFCellStyle style = workbook.createCellStyle();
// 设置底边框
style.setBorderBottom(HSSFCellStyle.BORDER_THIN);
// 设置底边框颜色
style.setBottomBorderColor(HSSFColor.BLACK.index);
// 设置左边框
style.setBorderLeft(HSSFCellStyle.BORDER_THIN);
// 设置左边框颜色
style.setLeftBorderColor(HSSFColor.BLACK.index);
// 设置右边框
style.setBorderRight(HSSFCellStyle.BORDER_THIN);
// 设置右边框颜色
style.setRightBorderColor(HSSFColor.BLACK.index);
// 设置顶边框
style.setBorderTop(HSSFCellStyle.BORDER_THIN);
// 设置顶边框颜色
style.setTopBorderColor(HSSFColor.BLACK.index);
// 在样式用应用设置的字体
style.setFont(font);
// 设置自动换行
style.setWrapText(false);
// 设置水平对齐的样式为居中对齐
style.setAlignment(HSSFCellStyle.ALIGN_CENTER);
// 设置垂直对齐的样式为居中对齐
style.setVerticalAlignment(HSSFCellStyle.VERTICAL_CENTER);
return style;
}
/**
* 列数据信息单元格样式
*
* @param workbook
* @return
*/
public static HSSFCellStyle getStyle(HSSFWorkbook workbook) {
// 设置字体
HSSFFont font = workbook.createFont();
// 设置字体大小
// font.setFontHeightInPoints((short)10);
// 字体加粗
// font.setBoldweight(HSSFFont.BOLDWEIGHT_BOLD);
// 设置字体名字
font.setFontName("Courier New");
// 设置样式;
HSSFCellStyle style = workbook.createCellStyle();
// 设置底边框
style.setBorderBottom(HSSFCellStyle.BORDER_THIN);
// 设置底边框颜色
style.setBottomBorderColor(HSSFColor.BLACK.index);
// 设置左边框
style.setBorderLeft(HSSFCellStyle.BORDER_THIN);
// 设置左边框颜色
style.setLeftBorderColor(HSSFColor.BLACK.index);
// 设置右边框
style.setBorderRight(HSSFCellStyle.BORDER_THIN);
// 设置右边框颜色
style.setRightBorderColor(HSSFColor.BLACK.index);
// 设置顶边框
style.setBorderTop(HSSFCellStyle.BORDER_THIN);
// 设置顶边框颜色
style.setTopBorderColor(HSSFColor.BLACK.index);
// 在样式用应用设置的字体
style.setFont(font);
// 设置自动换行
style.setWrapText(false);
// 设置水平对齐的样式为居中对齐
style.setAlignment(HSSFCellStyle.ALIGN_CENTER);
// 设置垂直对齐的样式为居中对齐
style.setVerticalAlignment(HSSFCellStyle.VERTICAL_CENTER);
return style;
}
}
效果：
标签：info,style,sheet,58,getJSONObject,房源,爬取,workbook,null From： https://www.cnblogs.com/songanwei/p/16644076.html