首页 > 其他分享 >爬虫-地铁站POI数据

爬虫-地铁站POI数据

时间:2022-11-22 22:22:30浏览次数:66  
标签:url 地铁站 ak 爬虫 data json params POI rsp

1. 获取Web服务API

百度地图开放平台

2. 准备url

# -- coding:utf-8 --
import json
import requests

ak = '申请的访问应用(AK)'
params = {
    'query': '地铁站',
    'tag': '交通设施',
    'region': '武汉',
    'output': 'json',
    'scope': '1',
    'ak': ak,
    'page_size': 10,
    'page_num': 0
}
url = 'https://api.map.baidu.com/place/v2/search?'

3. 返回数据

data = []
flag = 1
while flag:
    rsp = requests.get(url, params=params)
    if rsp.json()['results']:
        params['page_num'] += 1
        for i in rsp.json()['results']:
            data.append(i)
    else:
        flag = 0
print(len(data))
# print(rsp.url)
with open('poi.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, indent=4, ensure_ascii=False)

标签:url,地铁站,ak,爬虫,data,json,params,POI,rsp
From: https://www.cnblogs.com/khrushchefox/p/16916709.html

相关文章

  • java爬虫
    创建Maven工程加入依赖<!--https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient--><dependency><groupId>org.apache.httpcomponents</gr......
  • BZOJ3747-[POI2015]Kinoman
    Description共有m部电影,编号为1~m,第i部电影的好看值为w[i]。在n天之中(从1~n编号)每天会放映一部电影,第i天放映的是第f[i]部。你可以选择l,r(1<=l<=r<=n),并观......
  • Java实现网络爬虫 案例代码
    Java实现网络爬虫案例代码需求说明搭建开发环境,实现《三国演义》全文保存在本地 步骤分析访问网址:http://www.shicimingju.com/book/sanguoyanyi.html分析网站URL......
  • 爬虫为什么喜欢用 python
    说到网络爬虫,相信大家都很熟悉。爬虫可以捕捉某个网站或应用程序的内容,提取有用的价值信息。爬虫可以使用多种编程语言,但Python确实是很常用的。你知道为什么吗?让......
  • docker PANIC: could not locate a valid checkpoint record
    dockerpostgresql启动异常一般是非正常的关闭造成事务的日志文件损坏了恢复办法关闭或者删除当前容器使用交互方式启动dockerrun-it-v/Users/jimogangdan/......
  • Python爬虫异常怎么用邮件来通知
    正常企业做数据抓取经常会遇到各种故障问题,那么在人不能随时盯着爬虫电脑来防止错误,就需要用email来向自己报告。SMTP邮件协议是Python内置是支持的,他不仅可以发送纯文本的......
  • Apache poi
    前言开发中经常会涉及到excel的处理,如导出Excel到数据库中,读取Excel内容!操作Excel目前比较流行的就是ApachePOI和阿里巴巴的easyExcel 将用户信息导出为excel表格讲E......
  • NPOI Excel导入:时间格式2022/5/26导入变成26-5月-2022
    //NPOI导入日期格式处理stringmytime=dateStr.Trim();//dateStr为Excel导入的日期值IFormatProviderculture=newCultureInfo("zh-CN",true);......
  • go 实现爬虫
    一:使用go获取远程图片存储在本地案例1>生成随机数len:=32bytes:=make([]byte,len)r:=rand.New(rand.NewSource(time.Now().Unix()))fori:=0;i<len;i++{......
  • WordPress编辑器支持PowerPoint一键粘贴
    ​如何做到ueditor批量上传word图片?1、前端引用代码<!DOCTYPE html PUBLIC "-//W3C//DTDXHTML1.0Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-......