首页 > 其他分享 >爬虫-肯德基餐厅信息查询

爬虫-肯德基餐厅信息查询

时间:2022-10-27 22:03:39浏览次数:57  
标签:肯德基 爬虫 headers json cname params 餐厅 pi rsp

1. 导包

import requests
import json

2. 初步获取数据

url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?"
op = ["cname", "pid", "keyword"]
cname = input("请输入需要查询的城市: ")
pid = ""  # "31"表示有Wi-Fi
kw = input("餐厅关键字: ")
pi = "1"   # 页面索引
ps = "10"  # 一页包含十条数据
params = {
    "op": op[2],
    "cname": cname,
    "pid": pid,
    "keyword": kw,
    "pageIndex": pi,
    "pageSize": ps
}
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 "
                  "Safari/537.36 Edg/106.0.1370.42"
}

rsp = requests.post(url, params, headers=headers)
# Content-Type: text/plain; charset=utf-8, 响应数据以json格式编写
dict_data = rsp.json()

3. 获取所有数据

flag = True
while flag:
    pi = str(int(pi) + 1)
    params["pageIndex"] = pi
    rsp = requests.post(url, params, headers=headers)
    if not rsp.json()["Table1"]:
        break
    for i in rsp.json()["Table1"]:
        dict_data["Table1"].append(i)

4. 持久化存储

with open("v_me_50.json", 'w', encoding="utf-8") as f:
    json.dump(dict_data, f, indent=4, ensure_ascii=False)

标签:肯德基,爬虫,headers,json,cname,params,餐厅,pi,rsp
From: https://www.cnblogs.com/khrushchefox/p/16834144.html

相关文章

  • python爬虫 数据解析
      RegularRxpression正则表达式(字符串语法匹配)常用元字符:  量词:  贪婪匹配(到最后一个匹配项停止,即全部匹配)和惰性匹配(匹配尽量少的对象,使用到回溯算法:先......
  • 爬虫程序为啥使用了HTTP代理仍然无法正常工作
     以前我们讲过,爬虫程序工作基本上是离不开HTTP代理的,但是很多时候,我即使用上了代理,爬虫的工作情况仍不尽如人意,这是为什么呢?一、提高HTTP代理质量。不少......
  • 网络爬虫之requests模块,自动办公领域之openpyx模块
    一、第三方模块的下载与使用  第三方模块:别人写的模块,一般情况下功能都特别强大  我们如果想使用第三方模块,第一次必须先下载,后面才可以反复使用(等同于内置模块......
  • python爬虫获取tap帖子
    1.tap帖子数据获取代码中cookie为登陆后页面抓包的cookie,其中详情页需要3种拼接url,第一种是链接中含有topic,第二种中含有moment,第三种是视频,其中含有videoimportr......
  • 第三方模块的下载与使用,网络爬虫模块之requests模块,自动化办公领域之openpyxl模块
    第三方模块的下载与使用第三方模块:别人写的模块一般情况下功能都特别强大我们如果想使用第三方模块第一次必须先下载后面才可以反复使用(等同于内置模块)下载......
  • 网络爬虫以及自动化办公基础
    Day22网络爬虫以及自动化办公基础作业讲解第三方模块下载与使用网络爬虫模块之request模块网络爬虫实践之爬取链家二手房数据自动化办公领域openpyx今日内容详细1......
  • 第三方模块下载与使用,爬虫requests模块,自动化办公领域openpyxl模块,pandas初见
    目录昨日内容回顾第三方模块下载与使用,爬虫requests模块,自动化办公领域openpyxl模块,pandas初见今日内容概要今日内容详细第三方模块的下载与使用网络爬虫模块之requests模......
  • python爬虫练习3
    说明python3.6.132位获取豆瓣电影推荐页电影详情,参考网址​​​https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&......
  • python爬虫练习2
    难度★目标网站​​http://quotes.toscrape.com/tag/humor/​​用到库scrapy1.4系统说明python3.6.164位目标获取名言与作者等(分页)新建文件quotes_spider.py,输入一下代码:i......
  • python爬虫练习1
    目录索引:​​python爬虫练习6:今日头条搜索图集​​​​python爬虫练习5:博客阅读量助手​​python爬虫练习4:刷浏览量​​python爬虫练习3:豆瓣电影推荐页电影详情​​​​pyth......