首页 > 其他分享 >爬虫-破译百度翻译

爬虫-破译百度翻译

时间:2022-11-07 21:11:47浏览次数:51  
标签:__ sug url 爬虫 破译 headers json fp 百度

爬取一整张页面的局部数据

抓取ajkx包

这一步出现了一些问题,和老师的不一样,直接输入没有sug包,但是一个一个字母输入可以得到sug包

 代码如下:

import requests
import json
if __name__=='__main__':
    #获取url 注意此处的url为sug包里的url
    url = 'https://fanyi.baidu.com/sug'
    #将参数装入字典
    datas = input('输入要翻译的字符:')
    data = {'kw':datas}
    #伪造头
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0'
    }
    #发送请求(这里使用的是post)
    response = requests.post(url = url,data = data,headers = headers)
    #获取数据 与之前不一样的地方
    dic_obj = response.json()
    #持久化存储
    fp = open('./baidutrans','w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print('over!!!')
    #fp.close()

标签:__,sug,url,爬虫,破译,headers,json,fp,百度
From: https://www.cnblogs.com/L-1906/p/16863868.html

相关文章

  • Python 爬虫之Beautiful Soup
    网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、......
  • 最新抖音数据分析app爬虫
    我们提供封装好的抖音数据采集接口,实时采集,接口稳定。长期维护使用便宜接口使用详情请参考接口地址:github访问地址:github.com/ping0206guo…全部支持的接口如下,并且......
  • 【C#爬虫】使用C# 进行bing翻译爬取
    ​ 首先我们打开bing翻译页面并将浏览器控制台打开​编辑然后在文本框随便输入看右侧工作台中网络里面请求的变化经过多次输入​编辑可以看到每次输入字符后都会......
  • 爬虫基础
    一.爬虫基础网络爬虫(Crawler)又被称为网页蜘蛛(Spider),网络机器人,它是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本名词解释URL:UniformResourceLocator,即统......
  • flashpaper实现百度文库、豆丁网文档预览功能 - 坑
    最近公司实现一个类似百度文库的功能,发现FlashPaper还算能够不错的实现此需求。--后续会提到,这是一个坑首先讲下思路:1>安装FlashPaper;2>利用java代......
  • py爬虫数据到本地Excel表格
    效果图需要爬取的网页和内容程序目的:根据​​公众号文章​​中的内容,爬取文章的标题、发布时间、责任人署名、文章链接,将这个python程序打包成为exe文件,在运行exe文件时可以......
  • python爬虫,爬取51job 智联 58同城
    口182480171有源码和lun文词云图 ......
  • 盘点一个Python网络爬虫中请求参数的一个小坑
    大家好,我是皮皮。一、前言国庆期间在Python白银交流群【空翼】问了一个Python网络爬虫的问题,提问截图如下:二、实现过程这里【瑜亮老师】指出,一般情况下都是data=jso......
  • 爬虫-requests模块(1)爬取搜狗首页页面数据
    requests模块:python中原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率高作用:模拟浏览器发请求如何使用:(request编码的使用流程)请求url发起请求获取响应数据持......
  • Java爬虫工具Jsoup使用Demo
    导入依赖<dependencies><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.13.1</v......