首页 > 其他分享 >第八周总结(2024.8.24)

第八周总结(2024.8.24)

时间:2024-09-02 09:05:23浏览次数:12  
标签:24 __ name 2024.8 第八 headers html find browser

import time
from selenium import webdriver
import requests
 
# 请求URL
url = '<https://weibo.com/>'
# 请求头部
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
 
# 解析页面函数
def parse_html(html):
print(html)
 
# 保存数据函数
def save_data():
f = open('weibo.txt', 'w', encoding='utf-8')
browser = webdriver.Chrome()
browser.get(url)
time.sleep(10)
browser.find_element_by_name('username').send_keys('username')
browser.find_element_by_name('password').send_keys('password')
browser.find_element_by_class_name('W_btn_a').click()
time.sleep(10)
response = requests.get(url, headers=headers, cookies=browser.get_cookies())
parse_html(response.text)
browser.close()
f.close()
 
if __name__ == '__main__':
save_data()

 

标签:24,__,name,2024.8,第八,headers,html,find,browser
From: https://www.cnblogs.com/Sunyiran/p/18392106

相关文章

  • 第九周总结(2024.8.31)
    packagecom.java.hadoop.hive;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement;importjava.sql.ResultSet;importjava.sql.SQLException;importjava.sql.Statement;importorg.apache.hadoop.hive.metastore.api......
  • 第五周总结(2024.8.3)
     本周学习python爬虫所出现的问题:1、设置请求头Headers的问题一般headers设置user-Agent即可,如果有的数据是登陆后才能看到的话,还需要添加cookies参数(先登陆账号后,在浏览器的开发者工具中,拷贝Cookies即可)。这些参数都可以在浏览器的开发者工具中找到。2、编码问题......
  • 第六周总结(2024.8.10)
    importrequestsfrombs4importBeautifulSoupimportcsv#请求URLurl='<https://movie.douban.com/top250>'#请求头部headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)C......
  • 2024.9.1杂记
    P1065[NOIP2006提高组]作业调度方案题目描述我们现在要利用\(m\)台机器加工\(n\)个工件,每个工件都有\(m\)道工序,每道工序都在不同的指定的机器上完成。每个工件的每道工序都有指定的加工时间。每个工件的每个工序称为一个操作,我们用记号j-k表示一个操作,其中\(j\)......
  • 2024 年 13 个适用于 Linux 的最佳照片图像编辑器
      2024年13个适用于Linux的最佳照片图像编辑器   在本文中,我回顾了各种Linux发行版上可用的一些最佳照片编辑软件。这些不是唯一可用的照片编辑器,但却是Linux用户最流行和最常用的照片编辑器之一。1.GIMP首先,在列表中,我们有 GIMP,一个免费、开源、跨平台......
  • 【保奖思路】2024年数学建模国赛C题保奖资料获取入口(点个关注,后续会更新)
    您的点赞收藏是我继续更新的最大动力!一定要点击末文的卡片,那是获取资料的入口!现分享2023年高教社杯数学建模国赛C题保奖思路(部分)供大家学习:C 题蔬菜类商品的自动定价与补货决策问题 1 蔬菜类商品不同品类或不同单品之间可能存在一定的关联关系,请分析蔬菜各品类及单......
  • 【保奖思路】2024年数学建模国赛C题保奖资料获取入口(点个关注,后续会更新)
    您的点赞收藏是我继续更新的最大动力!一定要点击末文的卡片,那是获取资料的入口!现分享2023年高教社杯数学建模国赛C题保奖思路(部分)供大家学习:C 题蔬菜类商品的自动定价与补货决策问题 1 蔬菜类商品不同品类或不同单品之间可能存在一定的关联关系,请分析蔬菜各品类及单......
  • 【保奖思路】2024年数学建模国赛C题保奖资料获取入口(点个关注,后续会更新)
    您的点赞收藏是我继续更新的最大动力!一定要点击末文的卡片,那是获取资料的入口!现分享2023年高教社杯数学建模国赛C题保奖思路(部分)供大家学习:C 题蔬菜类商品的自动定价与补货决策问题 1 蔬菜类商品不同品类或不同单品之间可能存在一定的关联关系,请分析蔬菜各品类及单......
  • 【保奖思路】2024年数学建模国赛C题保奖资料获取入口(点个关注,后续会更新)
    您的点赞收藏是我继续更新的最大动力!一定要点击末文的卡片,那是获取资料的入口!现分享2023年高教社杯数学建模国赛C题保奖思路(部分)供大家学习:C 题蔬菜类商品的自动定价与补货决策问题 1 蔬菜类商品不同品类或不同单品之间可能存在一定的关联关系,请分析蔬菜各品类及单......
  • zdppy+vue3+onlyoffice文档管理系统实战 20240901 上课笔记 基于验证码登录功能基本完
    遗留的问题1、点击切换验证码2、1分钟后自动切换验证码点击切换验证码实现步骤:1、点击事件2、调用验证码接口3、更新验证码的值点击事件给图片添加点击事件:<img:src="'data:image/png;base64,'+captchaImg"style="width:100%;height:50px;margin-top:10......