首页 > 数据库 >python selenium mysql -- 数据爬取2

python selenium mysql -- 数据爬取2

时间:2024-05-31 17:13:27浏览次数:21  
标签:cursor zj python driver selenium 爬取 div con

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://www.00ksw.com/html/120/120704/')

zj_list = []
# 使用更健壮的XPath或CSS选择器
links = driver.find_elements(By.XPATH, '/html/body/div/div[5]/div[2]/div[1]/div[3]/ul/li')
for zj_element in links:
    zj = zj_element.text
    zj_info = {
        '章节': zj,
        # ...其他字段(如果需要)
    }
    zj_list.append(zj_info)
    print(zj_info)

driver.quit()

import pymysql

con = pymysql.connect(
    host="localhost",
    port=3306,
    user="root",
    password="000000",
    database="db_python"
)
cursor = con.cursor()

# 创建表(如果尚未存在)
create_table_sql = """    
    CREATE TABLE IF NOT EXISTS content_data(       
        Paragraph VARCHAR(20) DEFAULT NULL    
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;    
"""
cursor.execute(create_table_sql)

try:
    # 插入数据到表中
    for zj in zj_list:
        # 假设我们只插入“章节”列
        insert_sql = "INSERT INTO content_data (Paragraph) VALUES (%s)"
        cursor.execute(insert_sql, (zj['章节']))

        # 提交事务
    con.commit()
except pymysql.MySQLError as e:
    print("Error:", e)
    # 如果发生错误,回滚事务
    con.rollback()

# 关闭连接
cursor.close()
con.close()

 

标签:cursor,zj,python,driver,selenium,爬取,div,con
From: https://www.cnblogs.com/muxinq/p/18224890

相关文章

  • 机器学习python实践中对于决策函数(decision_function)的一些个人思考
    最近在利用python进行实践训练,但是跟着参考书学习到SVM的时候,示例代码里突然出现了一个函数——decision_function(),让我很懵逼,帮助文档里的英文翻译过来说啥决策函数、ovr、ovo之类的,让我整个人更晕了,因为我在理论部分参考的是周志华老师的《西瓜书》,而《西瓜书》中并没有对这......
  • Uscrapper:一款功能强大的网络资源爬取工具
    关于UscrapperUscrapper是一款功能强大的网络资源爬取工具,该工具可以帮助广大研究人员从各种网络资源中轻松高效地提取出有价值的数据,并且提供了稳定、友好且易于使用的UI界面,是安全研究人员和网络分析人员的强有力工具。Uscrapper最大程度地释放了开源情报资源的力量,该工具......
  • 【二】从小白开始使用Python一步一步搭建一个深度学习UI界面【界面设计】
    本来是想使用QtDesigner进行界面控件拖拽的方式进行界面设计的,但是后来觉得这样后面维护更新起来太麻烦了,就还是使用纯代码来写界面吧,这需要一定的想象能力。设计界面pyqt外部工具添加在设置界面搜索“外部工具”,这里我已经添加了两个QTDesigner的外部工具,一个是用于创......
  • Python 入门之阅目的 Pythonic(二)
    #免责声明:本文内容主要是肥清大神的视频以及自己收集学习内容的整理笔记,目是主要是为了让象博主这样的老白能更好的学习编号,如有侵权,请联系博主进行删除。5.控制结构5.1.复杂的列表推导#两个循环的条件以内可使用列表推导式5.2.lambda使用#一次性的结果可用#......
  • 【python深度学习】——大型工程项目管理以及互相导入
    【python深度学习】——大型工程项目管理以及互相导入1.工程项目中常见的文件组织形式2.python中的“包”、“模块”、与__init__.py2.1概念理解2.2\__init__py的使用3.包的导入——相对导入与绝对导入3.1相对导入3.1.1相对导入的语法3.1.2相对......
  • 【Python】 如何在Python中表示枚举类型(Enum)
    枚举(Enum)是一种特殊的数据类型,它允许我们为一组固定的常量赋予更易读的名字。在Python中,枚举类型可以通过enum模块来实现,这个模块在Python3.4及以后的版本中被引入。枚举类型不仅可以使代码更加清晰,还能帮助避免错误,比如拼写错误或使用不恰当的值。基本原理在Python中,枚......
  • (D卷,100分)- 约瑟夫问题(Java & JS & Python & C)
    获取题库不需要订阅专栏,可直接私信我进入CSDN领军人物top1博主的华为OD交流圈观看完整题库、最新面试实况、考试报告等内容以及大佬一对一答疑。题目描述输入一个由随机数组成的数列(数列中每个数均是大于0的整数,长度已知),和初始计数值m。从数列首位置开始计数,计数到m......
  • 纯真IP库使用方法(Python 3.8)
    1-将Python从2.7升级到3.8之后,之前的qqwry库需要重新安装:pip3installqqwry2-修改修改查询IP的代码:2-1-旧代码(适用于Python2.7):加载IP库q=QQwry()ifq.load_file(u'qqwry.dat')==True:version=q.get_lastone()print(('当前版本:%s,%s'%(version[0],version[1]......
  • Python新建Poetry 环境
    1、安装Poetry:如果您还没有安装Poetry,可以通过以下命令安装它:(Invoke-WebRequest-Urihttps://install.python-poetry.org-UseBasicParsing).Content|python-指定虚拟环境存放目录poetryconfigvirtualenvs.pathD:\WorkSpace\Venv2、创建新的Poetry项目:安装Po......
  • Python 如何从 Google 地图短链接显示 X 和 Y?
    我有这样的google地图短链接:https://maps.app.goo.gl/wsmXZrYfP8V3ur2RAIwantpythonscripttoaskusertoinputgooglemaplink,thenprintXandYIuserinput:https://maps.app.goo.gl/wsmXZrYfP8V3ur2RApythoncodewillgetfulllink......