前言
最近有小伙伴提到如何抓取 table 表格上的数据,table表格的数据很简单,就是行和列。
可以按行抓取,也可以按列抓取。
获取table 某一列的数据
抓取第3列(项目名称)所有数据
定位方式
$x('//table/tbody/tr/td[3]')
于是可以看到当前页面的第3列数据被全部定位到
接下来就可以根据定位的元素获取全部文本
# 抓取table表格数据
all_names = page.locator('//table/tbody/tr/td[3]')
all_text = [item.inner_text() for item in all_names.all()]
print(all_text)
打印结果
['95486441c9474a13af3c9b499', '11a925e6be6d4730803d16326', 'sdf', '智能语音交互平台1', '智能语音交互平台', 'af192f498ddc456b8ec7a8d9c', '9bbfa2e6cb65447082070c692', '1234', 'fa021c54fa92423fa9fd790c0', 'c401881da9244fe0bba884e86', '9a32fe638eb441beb74ba186f', '56d6bd63ec3449c898de56644', '326724fd85c744fdb7720af4b', '5ec8d9d8f8684245ac82e0f9f', 'c6a18619c7db4ac499c1ed5e3']
按行获取table表格全部数据
定位标题行
//table/thead/tr/th
定位他body数据行
//table/tbody/tr
按行抓取table表格数据,并且按标题以键值对方式存储数据
table_all_data = []
# 获取全部标题
all_titles = page.locator('//table/thead/tr/th')
titles_text = [item.inner_text() for item in all_titles.all()]
print(f'全部标题:{titles_text}')
all_tr = page.locator('//table/tbody/tr')
print(f"当前页面数量:{all_tr.count()}")
for i in range(all_tr.count()):
td_element = all_tr.all()[i].locator('td').all()
td_text = [item.inner_text() for item in td_element]
print(f"第 {i} 行数据:{td_text}")
table_all_data.append({key: value for key, value in zip(titles_text, td_text)})
# 当前页全部数据
print(table_all_data)
运行结果
全部标题:['', 'ID', '项目名称', '所属应用', 'DebugTalk', '测试人员', '创建时间', '创建时间', '操作']
当前页面数量:15
第 0 行数据:['', '912', '95486441c9474a13af3c9b499', 'xx', 'debugtalk.py', 'test', '2023-07-13 22:40:19', '2023-07-13 22:40:19', '']
第 1 行数据:['', '911', '11a925e6be6d4730803d16326', 'xx', 'debugtalk.py', 'test', '2023-07-12 23:19:08', '2023-07-12 23:19:08', '']
第 2 行数据:['', '910', 'sdf', 'sfsfdsdfdsf', 'debugtalk.py', 'test', '2023-07-12 22:59:05', '2023-07-12 22:59:05', '']
第 3 行数据:['', '909', '智能语音交互平台1', '智能语音交互平台web端', 'debugtalk.py', 'test', '2023-07-12 20:51:52', '2023-07-12 20:51:52', '']
第 4 行数据:['', '908', '智能语音交互平台', '智能语音交互平台web端', 'debugtalk.py', 'test', '2023-07-12 20:50:44', '2023-07-12 20:50:44', '']
第 5 行数据:['', '907', 'af192f498ddc456b8ec7a8d9c', 'xx', 'debugtalk.py', 'yoyo', '2023-07-11 11:46:33', '2023-07-11 11:46:33', '']
第 6 行数据:['', '906', '9bbfa2e6cb65447082070c692', 'xx', 'debugtalk.py', 'yoyo', '2023-07-11 11:45:21', '2023-07-11 11:45:21', '']
第 7 行数据:['', '905', '1234', '1234', 'debugtalk.py', 'yoyo', '2023-07-07 18:57:24', '2023-07-11 11:40:11', '']
第 8 行数据:['', '904', 'fa021c54fa92423fa9fd790c0', 'xx', 'debugtalk.py', 'yoyo', '2023-07-07 18:57:08', '2023-07-07 18:57:08', '']
第 9 行数据:['', '903', 'c401881da9244fe0bba884e86', 'xx', 'debugtalk.py', 'yoyo', '2023-07-07 18:54:35', '2023-07-07 18:54:35', '']
第 10 行数据:['', '902', '9a32fe638eb441beb74ba186f', 'xx', 'debugtalk.py', 'yoyo', '2023-07-07 18:52:11', '2023-07-07 18:52:11', '']
第 11 行数据:['', '901', '56d6bd63ec3449c898de56644', 'xx', 'debugtalk.py', 'yoyo', '2023-07-07 18:49:36', '2023-07-07 18:49:36', '']
第 12 行数据:['', '900', '326724fd85c744fdb7720af4b', 'xx', 'debugtalk.py', 'yoyo', '2023-07-07 18:48:54', '2023-07-07 18:48:54', '']
第 13 行数据:['', '899', '5ec8d9d8f8684245ac82e0f9f', 'xx', 'debugtalk.py', 'yoyo', '2023-07-07 18:47:27', '2023-07-07 18:47:27', '']
第 14 行数据:['', '898', 'c6a18619c7db4ac499c1ed5e3', 'xx', 'debugtalk.py', 'yoyo', '2023-07-07 18:46:07', '2023-07-07 18:46:07', '']
[{'': '', 'ID': '912', '项目名称': '95486441c9474a13af3c9b499', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'test', '创建时间': '2023-07-13 22:40:19', '操作': ''}, {'': '', 'ID': '911', '项目名称': '11a925e6be6d4730803d16326', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'test', '创建时间': '2023-07-12 23:19:08', '操作': ''}, {'': '', 'ID': '910', '项目名称': 'sdf', '所属应用': 'sfsfdsdfdsf', 'DebugTalk': 'debugtalk.py', '测试人员': 'test', '创建时间': '2023-07-12 22:59:05', '操作': ''}, {'': '', 'ID': '909', '项目名称': '智能语音交互平台1', '所属应用': '智能语音交互平台web端', 'DebugTalk': 'debugtalk.py', '测试人员': 'test', '创建时间': '2023-07-12 20:51:52', '操作': ''}, {'': '', 'ID': '908', '项目名称': '智能语音交互平台', '所属应用': '智能语音交互平台web端', 'DebugTalk': 'debugtalk.py', '测试人员': 'test', '创建时间': '2023-07-12 20:50:44', '操作': ''}, {'': '', 'ID': '907', '项目名称': 'af192f498ddc456b8ec7a8d9c', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-11 11:46:33', '操作': ''}, {'': '', 'ID': '906', '项目名称': '9bbfa2e6cb65447082070c692', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-11 11:45:21', '操作': ''}, {'': '', 'ID': '905', '项目名称': '1234', '所属应用': '1234', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-11 11:40:11', '操作': ''}, {'': '', 'ID': '904', '项目名称': 'fa021c54fa92423fa9fd790c0', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-07 18:57:08', '操作': ''}, {'': '', 'ID': '903', '项目名称': 'c401881da9244fe0bba884e86', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-07 18:54:35', '操作': ''}, {'': '', 'ID': '902', '项目名称': '9a32fe638eb441beb74ba186f', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-07 18:52:11', '操作': ''}, {'': '', 'ID': '901', '项目名称': '56d6bd63ec3449c898de56644', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-07 18:49:36', '操作': ''}, {'': '', 'ID': '900', '项目名称': '326724fd85c744fdb7720af4b', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-07 18:48:54', '操作': ''}, {'': '', 'ID': '899', '项目名称': '5ec8d9d8f8684245ac82e0f9f', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-07 18:47:27', '操作': ''}, {'': '', 'ID': '898', '项目名称': 'c6a18619c7db4ac499c1ed5e3', '所属应用': 'xx', 'DebugTalk': 'debugtalk.py', '测试人员': 'yoyo', '创建时间': '2023-07-07 18:46:07', '操作': ''}]
继续抓取后面的页面数据,只需点下一页按钮,做个循环
这样就可以批量抓取了。
标签:67,11,playwright,07,python,py,xx,2023,debugtalk From: https://www.cnblogs.com/yoyoketang/p/17574772.html