首页 > 其他分享 >ChatGPT炒股:爬取氢能行业企业名录

ChatGPT炒股:爬取氢能行业企业名录

时间:2023-07-03 19:32:39浏览次数:46  
标签:字符 表格 写入 company excel 爬取 氢能 ChatGPT

全球氢能网有氢能源相关企业的列表,怎么全部爬取下来呢?

ChatGPT炒股:爬取氢能行业企业名录_非法字符

先看翻页规律:

http://h2.china-nengyuan.com/company/company_0.html

http://h2.china-nengyuan.com/company/company_1.html

http://h2.china-nengyuan.com/company/company_21.html

很简单,就是最后一个数字。

ChatGPT炒股:爬取氢能行业企业名录_非法字符_02

然后看每页的结构和企业信息。

然后在ChatGPT中输入提示词:

你是一个Python编程专家,要写一个爬取网页数据的程序。具体步骤如下:

打开网页http://h2.china-nengyuan.com/company/company_{pagenumber}.html,解析源代码,其中pagenumber的参数是从0到21;

定位页面中所有 class="table_row" 的table元素;

找到里面class="blue"的a元素,提取其titile值,写入excel表格第1列;

找到里面class="fgray2"的第1个td元素,提取其内容,写入excel表格第2列;

找到里面class="fgray2"的第2个td元素,提取其内容,去掉开头的“主营:”字符,写入excel表格第3列;

保存excel表格到F盘的“氢能源企业大全.xlxs”

注意:每一步都要输出信息

ChatGPT炒股:爬取氢能行业企业名录_excel表格_03

运行程序后,爬取到第14页时出错了,把错误信息发送给ChatGPT,回复如下:

根据错误提示,发现程序试图将一个包含非法字符的字符串写入excel表格。openpyxl库中的cell对象只能写入纯文本或数字,不能写入包含特殊字符的字符串。因此,需要对写入的字符串进行处理,去除其中的非法字符。

修改后的代码在写入excel表格前,通过remove_special_chars函数去除了字符串中的非法字符。同时,将去除开头的“主营:”字符的操作也改为了replace('主营', ''),避免了写入非法字符。

ChatGPT炒股:爬取氢能行业企业名录_excel表格_04

错误修正后,顺利爬取所有内容:

ChatGPT炒股:爬取氢能行业企业名录_字符串_05

氢能源企业名录大全如下:

ChatGPT炒股:爬取氢能行业企业名录_字符串_06

标签:字符,表格,写入,company,excel,爬取,氢能,ChatGPT
From: https://blog.51cto.com/fancyar/6614715

相关文章

  • 将ChatGPT应用于你的企业的8种策略
     将ChatGPT应用于你的企业的8种策略1.工作坊→举办一个ChatGPT工作坊→找一个团队成员来做,或者外聘人员2.为每个人购买ChatGPTPlus账户→这可能是你能得到的最高的投资回报率→有些公司已经这么做,并且已经看到了结果3.在Chrome中将ChatGPT设为每个人的主页→......
  • ChatGPT炒股:监控水泥等原材料价格每日变动情况
    水泥、钢铁等大宗商品原材料价格对于很多企业的业绩影响较大,这些产品的价格变动情况需要高频监控,来评估企业未来业绩变动趋势。下面以水泥网的水泥指数,来说明如何通过ChatGPT来编写Python程序,实现监控价格变动的功能。打开水泥网,右键检查:查看水泥指数的对应源代码。找到后,就可以通......
  • 文心一言 VS 讯飞星火 VS chatgpt (53)-- 算法导论6.2 5题
    五、MAX-HEAPIFY的代码效率较高,但第10行中的递归调用可能例外,它可能使某些编译器产生低效的代码。请用循环控制结构取代递归,重写MAX-HEAPIFY代码。文心一言:以下是使用循环控制结构取代递归调用的MAX-HEAPIFY代码:defmax_heapify(A,i):heap_size=len(A)le......
  • 【.Net/C#之ChatGPT开发系列】四、ChatGPT多KEY动态轮询,自动删除无效KEY
    ChatGPT是一种基于Token数量计费的语言模型,它可以生成高质量的文本。然而,每个新账号只有一个有限的初始配额,用完后就需要付费才能继续使用。为此,我们可能存在使用多KEY的情况,并在每个KEY达到额度上限后,自动将其删除。那么,我们应该如何实现这个功能呢?还请大家扫个小关。......
  • urllib+BeautifulSoup爬取并解析2345天气王历史天气数据
    urllib+BeautifulSoup爬取并解析2345天气王历史天气数据网址:东城历史天气查询_历史天气预报查询_2345天气预报1、代码importjsonimportloggingimporturllib.parsefromdatetimeimportdate,datetimefromrandomimportrandintfromtimeimportsleepimportpymy......
  • 一个跨平台的`ChatGPT`悬浮窗工具
    一个跨平台的ChatGPT悬浮窗工具使用avalonia实现的ChatGPT的工具,设计成悬浮窗,并且支持插件。如何实现悬浮窗?在使用avalonia实现悬浮窗也是非常的简单的。实现我们需要将窗体设置成无边框在Window根节点添加一下属性,想要在Linux下生效请务必添加SystemDecorations属性ExtendC......
  • 零代码编程:用ChatGPT自动输入账号密码来登陆网站
    现在很多网站都需要登陆账号和密码才能访问。如果要进行一些批量自动化操作,首先要做的就是模拟自动登陆。以萝卜投研网站为例:https://robo.datayes.com/v2/fastreport/industry打开网站后,默认出现这样一个登陆界面,要点击右上角,才会出现账号密码登陆按钮:<divclass="login-switch-bt......
  • 靳宇灵 | CHATGPT真的很强大,很快帮我解决了tp5对接腾讯cos存储的SDK,NB!!
    php请求腾讯云cos存储SDK报错ThrowableErrorinClient.phpline229致命错误:CalltoundefinedfunctionCos\region_map()这个错误的原因是您在使用腾讯云cos存储SDK时,调用了一个未定义的函数 Cos\region_map()。首先,您需要确保安装了腾讯云cos存储SDK。可以通过Composer进......
  • 将ChatGPT变成Midjourney提示生成器
    已经有人总结过可以让ChatGPT作为Midjourney图像生成的模板。在本文中,我们将展示如何根据个人用例创建这些提示,这可以让ChatGPT生成的提示可控性更高。 https://avoid.overfit.cn/post/60d45f154b7943258f86f8bc7150e79b......
  • ChatGPT 讲的笑话90%是重复的?归纳出来只有这25个?
    作者|小戏、Python幽默,似乎一直是一种专属于人的语言技巧,通过一些简单的谐音、双关,让错位的事张冠李戴,让一些可能普普通通的事变得荒诞,神奇的就可以在人际之间的心照不宣中获得幽默,让人捧腹,获得一种奇异的感情力量。如果让机器拥有“痛觉”,是发展出具有具身人工智能关键一步,那么......