首页 > 其他分享 >使用anaconda创建爬虫spyder工程

使用anaconda创建爬虫spyder工程

时间:2024-01-08 16:32:04浏览次数:31  
标签:环境 爬虫 machine base conda anaconda spyder


1.由于每个工程使用的环境都可能不一样,因此一个好的习惯就是不同的工程都创建属于自己的环境,在anaconda中默认的环境是base,我们现在来创建一个名为spyder的环境,专门用于爬虫工程:

//括号中名字,代表当前的环境
(base)dragon@machine: $ conda create --name=spyder

2.激活环境

// 环境从base切换到example
(base)dragon@machine: $ conda activate spyder

3.安装spyder- kernels

// 环境已从base切换到spyder
(spyder)dragon@machine: $ conda install spyder-kernels

到此spyder的环境就创建好了,接下来我们来使用这个环境来开发。

4.打开anaconda navigator,这个命令在base环境中,所以我们要切换回base环境中:

(spyder)dragon@machine: $ conda activate base

5.启动navigator

(spyder)dragon@machine: $ anaconda-navigator

使用anaconda创建爬虫spyder工程_Python

6. 点击Spyder的launch按钮,启动这个IDE

7. 启动IDE后,修改运行环境,点击右下角Completions:conda(base) ->Change default environment in Preferences…

使用anaconda创建爬虫spyder工程_Python_02

8.选择相应Python interpreter -> Use the following Python interpreter,然后选择spyder环境下的python解析器,如下图所示:

使用anaconda创建爬虫spyder工程_Python_03

使用anaconda 创建spyder工程是很方便的。


标签:环境,爬虫,machine,base,conda,anaconda,spyder
From: https://blog.51cto.com/u_11070617/9146837

相关文章

  • 使用anaconda创建notebook工程
    1.由于每个工程使用的环境都可能不一样,因此一个好的习惯就是不同的工程都创建属于自己的环境,在anaconda中默认的环境是base://括号中名字,代表当前的环境(base)dragon@machine:$condacreate--name=example2.激活环境//环境从base切换到example(base)dragon@machine:$condaa......
  • 使用 Go 爬虫要注意什么
    Go语言是一门强大的编程语言,非常适合用于编写高效的网络爬虫程序。然而,在使用Go语言进行爬虫开发时,我们需要注意一些事项,以确保爬虫的稳定性、合法性和可维护性。本文将介绍一些关键的注意事项和最佳实践,帮助您编写高质量的Go语言爬虫。1.尊重网站的规则和政策在编写爬虫程序之前,务......
  • python爬虫之创建属于自己的ip代理池
    在后续需求数据量比较大的情况下,自建一个ip代理池可以帮助我们获得更多的数据。下面我来介绍一下整个过程1.找到目标代理网站https://www.dailiservers.com/go/websharehttps://proxyscrape.com/https://spys.one/https://free-proxy-list.net/http://free-proxy.cz/en/https:......
  • python爬虫进阶篇(异步)
    学习完前面的基础知识后,我们会发现这些爬虫的效率实在是太低了。那么我们需要学习一些新的爬虫方式来进行信息的获取。异步        使用python3.7后的版本中的异步进行爬取,多线程虽然快,但是异步才是爬虫真爱。基本概念讲解1.什么是异步?        异步是指在程序执行......
  • 使用Jsoup的Java网络爬虫示例:抓取在线考试平台试题数据
    网络爬虫是一种强大的工具,用于从互联网上收集信息。而在Java中,Jsoup是一款常用的HTML解析库,提供了便捷的API来解析、提取和操作HTML数据。在本文中,我们将深入探讨如何利用Jsoup库构建一个Java网络爬虫,并使用代理服务器来抓取在线考试平台的试题数据。介绍Jsoup和网络爬虫首先,我们将......
  • C语言爬虫程序采集58商铺出租转让信息
    为了找到一个好店铺好位置,往往要花费很大精力和财力过去寻找,就有有某些出租平台但是一个个查找下来也是十分麻烦,所以我利用我们的C语言基础,给大家写个商品转租的爬虫程序,让找店铺不在那么费时费力,至少获取信息比自己单个来的更容易。importrequestsfrombs4importBeautifulSoup......
  • Lua网络爬虫实战:使用http服务器获取虾皮商品信息的全过程
    这段Lua代码是一个简单的爬虫示例,使用了Lua中的http模块进行网络请求,并设置了代理信息。以下是对代码的一些解释和注意事项:安装http模块:luarocksinstallhttp这个命令用于安装Lua的http模块,以便在程序中使用HTTP请求功能。代理设置:localproxy_host="www.duoip.cn......
  • 基于Go语言的简单网络爬虫示例:获取智联招聘网页内容
    发起HTTP请求:使用Go的net/http包发起HTTP请求以获取网页内容。解析HTML内容:使用HTML解析器(如Go的golang.org/x/net/html包)来解析网页内容,找到你感兴趣的信息。提取目标数据:通过使用正则表达式或者更好的选择是HTML解析库来提取所需信息。存储或处理信息:将提取的信息存储到文件、数......
  • Python 爬虫,Nendo 网站作品信息采集爬虫源码!
    简单的网站写爬虫就跟流水线加工一样,抄抄改改,没有问题就直接上了,直接了当省事,又是一篇没有营养的水文。一个比较简单的爬虫,适合练手学习使用,主要是爬取和采集网站的作品信息,包括标题、内容及图片,其中图片采用了多线程爬取。考虑到外网爬取,所以采用了三次访问超时重试的机制,同时对于......
  • Python爬虫JS解密-baidu翻译
    请求分析参数构造流程这种提交数据得到响应的的请求,往往参数比较麻烦,所以参数的构造是得到完整请求的关键.首先我们要明确目标,爬取这个网站的目的是什么,那我们的目的就是模拟浏览器发送请求,完成翻译的功能,明确了目标之后我们再定位到相关的URL就比较容易了。现在先打开chrome的调......