首页 > 其他分享 >爬虫

爬虫

时间:2022-11-24 21:35:31浏览次数:38  
标签:项目 -- py 爬虫 虚拟环境 模块 环境变量

企业项目类型

# 1 面向互联网用户:商城类项目
	-微信小程序商城
    
# 2 面向互联网用户:二手交易类的
	-咸鱼
	-转转
    
# 3 公司内部项目:python写的重点
	-oa系统
    -打卡系统工资核算系统
    -第三方公司做的:
    	-给医院 互联网,内部的项目
        -银行 内部系统
        -政府 
        -钢材市场,商户
    - 微信小程序订餐
    	-二维火 餐饮行业
    -零售行业
    -问卷网
    -考试系统
    -django+simpleui:二次定制
    
# 4 个人博客

# 5 内容收费站
	-掘金
    
# 6 房屋租赁
	-青客
    -蛋壳
    -自如
复制代码

企业项目开发流程

开发流程
	-立项
	-需求分析
        # 互联网项目
            -需求调研和分析:产品经理设计出来的
        # 传统软件
            -需求调研和分析:市场人员跟客户对接
    
	-原型设计:产品经理 -->懂业务
	-分任务开发
    	-前端团队
            -UI设计
            -前端写代码(pc,小程序,移动端)
        -后端团队
        	-架构,数据库设计
            -分任务开发:用户,商品板块
        -联调测试
        
    -项目上线
    
    
# 你在公司开发流程是什么?
	-开新项目,先开会,设计技术选型,数据库设计
    	-产品,原型图做好了
        -老大在项目管理平台(禅道)分配任务给我
        -进入到管理平台就能看到任务,相关功能的原型图
        	-需求,原型图,实现的效果
        -开发---有不明白的需求,找产品对接----》自测
        -提交到版本仓库(git,svn)
        
        -所有都开发完了,分支合并
        -跟前端联调
        -发版:
    
    
    -如果是老项目
        	-老大在项目管理平台(禅道)分配任务给我
            -进入到管理平台就能看到任务,相关功能的原型图
                -需求,原型图,实现的效果
            -开发---有不明白的需求,找产品对接----》自测
            -提交到版本仓库(git,svn)

            -所有都开发完了,分支合并
            -跟前端联调
            -发版:
	
复制代码

01.png

路飞项目需求

# 线上销售课程的
	-商城
    -知识付费类
    
    
# 需求
	-首页功能
    	-轮播图接口
    	-推荐课程接口
        
    -用户功能
    	-用户名密码登录
        -手机号验证码登录
        -发送手机验证码
        -验证手机号是否注册过
        -注册接口
        
   -课程列表功能
		-课程列表接口
    	-排序,过滤,分页
   -课程详情
		-课程详情接口
    	-视频播放功能
        -视频托管(第三方,自己平台)
   -下单功能
		-支付宝支付:生成支付链接,付款,回调修改订单状态
   		-购买成功功能

复制代码

pip换源

python中下载第三方模块:
	pip3 install 模块名 -i 源地址  (每次下载都要输入源地址,太麻烦)

永久换源:
	1. 文件管理器文件路径地址栏敲:%APPDATA% 回车,快速进入 C:\Users\电脑用户\AppData\Roaming 文件夹中(C:\Users\xxx\AppData\Roaming)
	2. 新建 pip 文件夹并在文件夹中新建 pip.ini 配置文件
		[global]
        index-url = https://mirrors.aliyun.com/pypi/simple
        [install]
        use-mirrors =true
        mirrors =https://mirrors.aliyun.com/pypi/simple
        trusted-host =mirrors.aliyun.com
	3. 此后下载模块只需要 pip3 install 模块名  即可

复制代码

虚拟环境搭建

什么是虚拟环境:
	假设一个场景:需要分别使用django 2.x 和 django 3.x 分别同时开发两个项目,
	每个项目都需要有自己独立的环境,装的模块互不影响  ----> 虚拟环境

两种解决方案:
	Virtualenv(推荐使用)
	pipenv
复制代码

使用pycharm创建虚拟环境

09.png

使用通用方案创建虚拟环境

1. 装两个模块:
	pip3 install virtualenv
	pip3 install virtualenvwrapper-win (win环境下装这个)
2. 配置环境变量
	系统 => 高级系统设置 => 环境变量 => 系统变量 => 点击新建 => 填入变量名与值
	变量名:WORKON_HOME
	变量值:D:\Virtualenvs (表示自定义存放虚拟环境的绝对路径)
3. 同步配置信息
	去向Python3的安装目录 => Scripts文件夹 => virtualenvwrapper.bat => 双击
	# .bat只是win的批处理文件 Linux和Mac下是 .sh
4.使用虚拟环境 (以后pip的时候确认好 装在了哪个解释解释器下)
	# 1、创建虚拟环境到配置的WORKON_HOME路径下
    # 选取默认Python环境创建虚拟环境:
        -- mkvirtualenv 虚拟环境名称
    # 基于某Python环境创建虚拟环境:并进入
        -- mkvirtualenv -p python2.7 虚拟环境名称
        -- mkvirtualenv -p python3.8 虚拟环境名称

    # 2、查看已有的虚拟环境
        -- workon

    # 3、使用某个虚拟环境
        -- workon 虚拟环境名称

    # 4、进入|退出 该虚拟环境的Python环境
        -- python | exit()

    # 5、为虚拟环境安装模块
        -- pip或pip3 install 模块名

    # 6、退出当前虚拟环境
        -- deactivate

    # 7、删除虚拟环境(删除当前虚拟环境要先退出)
        -- rmvirtualenv 虚拟环境名称
复制代码
补充知识:环境变量

-作用:一个可执行文件的路径如果加入到环境变量,以后再任意路径敲这个命令都能找到
	-系统环境变量和用户环境变量
        -操作系统多用户
        -如果设置成系统环境变量,所有用户都能用到这个配置
        -设置成用户环境变量,只针对与当前用户(咱么设这个即可)
复制代码

luffy后台创建目录调整

# 创建项目,需要选择咱们的虚拟环境创建
# 再使用虚拟环境创建路飞项目前,一定要先安装django,否则会以最先django创建
# 或者使用djagno-admin创建


# 如果之前有了项目,先切换解释器,再pycharm中切换


# 调整路飞后端项目的目录
	├── luffyapi
	├── logs/				# 项目运行时/开发时日志目录 - 包
    ├── manage.py			# 脚本文件
    ├── luffyapi/      		# 项目主应用,开发时的代码保存 - 包
     	├── apps/      		# 开发者的代码保存目录,以模块[子应用]为目录保存 - 包
        ├── libs/      		# 第三方类库的保存目录[第三方组件、模块] - 包
    	├── settings/  		# 配置目录 - 包
			├── dev.py   	# 项目开发时的本地配置
			└── prod.py  	# 项目上线时的运行配置
		├── urls.py    		# 总路由
		└── utils/     		# 多个模块[子应用]的公共函数类库[自己开发的组件]
    └── scripts/       		# 保存项目运营时的脚本文件 - 文件夹
    
    
    
 # 要运行,修改manage.py第9行
	os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffy_api.settings.dev')
 # 要上线(后期上线改)
	wsgi.py的第14行
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'luffy_api.settings.prod')
    
    
 # 创建app时,要进入到apps文件夹下执行
	python ../../manage.py startapp home
    
    
 # 注册app
	-导入包,都要从环境变量开始导起
    
 # settings/dev.py 加入
    import sys
    import os
    BASE_DIR = Path(__file__).resolve().parent.parent  #小luffy_api
    # 把小luffy_api和apps路径都加入到环境变量。以后直接从这俩路径下导起即可
    sys.path.append(str(BASE_DIR))
    sys.path.append(os.path.join(BASE_DIR,'apps'))
    
# 以后注册app,直接写app名字即可
 

标签:项目,--,py,爬虫,虚拟环境,模块,环境变量
From: https://www.cnblogs.com/scx-xiaochun/p/16923515.html

相关文章

  • 【2022-11-24】爬虫从入门到入狱(二)
    一、request高级用法1.1ssl认证#证书验证(大部分网站都是https)importrequestsres=requests.get('https://www.12306.cn')#如果是ssl请求,首先检查证书是否......
  • 爬虫从入门到入狱(二)
    今日内容概要requests高级用法代理池搭建爬取某视频网站爬取新闻BautifulSoup4介绍bs4遍历文档树今日内容详细requests高级用法ssl认证#https和http有什......
  • 【爬虫】 requests高级用法,代理池,爬取视频和新闻
    目录1.测试频率2.requests高级用法2.1ssl认证2.2实例2.3使用代理2.4超时设置2.5异常处理2.6上传文件3.代理池搭建3.1django后端获取客户端的ip4.爬取某视频网站......
  • python,requests高级用法,爬虫代理池,BautifulSoup4介绍
    requests高级用法ssl认证使用代理超时设置异常处理上传文件代理池搭建django后端获取客户端的ip爬取某视频网站爬取新闻BautifulSoup......
  • python 爬虫自学要多久
    一周或者一个月。如果完全靠自己自学,又是从零基础开始学习Python的情况下,按照每个人的学习和理解能力的不同,我认为大致上需要半年到一年半左右的时间。当然了,Python学习起来......
  • 【爬虫】爬虫基础
    目录1.爬虫介绍2.requests模块发送get请求3.get请求携带参数4.携带请求头5.携带cookie6.发送post请求7.响应Response8.获取二进制数据9.解析解析json1.爬虫介绍......
  • 【2022.11.23】爬虫基础(1)
    内容概要1.爬虫介绍2.requests模块发送get请求3.get请求携带参数4.携带请求头5.携带cookie6.发送post请求7.响应Response8.获取二进制数据9.解析json内容详......
  • 爬虫初识
    爬虫初识爬虫介绍爬虫(spider)又称网络蜘蛛爬虫的本质目前所有的软件的原理都是基于http请求发送和获取数据的,如PC端的网页,移动端的app爬虫可以模拟发送http请求,从别......
  • 爬虫入门
    爬虫入门爬虫介绍#爬虫:spider,网络蜘蛛#本质原理: -现在所有的软件原理:大部分都是基于http请求发送和获取数据的 -pc端的网页-移动端app-模拟发送......
  • 今日内容 爬虫简单学习
    爬虫介绍#爬虫:spider,网络蜘蛛#本质原理: -现在所有的软件原理:大部分都是基于http请求发送和获取数据的 -pc端的网页-移动端app-模拟发送http......