首页 > 其他分享 >爬虫数据加密

爬虫数据加密

时间：2024-11-23 22:17:00浏览次数：4  
标签：加密 base64 爬虫 解密 var import 数据 MD5

1.base64加密

base64是什么

Base64编码，是由64个字符组成编码集：26个大写字母AZ，26个小写字母az，10个数字0~9，符号“+”与符号“/”。Base64编码的基本思路是将原始数据的三个字节拆分转化为四个字节，然后根据Base64的对应表，得到对应的编码数据。

当原始数据凑不够三个字节时，编码结果中会使用额外的符号“=”来表示这种情况。

base64原理

每一个base64的字符会对应有一个索引值（0-63）

img

将you进行base64编码过程如下：

img

小于3个字符为一组的编码方式如：

img

ASCII表：

img

base64代码演示

加密过程

# 将you进行加密
import base64

# 1.先将字符串编码成二进制
data = 'you'.encode("utf-8")
print(data)  # 打印结果：b'you'

# 2.再将二进制编码成base64的二进制，再由二进制进行解码成字符串
bs = base64.b64encode(data).decode('utf-8')
print(bs)  # 打印结果：eW91

# 3.如果不够4位加密，则换成等号
data1 = 'y'.encode("utf-8")
bs1 = base64.b64encode(data1).decode("utf-8")
print(bs1)  # 打印结果：eQ==

解密过程

# 将eW91进行解密
import base64

data = 'eW91'
bs1 = base64.b64decode(data).decode()
print(bs1)

data1 = 'eW91eQ=='
bs2 = base64.b64decode(data1).decode()
print(bs1)

# 必须是4的倍数
s = "eW91eQ"
# 填充为4的倍数
s += ("=" * (4 - len(s) % 4))
print("填充后", s)
ret = base64.b64decode(s).decode()
print(ret)

js常见的加密方式

  • 加密在前端开发和爬虫中是经常遇见的。掌握了加密、解密算法也是你从一个编程小白到大神级别质的一个飞跃。且加密算法的熟练和剖析也是很有助于帮助我们实现高效的js逆向。下述只把我们常用的加密方法进行总结。不去深究加密的具体实现方式。
  • 常见的加密算法基本分为这几类，
    • 线性散列算法（签名算法）MD5
    • 对称性加密算法 AES DES
    • 非对称性加密算法 RSA

2.Md5加密（不可逆）

  • MD5是一种被广泛使用的线性散列算法，可以产生出一个128位（16字节）的散列值（hash value），用于确保信息传输完整的一致性。且MD5加密之后产生的是一个固定长度（32位或16位）的数据。
    • 结论：一旦看到了一个长度为32位的密文数据，该数据极有可能是通过md5算法进行的加密！
  • 解密：
    • 常规讲MD5是不存在解密的。但是理论上MD5是可以进行反向暴力破解的。暴力破解的大致原理就是用很多不同的数据进行加密后跟已有的加密数据进行对比，由此来寻找规律。理论上只要数据量足够庞大MD5是可以被破解的。但是要注意，破解MD5是需要考虑破解的成本（时间和机器性能）。假设破解当前的MD5密码需要目前计算能力最优秀的计算机工作100年才能破解完成。那么当前的MD5密码就是安全的。
  • 增加破解成本的方法（方法很多，这里只说我常用的）。
    • 使用一段无意义且随机的私匙进行MD5加密会生成一个加密串，我们暂且称之为串1
    • 将要加密的的数据跟串1拼接，再进行一次MD5，这时会生成串2
    • 将串2再次进行MD5加密，这时生成的串3就是我们加密后的数据。
  • 我们在注册账号时的密码一般都是用的MD5加密。

Python中使用MD5加密

from hashlib import md5

obj = md5()
obj.update("bobo".encode("utf-8"))

bs = obj.hexdigest()
print(bs)

JS中使用MD5加密

  • JS版本：下载安装crypto-js（npm install crypto-js）
  • 前提要安装node.js
    var CryptoJS = require('crypto-js');
// 原始数据
var data = '123456';
// 生成MD5摘要
var md5Digest = CryptoJS.MD5(data).toString();

console.log(md5Digest);

3.DES/AES加密（可逆）

  • DES全称为Data Encryption Standard，即数据加密标准，是一种使用密钥加密的算法。该加密算法是一种对称加密方式，其加密运算、解密运算需要使用的是同样的密钥（一组字符串）即可。

  • 注意：

    • 现在用AES这个标准来替代原先的DES。
    • AES和DES的区别：
      • 加密后密文长度的不同:
        • DES加密后密文长度是8的整数倍
        • AES加密后密文长度是16的整数倍
      • 应用场景的不同:
        • 企业级开发使用DES足够安全
        • 如果要求高使用AES

  • DES算法的入口参数有三个：

    • Key、Data、Mode，padding、iv。
      • Key为DES算法的工作密钥；
      • Data为要被加密或被解密的数据；
      • Mode为DES的工作模式。最常用的模式就是 CBC 模式和 ECB模式
        • ECB：是一种基础的加密方式，密文被分割成分组长度相等的块（不足补齐），然后单独一个个加密，一个个输出组成密文。
        • CBC：是一种循环模式，前一个分组的密文和当前分组的明文异或后再加密，这样做的目的是增强破解难度。
      • padding为填充模式，如果加密后密文长度如果达不到指定整数倍（8个字节、16个字节），填充对应字符
      • iv：参数中的iv主要用于CBC模式，确保即使加密相同的明文，每次产生的密文也不相同，增强加密的安全性。iv通常是一个16字节的随机字符串。这个字符串在解密时也需要用到，因此需要妥善保存。

  • Python版本：

    • 环境安装：

      pip install pycryptodome

python加密代码：

```
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
import base64
import os
key_value = os.getenv('KEY')

key = '0123456789abcdef'.encode()  # 秘钥: 必须16字节
iv = b'abcdabcdabcdabcd'  # 偏移量：16位/字节(字节类型)
text = 'alex is a monkey!'  # 加密内容
# 设置加密内容的长度填充（位数为16的整数倍）
text = pad(text.encode(), 16)
# 创建加密对象
aes = AES.new(key, AES.MODE_CBC, iv)  # 创建一个aes对象

en_text = aes.encrypt(text)  # 加密明文
print("aes加密数据:::", en_text)  # 返回二进制类型数据

# 二进制密文转换成字符串格式
en_text = base64.b64encode(en_text).decode()  # 将返回的字节型数据转进行base64编码
print(en_text)
```

python解密

```
from Crypto.Cipher import AES
import base64
from Crypto.Util.Padding import unpad

key = '0123456789abcdef'.encode()
iv = b'abcdabcdabcdabcd'
aes = AES.new(key, AES.MODE_CBC, iv)
# 需要解密的文本
text = 'X/A0fy9S7+kUI3HYQRKO46WTlid6T1DBhXutwmPdboY='.encode()
# 将密文数据转换为二进制类型
ecrypted_base64 = base64.b64decode(text)

source = aes.decrypt(ecrypted_base64)  # 解密
# 未填充数据
print("aes解密数据:::", source.decode())
# 取消填充数据
print("aes解密数据:::", unpad(source, 16).decode())
```

js加密

const CryptoJS = require("crypto-js")

// 密钥（128位，16字节）
var key = CryptoJS.enc.Utf8.parse('0123456789abcdef');

// 初始化向量（IV）（128位，16字节）
var iv = CryptoJS.enc.Utf8.parse('1234567890abcdef');

// 待加密的数据
var plaintext = 'Hello, bobo!';

// 进行AES-128加密，使用CBC模式和PKCS7填充
var encrypted = CryptoJS.AES.encrypt(plaintext, key, {
    iv: iv,
    mode: CryptoJS.mode.CBC,
    padding: CryptoJS.pad.Pkcs7
});

// 获取加密后的密文
var ciphertext = encrypted.toString();

console.log(ciphertext);

js解密

const CryptoJS = require("crypto-js")

// 密钥（128位，16字节）
var key = CryptoJS.enc.Utf8.parse('0123456789abcdef');

// 初始化向量（IV）（128位，16字节）
var iv = CryptoJS.enc.Utf8.parse('1234567890abcdef');

// 密文数据
var encrypText = 'GYc9oxlZB/PeyfFG3ppK6Q==';

// 进行加密，使用CBC模式和PKCS7填充
var decrypted = CryptoJS.AES.decrypt(encrypText, key, {
    iv: iv,
    mode: CryptoJS.mode.CBC,
    padding: CryptoJS.pad.Pkcs7
});

// 解密
var plaintext = decrypted.toString(CryptoJS.enc.Utf8);

console.log(plaintext);

4.RSA加密（可逆）

  • RSA加密：
    • RSA加密算法是一种非对称加密算法。在公开密钥加密和电子商业中RSA被广泛使用。
  • 非对称加密算法：
    • 非对称加密算法需要两个密钥：
      • 公开密钥（publickey:简称公钥）== 数据加密
      • 私有密钥（privatekey:简称私钥）==数据解密
      • 公钥与私钥是一对，如果用公钥对数据进行加密，只有用对应的私钥才能解密。因为加密和解密使用的是两个不同的密钥，所以这种算法叫作非对称加密算法。
  • 注意：
    • 使用时都是使用公匙加密使用私匙解密。公匙可以公开，私匙自己保留。
    • 算法强度复杂、安全性依赖于算法与密钥但是由于其算法复杂，而使得加密解密速度没有对称加密解密的速度快。
  • 使用流程和场景介绍
    • 通过公匙加密，使用私匙解密。私匙是通过公匙计算生成的。假设ABC三方之间相互要进行加密通信。大家相互之间使用公匙进行信息加密，信息读取时使用各自对应的私匙进行信息解密
    • 用户输入的支付密码会通过RSA加密
  • 公钥私钥生成方式：
  • 环境安装：npm install jsencrypt

js加密、解密

window = globalThis;

const JSEncrypt = require('jsencrypt');


var PUBLIC_KEY = '-----BEGIN PUBLIC KEY-----MFwwDQYJKoZIhvcNAQEBBQADSwAwSAJBALyBJ6kZ/VFJYTV3vOC07jqWIqgyvHulv6us/8wzlSBqQ2+eOTX7s5zKfXY40yZWDoCaIGk+tP/sc0D6dQzjaxECAwEAAQ==-----END PUBLIC KEY-----';
        //私钥
var PRIVATE_KEY = '-----BEGIN PRIVATE KEY-----MIIBVQIBADANBgkqhkiG9w0BAQEFAASCAT8wggE7AgEAAkEAvIEnqRn9UUlhNXe84LTuOpYiqDK8e6W/q6z/zDOVIGpDb545NfuznMp9djjTJlYOgJogaT60/+xzQPp1DONrEQIDAQABAkEAu7DFsqQEDDnKJpiwYfUE9ySiIWNTNLJWZDN/Bu2dYIV4DO2A5aHZfMe48rga5BkoWq2LALlY3tqsOFTe3M6yoQIhAOSfSAU3H6jIOnlEiZabUrVGqiFLCb5Ut3Jz9NN+5p59AiEA0xQDMrxWBBJ9BYq6RRY4pXwa/MthX/8Hy+3GnvNw/yUCIG/3Ee578KVYakq5pih8KSVeVjO37C2qj60d3Ok3XPqBAiEAqGPvxTsAuBDz0kcBIPqASGzArumljkrLsoHHkakOfU0CIDuhxKQwHlXFDO79ppYAPcVO3bph672qGD84YUaHF+pQ-----END PRIVATE KEY-----';
//使用公钥加密
var encrypt = new JSEncrypt();//实例化加密对象
encrypt.setPublicKey(PUBLIC_KEY);//设置公钥
var encrypted = encrypt.encrypt('hello bobo!');//对指定数据进行加密
console.log(encrypted);//使用私钥解密

// 使用私钥解密
var decrypt = new JSEncrypt();
decrypt.setPrivateKey(PRIVATE_KEY);//设置私钥
var uncrypted = decrypt.decrypt(encrypted);//解密
console.log(uncrypted);

python中RSA创建公钥、私钥

from Crypto.PublicKey import RSA

# 通过相关算法生成唯一秘钥，生成密钥对
rsakey = RSA.generate(1024)
# 将秘钥保存到文件中
with open("rsa.public.pem", mode="wb") as f:
    # 公钥：rsa.public.pem
    f.write(rsakey.publickey().exportKey())

with open("rsa.private.pem", mode="wb") as f:
    # 私钥：rsa.private.pem
    f.write(rsakey.exportKey())

python中RSA加密

from Crypto.PublicKey import RSA
from Crypto.Cipher import PKCS1_v1_5
import base64

# 加密
data = "我喜欢你"
with open("rsa.public.pem", mode="r") as f:
    pk = f.read()
    rsa_pk = RSA.importKey(pk)
    # 基于公钥创建加密对象
    rsa = PKCS1_v1_5.new(rsa_pk)

    result = rsa.encrypt(data.encode("utf-8"))
    # 处理成b64方便传输
    b64_result = base64.b64encode(result).decode("utf-8")
    print(b64_result)

python中RSA解密

from Crypto.PublicKey import RSA
from Crypto.Cipher import PKCS1_v1_5
import base64

data = 'IIw+I9D3YhccQDBpH6mwmPT5MExW7NUlrrcrXaEEBF54NYPVfaV5Mb+ps3CCictOiCZMv4jSETZp6H1b3tW3FwHFCojxtFnMSn/RpH0HTfFrJQm7yVwF+qoQQqz8Fj5/qdQk2ejruXkvK21CYwl1REiFY1+1Req4WMChRB1bWuw='
# 解密
with open("rsa.private.pem", mode="r") as f:
    prikey = f.read()
    rsa_pk = RSA.importKey(prikey)
    # 创建解密对象
    rsa = PKCS1_v1_5.new(rsa_pk)
    result = rsa.decrypt(base64.b64decode(data), None)
    print("rsa解密数据:::", result.decode("utf-8"))

标签：加密,base64,爬虫,解密,var,import,数据,MD5
From： https://www.cnblogs.com/Tmars/p/18563197

相关文章

  • 无加密的机密性：Chaffing and Winnowing原理和C#实验仿真
    最近在Crypto2023上看到一篇有趣的文章[1],其旨在一个存在拥有所有密钥并知道所有消息的“独裁者”的信道中，通过安排与常规密文无法区分的隐藏的“变形”消息来进行机密通信的方法——变形签名，但由于本人技术水平有限无法完整实现整个系统。而当阅读到其中的一个技术分支——......
  • 高级java每日一道面试题-2024年11月21日-数据结构篇-红黑树有哪几个特征?
    如果有遗漏,评论区告诉我进行补充面试官:红黑树有哪几个特征?我回答:红黑树（Red-BlackTree）是一种自平衡二叉查找树（Self-BalancingBinarySearchTree），它在插入和删除操作后能够自动保持树的高度平衡。红黑树在许多实际应用中都非常有用，例如在Java的TreeMap和TreeSe......
  • 数据看板无需花里胡哨，能够快速形象忠实展示数据才重要
    数据看板的核心价值在于高效、准确地呈现数据。过于花里胡哨的设计只会分散用户的注意力。简洁明了的布局能让用户迅速定位所需信息，比如通过合理的图表分类，将柱状图用于对比数据，折线图展示趋势变化。使用直观的图形元素和恰当的色彩标识，像用红色代表警示数据，绿色代表正常数据......
  • SSM宠物收养系统mf8t3==程序+源码+数据库+调试部署+开发环境
    本系统（程序+源码+数据库+调试部署+开发环境）带论文文档1万字以上，文末可获取，系统界面在最后面。系统程序文件列表开题报告内容一、项目背景随着社会对宠物关爱的提升，流浪宠物问题日益受到关注。然而，现有的宠物收养流程存在信息不透明、匹配效率低下等问题，导致许多流浪宠物难......
  • SSM大学生健康点餐系统hq67v（程序+源码+数据库+调试部署+开发环境）
    本系统（程序+源码+数据库+调试部署+开发环境）带论文文档1万字以上，文末可获取，系统界面在最后面。系统程序文件列表开题报告内容一、研究背景与意义当前，大学生饮食习惯不健康、营养不均衡的问题日益凸显，对身体健康产生不良影响。为解决这一问题，设计并实现一个大学生健康点餐系......
  • 【数据库入门】关系型数据库入门及SQL语句的编写
    1.数据库的类型：数据库分为网状数据库，层次数据库，关系型数据库和非关系型数据库四种。目前市场上比较主流的是：关系型数据库和非关系型数据库。关系型数据库使用结构化查询语句（SQL）对关系型数据库进行操作。2.关系型数据库数据以二维表的形式进行存储，表和表之间可以建立关......
  • 数据结构-链表、栈、动态数组、队列
    数据结构文章目录数据结构不透明指针定义优点应用场景不透明指针的实现定义不透明指针类型链表知识点节点（Node）头节点（Head）尾节点（Tail）单向链表双链表动态数组队列队列的链式存储队列的顺序存储栈栈的顺序存储栈的链式存储不透明指针定义不透明指针是指指向一个......
  • 数据库系统课程设计 --- 人事管理系统（超详细）
    ......
  • Springboot恩施民宿房屋预订系统w7qme（程序+源码+数据库+调试部署+开发环境）
    本系统（程序+源码+数据库+调试部署+开发环境）带论文文档1万字以上，文末可获取，系统界面在最后面。系统程序文件列表用户,房东,客房信息,客房预订,景点信息,系统简介开题报告内容一、研究背景随着旅游业的蓬勃发展，民宿作为一种新兴的住宿方式，以其独特的地理位置、丰富的文化体......
  • Springboot多用户博客管理系统的设计与实现0ce8q（程序+源码+数据库+调试部署+开发环境）
    本系统（程序+源码+数据库+调试部署+开发环境）带论文文档1万字以上，文末可获取，系统界面在最后面。系统程序文件列表用户,博客文章,博文分类开题报告内容一、研究背景随着互联网技术的飞速发展，博客作为一种个人或团体表达思想、分享知识的平台，已经深入到了人们的日常生活中。博......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99