使用爬虫利器 Playwright，轻松爬取抖查查数据
我们先分析登录的接口，其中 url 有一些非业务参数：ts、he、sign、secret。
然后根据这些参数作为关键词，定位到相关的 js 代码。
最后，逐步进行代码的跟踪，发现大部分的代码被混淆加密了。
花费了大半天，来还原这些混淆加密的代码，但是也没有逆向出来。
走到这里就是个坑了，那没有其他的方法了吗？
我们换个思路，换道超车，使用自动化的方式，通过启动浏览器的方式，模拟用户的行为。
监听相关的网络请求，来拦截数据；虽然这种方式比较的蹩脚，但是也能达到数据爬取的目的。
使用 playwright 库实现自动化模拟登录
打开抖查查首页
# 打开抖查查首页
page.goto("https://www.douchacha.com/")
点击登录
# 点击 登录按钮
page.wait_for_timeout(random.randint(2, 5) * 1000)
page.click("xpath=//p[@class=\"login_txt\"]//span[@class=\"login\"]")
切换到手机号登录模式
page.wait_for_timeout(random.randint(2, 5) * 1000)
page.click("xpath=//a[@class=\"login_dialog_switch\"]")
填写手机号、密码、点击登录
# 填写 账号、密码
page.wait_for_timeout(random.randint(2, 5) * 1000)
page.fill("xpath=//input[@placeholder=\"请输入手机号\"]", "xxxxxx")
page.fill("xpath=//input[@placeholder=\"请输入密码\"]", "xxxxx")
# 点击 登录
page.wait_for_timeout(random.randint(2, 5) * 1000)
page.click("xpath=//div[@class=\"login_warp\"]//div[@class=\"login_input_warp\"]//button//span[contains(text(), \"登录\")]")
登录成功之后的 Cookie 数据，这里只展示部分数据。
[{
"name": "HMACCOUNT_BFESS",
"value": "4E58BF464182BB65",
"domain": ".hm.baidu.com",
"path": "/",
"expires": 1716691140.784459,
"httpOnly": false,
"secure": true,
"sameSite": "None"
}, {
"name": "Hm_lvt_5e3b865d73ba569c052e9fb5792de511",
"value": "1682131141",
"domain": ".douchacha.com",
"path": "/",
"expires": 1713667155,
"httpOnly": false,
"secure": false,
"sameSite": "Lax"
}]
爬取抖音的商品列表数据
将上面保存下来的 Cookie 数据，应用到其他的页面。
context = browser.new_context()
# 设置 cookie
with open("./cookies.txt", "r") as f:
cookies = json.loads(f.read())
context.add_cookies(cookies)
page = context.new_page()
打开搜索商品页面
# 打开抖查查商品搜索页面
page.goto("https://www.douchacha.com/searchshopdetail")
# 设置回调函数
page.on('response', response_callback)
数据回调函数，其实本质就是监听也 network 网络请求，然后进行过滤。
def response_callback(response):
# 过滤出商品列表接口数据
if '/api/tiktok/search/goods' in response.url and response.status == 200:
print(response.json())
爬取到的商品数据，这里只展示部分数据。
{
'code': 200,
'msg': '',
'data': {
'result': [{
'range_business_total_sales7_new': '200w+',
'range_business_total_sales30_new': '200w+',
'range_platform_sales': '0',
'range_sales': '1000w+',
'goods_id': '83419cd43abb55e4b6bab118c5ba75a10e25ada76a6e9530dabc307aab72869d',
'title': '【9.99元150包】宣美乐小麻花香酥可口休闲解馋零食六种口味混合',
'big_title': '【9.9元150包】宣美乐小麻花香酥可口休闲解馋零食六种口味混合装',
'image': 'https://p26-item.ecombdimg.com/img/ecom-shop-material/v1_MIjPNXI_71166834225882893150966_fe71d81300602fd5d766f1b1ff74671c_sx_205628_www1022-1022~tplv-5mmsx3fupr-resize:1080:1080.jpeg',
'sales': '15987150',
'platform_sales': '0',
'price': '999',
'last_update_time': '1682125751327',
'promotion_id': '3609573447434420470',
'brand': 'XUANMEILE/宣美樂',
'business_total_pv': '0',
'business_total_user': '0',
'view_count': '36208',
'coupon_price': 0.0,
'cos_fee': '150',
'cos_fee_scale': 0.1505,
'goods_source': '小店',
'goods_source_type': 2,
'market_price': '999',
'detail_url': 'https://haohuo.jinritemai.com/ecommerce/trade/detail/index.html?id=3609573286356382944&origin_type=2002170010&origin_id=99514375927_3609573447434420470&alkey=1128_99514375927_0_3609573447434420470_011&sec_author_id=MS4wLjABAAAA2I9NdgAKZrz9e0tLm1csyDMNqLESPDm34TdYYqXe8-I&from_link=1&c_biz_combo=2&use_link_command=1&goods_detail=%7B%22title%22%3A%22%E3%80%909.99%E5%85%83150%E5%8C%85%E3%80%91%E5%AE%A3%E7%BE%8E%E4%B9%90%E5%B0%8F%E9%BA%BB%E8%8A%B1%E9%A6%99%E9%85%A5%E5%8F%AF%E5%8F%A3%E4%BC%91%E9%97%B2%E8%A7%A3%E9%A6%8B%E9%9B%B6%E9%A3%9F%E5%85%AD%E7%A7%8D%E5%8F%A3%E5%91%B3%E6%B7%B7%E5%90%88%22%2C%22sales%22%3A15987150%2C%22img%22%3A%7B%22uri%22%3A%22ecom-shop-material%2Fv1_MIjPNXI_71166834225882893150966_fe71d81300602fd5d766f1b1ff74671c_sx_205628_www1022-1022%22%2C%22url_list%22%3A%5B%22https%3A%2F%2Fp3-item.ecombdimg.com%2Fimg%2Fecom-shop-material%2Fv1_MIjPNXI_71166834225882893150966_fe71d81300602fd5d766f1b1ff74671c_sx_205628_www1022-1022~tplv-5mmsx3fupr-image.png%22%2C%22https%3A%2F%2Fp26-item.ecombdimg.com%2Fimg%2Fecom-shop-material%2Fv1_MIjPNXI_71166834225882893150966_fe71d81300602fd5d766f1b1ff74671c_sx_205628_www1022-1022~tplv-5mmsx3fupr-image.png%22%5D%2C%22width%22%3A100%2C%22height%22%3A100%7D%2C%22min_price%22%3A999%2C%22max_price%22%3A999%7D&detail_schema=sslocal%3A%2F%2Fec_goods_detail%3Fpromotion_id%3D3609573447434420470%26product_id%3D3609573286356382944%26item_id%3D0%26kol_id%3D99514375927%26enter_from%3Dcopy%26source_page%3Dcopy%26meta_params%3D%26request_additions%3D%257B%2522from_internal_feed%2522%253A%2522false%2522%252C%2522cps_track%2522%253A%2522%2522%252C%2522marketing_channel%2522%253A%2522%2522%257D&h5_origin_type=detail_share',
'video_exceptlive': 0.12,
'live_except_video': 0.88,
'video_count30': '1183',
'user_count30': '2187',
'live_count30': '3880',
'conversion_rate30': 1.0,
'video_count7': '1103',
'user_count7': '2091',
'live_count7': '3633',
'video_count_y': '103',
'user_count_y': '640',
'live_count_y': '741',
'business_total_sales7_new': '2288800',
'live_sales_grow30': '0',
'video_sales_grow30': '0',
'goods_video_rate': 0.0,
'goods_live_rate': 0.0,
'business_total_sales30_new': '2740500',
'first_cid': '8',
'second_cid': '20018',
'thrid_cid': '20312',
'shop_id': 'd5e2b4885996eff784d18feca4291b3f',
'brand_id': '3943caf2696213efef6d630cfe883ce3b4b3a448335aa2b1a75b9ada4f557da2',
'status': 1,
'up_status': 1,
'percent': 89.5306,
'good_rate': 0.8953068592057761,
'has_speci': True,
'range_business_total_sales_y_new': '46w+',
'business_total_sales_y_new': '466200'
}],
'page_no': '1',
'page_size': '10',
'total_page': '1564721',
'total_record': '15647209',
'show_original_data': False,
'user_grade': 'FREE',
'data_max': 10
}
}
小结
- 抖查查所有的接口都进行了签名校验，及 js 代码混淆加密，逆向难度高。
- 变换思路，使用 playwright 自动化的方式模拟登录，及接口数据拦截。
- 最终，达到数据爬取的目的；当然，最好的方式是能够反混淆逆向 js 代码。
- 最后，声明本篇文章仅供学习参考，网络不是法外之地，切勿进行非法用途。
- 源代码 Github 地址：https://github.com/yxhsea/mock_login/tree/master/douchacha