首页 > 其他分享 >【天猫】商品详情页数据采集+商品销量采集+商品视频采集+商品优惠券数据采集

【天猫】商品详情页数据采集+商品销量采集+商品视频采集+商品优惠券数据采集

时间:2023-04-25 12:04:56浏览次数:34  
标签:httpRequest Console 示例 采集 天猫 item 商品 httpResponse

采集场景

在淘宝首页(https://s.taobao.com/)输入关键词搜索,采集搜索后得到的商品列表页数据。示例中关键词为【连衣裙】,可根据需求进行更换,同时支持自动批量输入多个关键词。点击商品进入商品详情页面,拿到详情页面能够看到的数据。 

采集字段

采集字段包括关键字文本值,产品标题,店铺名称,产品价格,产品优惠价,产品促销信息,付款人数,产品销量,商品链接,店铺名,品牌,发货地,sku属性,sku图片,详情描述等。

【天猫】商品详情页数据采集+商品销量采集+商品视频采集+商品优惠券数据采集_数据采集

采集结果

采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:

【天猫】商品详情页数据采集+商品销量采集+商品视频采集+商品优惠券数据采集_搜索_02

taobao.item_get_app-获得淘宝app商品详情原数据代码展示

1.请求方式:HTTP  GET  POST  

2.公共参数:

名称

类型

必须

描述

key

String


调用key(必须以GET方式拼接在URL中,查看调用示例

secret

String


调用密钥 (复制v:Taobaoapi2014 )

api_name

String


API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等]

cache

String


[yes,no]默认yes,将调用缓存的数据,速度比较快

result_type

String


[json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读

lang

String


[cn,en,ru]翻译语言,默认cn简体中文

version

String


API版本

3.请求参数:

请求参数:num_iid=520813250866

参数说明:num_iid:淘宝商品ID

4.请求代码示例,支持高并发请求(CURL、PHP 、PHPsdk 、Java 、C# 、Python...)

//using System.Net.Security;
//using System.Security.Cryptography.X509Certificates;
private const String method = "GET";
static void Main(string[] args)
{
	String bodys = "";
	// 请求示例 url 默认请求参数已经做URL编码
	String url = "https://api-gw.19970108018.cn/taobao/item_get_app/?key=<您自己的apiKey>&secret=<您自己的apiSecret>&num_iid=520813250866";
	HttpWebRequest httpRequest = null;
	HttpWebResponse httpResponse = null; 
	if (url.Contains("https://"))
	{
		ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);
		httpRequest = (HttpWebRequest)WebRequest.CreateDefault(new Uri(url));
	}
	else
	{
		httpRequest = (HttpWebRequest)WebRequest.Create(url);
	}
	httpRequest.Method = method;
	if (0 < bodys.Length)
	{
		byte[] data = Encoding.UTF8.GetBytes(bodys);
		using (Stream stream = httpRequest.GetRequestStream())
		{
		stream.Write(data, 0, data.Length);
		}
	}
	try
	{
		httpResponse = (HttpWebResponse)httpRequest.GetResponse();
	}
	catch (WebException ex)
	{
		httpResponse = (HttpWebResponse)ex.Response;
	}
	Console.WriteLine(httpResponse.StatusCode);
	Console.WriteLine(httpResponse.Method);
	Console.WriteLine(httpResponse.Headers);
	Stream st = httpResponse.GetResponseStream();
	StreamReader reader = new StreamReader(st, Encoding.GetEncoding("utf-8"));
	Console.WriteLine(reader.ReadToEnd());
	Console.WriteLine("\n");
}
public static bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)
{
	return true;
}

5.响应示例:

【天猫】商品详情页数据采集+商品销量采集+商品视频采集+商品优惠券数据采集_json_03

6.错误码展示

【天猫】商品详情页数据采集+商品销量采集+商品视频采集+商品优惠券数据采集_数据挖掘_04

标签:httpRequest,Console,示例,采集,天猫,item,商品,httpResponse
From: https://blog.51cto.com/tbapi2014/6223708

相关文章

  • 智能燃气物联网数据采集解决方案
    工业物联网技术应用于燃气管理可以实现自动化数据采集和远程监控报警,为企业提供查询燃气消耗量的可靠手段,实现燃气能耗智能管理,提升管理效率,有助于节能减排工作开展。通过将燃气表接入到物通博联工业智能网关,实现能耗数据的共享,将实时计量数据上报到监控中心(本地上位机或云平台),实现......
  • Python Django 制作商品列表展示
    新建名为goods应用pythonmanage.pystartappgoods修改chapter1/settings.py文件在INSTALLED_APPS数组中添加goods在对象TEMPLATES.OPTIONS中添加django.template.context_processors.media添加三个常量MEDIA_URL='/media/'MEDIA_ROOT=os.path.join(BASE......
  • 淘宝API接口对接(商品详情,评论,按图搜图,订单列表)代码封装,可高并发
    淘宝OpenAPI(Openapplicationprogramminginterface)是一套REST方式的开放应用程序编程接口。淘宝网根据自己提供的电子商务基础服务,抽象并做成一系列的API接口。通过这些接口,可以让外部用户能够通过程序的方式访问淘宝网的数据和平台。淘宝OpenAPI是淘宝开放平台的重要组成......
  • 【淘宝】商品列表页数据采集+商品优惠券数据采集
    采集场景在淘宝首页(https://s.taobao.com/)输入关键词搜索,采集搜索后得到的商品列表页数据。示例中关键词为【耐克】,可根据需求进行更换,同时支持自动批量输入多个关键词。 采集字段采集字段包括关键字文本值,产品标题,店铺名称,产品价格,付款人数,商品链接,店铺名,品牌,发货地等。采集结果......
  • API接口item_get-获取lazada商品详情(num_iid宝贝ID、title商品标题、price价格、nick
    什么是API?API是一个缩写,它代表了一个pplicationPAGC软件覆盖整个房间。API是用于构建软件应用程序的一组例程,协议和工具。API指定一个软件程序应如何与其他软件程序进行交互。例行程序:执行特定任务的程序。例程也称为过程,函数或子例程。协议:在两个系统之间传输数据的格式。......
  • 河北稳控科技多通道振弦传感器无线采集仪 数据发送详情
    河北稳控科技多通道振弦传感器无线采集仪数据发送详情 每次设备启动后会将采集到的传感器数据进行内部存储,并在设置好的时间间隔将数据发送出去,通过修改“数据发送方式”参数,监测数据可由数据接口输出也可经由无线网络发送。在发送监测数据时,可通过修改“数据包协议”参数来......
  • 淘宝app端商品采集接口分享 商品详情图抓取 高并发请求
    接口名称:item_get_app请求方式:POST、GET返回数据格式:json请求示例:#coding:utf-8"""Compatibleforpython2.xandpython3.xrequirement:pipinstallrequests"""from__future__importprint_functionimportrequests#请求示例url默认请求参数已经做URL编......
  • 跨境电商虾皮shoppe和lazada商品详情API接口
    虾皮跨境电商接口“虾皮跨境电商接口”,又称虾皮“eTaobao”,是阿里巴巴旗下国际站虾皮网,联合淘宝官方API、以及虾皮自有技术进行开发的一款跨境电商接口服务。其核心目的是提供便捷的淘宝API调用,将淘宝平台上的宝贝信息(包括商品的分类,价格,图片等)及淘宝API,被完美的适应跨境电商接......
  • 夜莺初探三·Categraf采集器
    夜莺初探三·Categraf采集器前言github仓库文档中对Categraf有很详细的介绍,简单重复一下就是:支持多种数据格式的remote_write;All-in-one的设计理念,指标采集只需要一个agent完成,也计划支持日志和调用链路的数据采集;Go编写,依赖少,容易分发和安装;内置一些监控大盘和告警规则,用户可......
  • 防水材料智能工厂数据采集监控解决方案
    行业背景防水材料作为建筑工程的基础性材料之一,事关建筑安全和民生安全,要求其具备良好的防水抗漏性能面对原材料价格上涨、人工成本增加以及竞争越发激烈的市场环境,传统防水材料工厂的生产管理模式暴露出越来越多的问题。工厂设备之间存在信息孤岛,各个工艺环节的数据隔阂使得生产管......