系统设计思想
京东网站是通过服务端进行数据动态展示的，这样就可以通过网页上的源代码分析网页界面上看到的数据信息，不仅如此，还可以通过在采集京东网页数据的时候，动态读取URL地址。京东页面数据更新的时候，或者读取下一页面的时候，数据显示是异步加载的。这种加载数据的方法能够实时的把数据更新到页面，减少和后台的通信数据量，极大的降低了服务器的负载。所在本系统在设计时要进行数据的动态展示和分析，一定要进行数据的自动分析采集、自动规范整理和自动规范入库，进而按照目标进行动态数据分析。
功能需求
京东商品信息分析系统是针对互联网关注商品信息波动监控进行设计研发的，核心内容管理主要以自动采集监控商品信息为核心，重点解决关注商品信息的动态采集分析，为了尽可能使得系统通用处理，采用数据库中保存数据关键字信息、入库商品关键数据等信息，减少手工管理，为动态监管商品数据提供直观明了规范的商品变化情况信息，减少采用文件数据处理的杂乱和差错，快速准确地掌握商品变化情况。
京东商品信息分析系统主要面向普通用户，通过调查分析，系统主要的功能需求如下：
抓取网页：用于获取京东网页上的商品数据以及在爬取过程中模拟进行翻页、滑滚轮、键盘输入等操作；根据搜索的商品名获得该类商品全部的详细信息和价格。
数据存储：将爬取后的的商品详细信息保存到生成的文本文档和数据库。
数据整理：将获取的商品数据根据用户选择按照价格进行基本的排序便于进行可视化分析。
可视化分析：将得到的商品信息进行处理生成可视化图表。
根据出现数据的不同情况，整理读取不同数据,核心代码如下：
try:
pp = driver.find_element_by_xpath('//*[@id="crumb-wrap"]/div/div[1]/div[7]/a').text
except:
pp = driver.find_element_by_xpath('//*[@id="crumb-wrap"]/div/div[1]/div[7]/div/div/div[1]/a').text
try:
name = driver.find_element_by_xpath('/html/body/div[6]/div/div[2]/div[1]').text
except:
name = driver.find_element_by_xpath('/html/body/div[8]/div/div[2]/div[1]').text
try:
jg = driver.find_element_by_xpath(
'/html/body/div[6]/div/div[2]/div[3]/div/div[1]/div[2]/span[1]/span[2]').text
except:
jg='10'
try:
pl = driver.find_element_by_xpath('//*[@id="comment-count"]/a').text
except:
pl = driver.find_element_by_xpath('//*[@id="detail"]/div[1]/ul/li[4]/s').text
#jg = driver.find_element_by_xpath('/html/body/div[6]/div/div[2]/div[3]/div/div[1]/div[2]/span[1]/span[2]').text
