Python如何利用Xpath选择器爬取京东网商品信息-创新互联
这篇文章主要讲解了Python如何利用Xpath选择器爬取京东网商品信息，内容清晰明了，对此有兴趣的小伙伴可以学习一下，相信大家阅读完之后会有帮助。
创新互联公司-专业网站定制、快速模板网站建设、高性价比庄河网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式庄河网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖庄河地区。费用合理售后完善，十多年实体公司更值得信赖。HTML文件其实就是由一组尖括号构成的标签组织起来的，每一对尖括号形式一个标签，标签之间存在上下关系，形成标签树；XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。
首先进入京东网，输入自己想要查询的商品，向服务器发送网页请求。在这里小编仍以关键词“狗粮”作为搜索对象，之后得到后面这一串网址：
https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8，其中参数的意思就是我们输入的keyword，在本例中该参数代表“狗粮”，具体详情可以参考Python大神用正则表达式教你搞定京东商品信息。所以，只要输入keyword这个参数之后，将其进行编码，就可以获取到目标URL。之后请求网页，得到响应，尔后利用bs4选择器进行下一步的数据采集。
商品信息在京东官网上的部分网页源码如下图所示：
狗粮信息在京东官网上的网页源码
仔细观察源码，可以发现我们所需的目标信息是存在
通常URL编码的方式是把需要编码的字符转化为%xx的形式，一般来说URL的编码是基于UTF-8的，当然也有的于浏览器平台有关。在Python的urllib库中提供了quote方法，可以实现对URL的字符串进行编码，从而可以进入到对应的网页中去。
在线复制Xpath表达式
很多小伙伴都觉得Xpath表达式很难写，其实掌握了基本的用法也就不难了。在线复制Xpath表达式如上图所示，可以很方便的复制Xpath表达式。但是通过该方法得到的Xpath表达式放在程序中一般不能用，而且长的没法看。所以Xpath表达式一般还是要自己亲自上手。
直接上代码，利用Xpath去提取目标信息，如商品的名字、链接、图片和价格，具体的代码如下图所示：
爬虫代码
在这里，小编告诉大家一个Xpath表达式匹配技巧。之前看过好几篇文章，大佬们都推荐Xpath表达式使用嵌套匹配的方式。在本例中，首先定义items，如下所示：
items = selector.xpath('//li[@class="gl-item"]')
之后通过range函数，逐个从网页中进行匹配目标信息，而不是直接通过复制Xpath表达式的方式一步到位。希望小伙伴们以后都可以少入这个坑~~
最后得到的效果图如下所示：
最终效果图
新鲜的狗粮再一次出炉咯~~~
小伙伴们，有没有发现利用Xpath来获取目标信息比正则表达式要简单一些呢？
看完上述内容，是不是对Python如何利用Xpath选择器爬取京东网商品信息有进一步的了解，如果还想学习更多内容，欢迎关注创新互联行业资讯频道。
网站题目：Python如何利用Xpath选择器爬取京东网商品信息-创新互联
转载源于：http://cdiso.cn/article/coeiss.html
