端午节到了，甜咸粽子之争也拉开了帷幕。我用 Python 爬取了淘宝上的粽子数据并进行分析，看看有什么发现。
图片来自 Pexels
1
爬虫
爬取淘宝数据，本次采用的方法是：Selenium 控制 Chrome 浏览器自动化操作。
其实我们还可以利用 Ajax 接口来构造链接，但是非常繁琐（包含加密秘钥等），直接使用 Selenium 来模拟浏览器会省去很多事情。
之前的文章我们也用过相同的方法，比如：爬电脑、爬电脑、爬完电脑买不起
最常见的问题是 chromedriver 驱动与谷歌浏览器的版本不匹配，很容易就可以解决。
接下来，我们就开始利用 selenium 抓取淘宝商品，并使用 Xpath 解析得到商品名、价格、付款人数、店铺名、发货地址信息，最后将数据保存在本地。
爬虫过程如下图：
from selenium import webdriver# 搜索商品，获取商品页码def search_product(key_word): # 定位输入框 browser.find_element_by_id("q").send_keys(key_word) # 定义点击按钮，并点击 browser.find_element_by_class_name('btn-search').click() # 最大化窗口：为了方便我们扫码 browser.maximize_window() # 等待15秒，给足时间我们扫码 time.sleep(15) # 定位这个“页码”，获取“共100页这个文本” page_info = browser.find_element_by_xpath('//div[@class="total"]').text # 需要注意的是：findall()返回的是一个列表，虽然此时只有一个元素它也是一个列表。 page = re.findall("(\d+)",page_info)[0] return page
详细爬虫代码下载见文末。
2
数据整理
整理前的数据
数据还是比较粗糙的，有几个问题需要我们去处理：
添加列名
去除重复数据（翻页爬取过程中会有重复）
购买人数为空的记录，替换成 0 人付款
将购买人数转换为销量（注意部分单位为万）
删除无发货地址的商品，并提取其中的省份
# 删除无发货地址的商品，并提取省份df = df[df['发货地址'].notna()]df['省份'] = df['发货地址'].str.split(' ').apply(lambda x:x[0])# 删除多余的列df.drop(['付款人数', '发货地址', 'num', 'unit'], axis=1, inplace=True)# 重置索引df = df.reset_index(drop=True)df.head(10)
整理后的数据
这样我们就对数据完成了清洗与整理，方便下一步进行可视化。
df1 = df.sort_values(by="价格", axis=0, ascending=False)df1.iloc[:5,:]
价格 TOP5 的粽子
想尝尝！
3
数据可视化
本文我们打算用 pyecharts 进行可视化展示。有同学可能使用的是老版本（0.5X），Pyecharts 的 1.x 版本与老版本（0.5X）不兼容，如果无法导入可能是这个问题哈。
import pyechartsprint(pyecharts.__version__)
扇形图
最贵的粽子 1780 元看来是吃不起了，那大家都买什么价位的呢？
def price_range(x): #按照淘宝推荐划分价格区间 if x <= 22: return '22元以下' elif x <= 115: return '22-115元' elif x <= 633: return '115-633元' else: return '633元以上'
不同价格区间的粽子销量占比
看来百元以内的粽子（礼盒装）才是大家的正常承受范围，不过我还是选择小区门口的 5 块钱 3 个。
词云图
from pyecharts.charts import WordCloudfrom pyecharts.globals import SymbolType# 词云图word1 = WordCloud(init_opts=opts.InitOpts(width='1350px', height='750px'))word1.add("", [*zip(key_words.words, key_words.num)], word_size_range=[20, 200], shape=SymbolType.DIAMOND)word1.set_global_opts(title_opts=opts.TitleOpts('粽子商品名称词云图'), toolbox_opts=opts.ToolboxOpts())word1.render("粽子商品名称词云图.html")
粽子商品名称词云图
除去端午节相关的词汇，我们通过关键词大小似乎就知道几种口味的受欢迎情况。
查阅资料对比一下，还真是大体一致。心疼我枣粽。至于嘉兴这个地名，我们后文会继续提到。
条形图
上文我们查到了最贵的粽子，那么销量最好的粽子/店铺是什么呢？
粽子商品销量 Top10
五芳斋共 4 款入围，其中一款礼盒装达到了 100万+ 的销量，应该比这个还多（参见微信的 10w+）。真真老老紧随其后，3 款粽子进入 TOP10。
粽子店铺销量 Top10
粽子店铺销量 Top10 其实与商品相似，五芳斋官方旗舰店和真真老老旗舰店占据首位，遥遥领先。
经过查阅，五芳斋，真真老老，都为嘉兴的粽子两大品牌，那难怪嘉兴在词云图里那么突出。
嘉兴属于浙江省，销量冠亚军都在这里，那浙江岂不是占比很大。还真是这样。
地图
from pyecharts.charts import Map # 计算销量province_num = df.groupby('省份')['销量'].sum().sort_values(ascending=False) # 绘制地图map1 = Map(init_opts=opts.InitOpts(width='1350px', height='750px'))map1.add("", [list(z) for z in zip(province_num.index.tolist(), province_num.values.tolist())], maptype='china' ) map1.set_global_opts(title_opts=opts.TitleOpts(title='各省份粽子销量分布'), visualmap_opts=opts.VisualMapOpts(max_=300000), toolbox_opts=opts.ToolboxOpts() )map1.render("各省份粽子销量分布.html")
各省份粽子销量分布
纪录片《舌尖上的中国》里的嘉兴粽
4
小结
粽子自古以来就代表着纪念和美好的祝愿，而在这个并不安稳的 2020，端午的粽子更多了一些祈愿国泰民安，顺利度过阴霾的意义。
“端午安康”不再是一句客套话，而是我们能送给彼此的最好的愿景。
https://alltodata.cowtransfer.com/s/d11c8906cd9c4c
作者：朱小五
编辑：陶家龙
出处：转载自微信公众号凹凸数据（ID：alltodata）
精彩文章推荐：
