手把手教你从今日头条爬取你想要的任何图片

都说人生苦短，我用python。为了找点乐趣，不如写个爬虫？

那爬什么呢？

宇宙条是爬虫界行家，它的很多信息都是从其它网站爬来的，那就拿它练练手吧。

网上类似的文章其实不少，但是大多是很久之前的，在这期间头条已经做了改版，因此还必须自己动手。

具体原理不多说了，直接简单介绍下步骤：

1.首先，打开头条首页，搜索关键词「美景」，可以得到搜索结果页面链接为https://www.toutiao.com/search/?keyword=美景，搜索结果如下：

2.同时注意到这是一个Ajax请求，因此我们需要拿到其真实的请求url，就是图中红框标出来的部分。

3.第一次发起搜索请求时，头条有一个滑块验证，这里我们就不模拟这个过程了，手动验证，拿到cookie就好，同时将自己的浏览器信息，请求参数都复制出来：

连续向后翻页，发现变化的参数只有offset一个，也就是偏移量。

4.观察请求结果，最关键的是article_url这个字段，根据这个链接重定向，就可以跳转到列表中每篇文章的详情页。

5.进入详情页，查看网页源码，可以发现图片链接都是以下图标出来的形式记录的，这就好办了，简单正则匹配一下就好

6.拿到图片链接，保存到本地，大功告成。

应该说头条相对来说做得比较简单一些，毕竟是新闻类网站，总共差不多100行代码就搞定了，不像淘宝，要爬它的数据就要困难很多。

当然了，除了爬美景，其它照片你想爬啥就怕啥，修改下搜索关键字就好了。第一次写爬虫，还有很多可以优化的地方。简单贴下代码，需要的自取，鬼晓得头条啥时候又改版了，同时欢迎大家review😝。

最后，祝各位大小宝宝节日快乐~~~~

1. # -*- coding: utf-8 -*-
   

2. import os
   

3. import re
   

4. import threading
   

5. import time
   

6. from hashlib import md5
   

7. from urllib import urlencode
   

8. 
   

9. import requests
   

10. 
    

11. # 这里设置你想查询的关键字
    

12. keyword = '美景'
    

13. # 这里替换成你自己的浏览器信息
    

14. user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'
    

15. # 头条图片搜索需要滑动验证，因此简单处理，先手动验证，然后设置cookie
    

16. cookie = 'tt_webid=6696746174420534791; WEATHER_CITY=%E5%8C%97%E4%BA%AC; UM_distinctid=16b0805ea6f31d-02830a8210d05a-37627e03-1fa400-16b0805ea705fd; tt_webid=6696746174420534791; __tasessionId=znvodagrm1559207733945; csrftoken=7201998104473d4e2ad8302bb74ae401; s_v_web_id=600eabfd649cb7a70f3d80b981411bfc; CNZZDATA1259612802=1444442826-1559202415-%7C1559207815'
    

17. headers = {
    

18. 'Host': 'www.toutiao.com',
    

19. 'Referer': 'https://www.toutiao.com/search/?keyword=' + keyword,
    

20. 'User-Agent': user_agent,
    

21. 'X-Requested-With': 'XMLHttpRequest',
    

22. 'Cookie': cookie
    

23. }
    

24. 
    

25. start_offset = 0
    

26. end_offset = 20
    

27. step = 20
    

28. 
    

29. 
    

30. # 根据偏移量获取每页文章列表
    

31. def get_page_by_offset(offset):
    

32. params = {
    

33. 'aid': '24',
    

34. 'app_name': 'web_search',
    

35. 'offset': offset,
    

36. 'format': 'json',
    

37. 'keyword': keyword,
    

38. 'autoload': 'true',
    

39. 'count': '20',
    

40. 'en_qc': '1',
    

41. 'cur_tab': '1',
    

42. 'from': 'search_tab',
    

43. 'pd': 'synthesis',
    

44. }
    

45. 
    

46. url = 'https://www.toutiao.com/api/search/content/?' + urlencode(params)
    

47. try:
    

48. resp = requests.get(url, headers=headers)
    

49. if resp.status_code == 200:
    

50. return resp.json()
    

51. except requests.ConnectionError:
    

52. return None
    

53. 
    

54. 
    

55. # 获取每篇文章的重定向链接
    

56. def get_article_url(article):
    

57. if article.get('data'):
    

58. for item in article.get('data'):
    

59. article_url = item.get('article_url')
    

60. title = item.get('title')
    

61. yield {
    

62. 'article_url': article_url,
    

63. 'title': title
    

64. }
    

65. 
    

66. 
    

67. # 将图片保存到文件
    

68. def save2file(title, url):
    

69. if not os.path.exists(title):
    

70. os.mkdir(title)
    

71. resp = requests.get(url)
    

72. file_name = './' + title + '/' + md5(resp.content).hexdigest() + '.jpg'
    

73. if not os.path.exists(file_name):
    

74. with open(file_name, 'wb') as f:
    

75. f.write(resp.content)
    

76. else:
    

77. print('Already Downloaded', file_name)
    

78. 
    

79. 
    

80. # 获取每篇文章的图片列表
    

81. def get_image_by_article(article):
    

82. article_url = article.get('article_url')
    

83. title = article.get('title')
    

84. print title
    

85. print article_url
    

86. if article_url:
    

87. try:
    

88. # 这里需要使用session的方式，否则会因为重定向次数太多而报错
    

89. session = requests.Session()
    

90. session.headers['User-Agent'] = headers['User-Agent']
    

91. resp = session.get(article_url)
    

92. if resp.status_code == 200:
    

93. # soup = BeautifulSoup(resp.text, 'lxml')
    

94. # result = soup.find_all(name='script')[6]
    

95. regex = '.*?img src="(.*?)".*?'
    

96. items = re.findall(regex, resp.text, re.S)
    

97. if items:
    

98. for item in items:
    

99. print item
    

100. save2file(title, item)
     

101. except requests.ConnectionError:
     

102. print 'Get image fail.'
     

103. 
     

104. 
     

105. if __name__ == '__main__':
     

106. for offset in range(start_offset, end_offset, step):
     

107. article_list = get_page_by_offset(offset)
     

108. for article in get_article_url(article_list):
     

109. # 每篇文章单独起一个线程进行抓取
     

110. t = threading.Thread(target=get_image_by_article(article))
     

111. t.start()
     

112. t.join()
     

113. # get_image_by_article(article)
     

114. end_time = time.time()
     

115. print('=====Done=====')