本文主要介绍的是关于Python利用requests模块下载图片的相关,下面话不多说了,来一起看看详细的介绍吧
MySQL中事先保存好爬取到的图片链接地址。
然后使用多线程把图片下载到本地。
示例代码:
# coding: utf-8 import MySQLdb import requests import os import re from threading import Thread import datetime header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/63.0.3239.132 Safari/537.36'} file_path = 'F:\\mlu2' if not os.path.exists(file_path): os.mkdir(file_path) class Spider(object): def __init__(self, file_path, header): self.file_path = file_path self.header = header @staticmethod def timer(func): def time_count(*args): start_time = datetime.datetime.now() func(*args) end_time = datetime.datetime.now() day = (end_time - start_time).days times = (end_time - start_time).seconds hour = times / 3600 h = times % 3600 minute = h / 60 m = h % 60 second = m print "爬取完成" print "一共用时%s天%s时%s分%s秒" % (day, hour, minute, second) return time_count def get_link(self): conn = MySQLdb.connect(host='localhost', port=3306, user='root', passwd='729814', db='mlu', charset='utf8') cur = conn.cursor() sql = 'select image from msg limit 100' # image为事先爬取存到MySQL的图片链接地址 cur.execute(sql) img_link = cur.fetchall() return img_link def download(self, link): filename = re.findall(r'.*/(.+)', link)[0] try: pic = requests.get(link, headers=self.header) if pic.status_code == 200: with open(os.path.join(self.file_path)+os.sep+filename, 'wb') as fp: fp.write(pic.content) fp.close() print "下载完成" except Exception as e: print e @timer def run_main(self): threads = [] links = self.get_link() for link in links: img = str(link[0]) t = Thread(target=self.download, args=[img]) t.start() threads.append(t) for t in threads: t.join() spider = Spider(file_path, header) spider.run_main()
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
金钱帮资源网 Copyright www.kbjia.com
暂无“Python利用requests模块下载图片实例代码”评论...
更新日志
2024年10月14日
2024年10月14日
- 群星《歌手2024 第4期》[FLAC/分轨][563.76MB]
- RiffKitten-ChaosParade(2024)[24-44,1]FLAC
- RuneKlakegg-Nattevandrer(2024)[24-96]\FLAC
- 赖冰霞.2006-金嗓典藏辑2IN1(南方金点系列)2CD【南方】【WAV+CUE】
- 群星.1988-国语金曲尽精英VOL.2【瑞成】【WAV+CUE】
- 张宇.1999-雨一直下【EMI百代】【WAV+CUE】
- 袁娅维.2021-月亮失眠了(DELUXE)【华纳】【FLAC分轨】
- AlanBroadbent-JazzFunk(2024)[24-44,1]
- 梅艳芳《绝代芳华》开盘母带[低速原抓WAV+CUE]
- ABC唱片-《外国精逊母带直刻神奇黑胶[APE+CUE].
- 群星《天赐的声音第五季 第6期》[320K/MP3][101.43MB]
- 群星《天赐的声音第五季 第6期》[FLAC/分轨][526.16MB]
- 群星《说唱梦工厂 第2期》[320K/MP3][96.37MB]
- 杨宗宪.1994-留你留袂着【有容唱片】【WAV+CUE】
- 李翊君.2005-勇敢的爱【创意唱片】【WAV+CUE】