个人简介
宁为玉碎，不为瓦全
我的朋友
相关博文
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
- ·
分类： python/ruby
2024-08-08 16:49:57
引言
在数字化时代，图像已成为信息传递的重要媒介。无论是社交媒体、新闻网站还是电子商务平台，图像的自动化处理和保存都是提升用户体验和工作效率的关键。本文将深入探讨如何使用python脚本实现从百度图片等搜索引擎批量下载并保存图像文件的高级应用。
技术背景
百度图片是中国{banned}最佳大的图片搜索引擎之一，提供了海量的图像资源。自动化地从百度图片下载图像，不仅可以用于个人收藏，还可以用于数据分析、机器学习等领域。
技术选型
实现百度图片的自动化下载，我们主要使用以下技术栈：
- python：一种易于学习和使用的高级编程语言。
- requests：用于发送http请求的python库。
- beautifulsoup：用于解析html和xml文档的python库。
- pillow：python imaging library的一个分支，用于图像处理。
- os 和 shutil：python标准库中的模块，用于文件操作。
实现过程
1. 获取图像url
首先，我们需要从百度图片搜索结果中提取图像url。这通常涉及到发送http请求和解析html响应。
2. 下载图像
获取到图像url后，我们将使用requests库下载图像。
3. 保存图像
下载完成后，使用pillow库处理图像并保存到本地文件系统。
4. 异常处理
在整个过程中，加入异常处理机制，确保程序的健壮性。
代码实现
以下是一个简单的python脚本示例，展示如何实现上述功能：
点击(此处)折叠或打开
-
import os
-
import requests
-
from bs4 import beautifulsoup
-
from pil import image
-
from io import bytesio
-
-
# 代理服务器设置
-
proxyhost = ""
-
proxyport = "5445"
-
proxyuser = "16qmsoml"
-
proxypass = "280651"
-
-
# 构建代理信息
-
proxies = {
-
'http': f'http://{proxyhost}:{proxyport}',
-
'https': f'https://{proxyhost}:{proxyport}'
-
}
-
-
# 由于requests无法直接处理带有认证信息的代理，
-
# 我们需要创建一个自定义的请求会话，并设置代理认证
-
session = requests.session()
-
session.proxies = proxies
-
auth = (proxyuser, proxypass)
-
session.auth = auth
-
-
def search_images(query, save_dir, num_images=10):
-
# 百度图片搜索url
-
search_url = f"https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word={query}"
-
headers = {
-
'user-agent': 'mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/58.0.3029.110 safari/537.3'
-
}
-
-
# 发送get请求获取搜索结果
-
response = session.get(search_url, headers=headers) # 使用session发送请求
-
soup = beautifulsoup(response.text, 'html.parser')
-
-
# 解析图像url
-
image_tags = soup.find_all('img', {'class': 'img'})
-
image_urls = [img['src'] for img in image_tags if 'src' in img.attrs][:num_images]
-
-
# 保存图像
-
for i, url in enumerate(image_urls):
-
try:
-
# 下载图像
-
image_response = session.get(url, headers=headers) # 使用session发送请求
-
image_response.raise_for_status()
-
-
# 使用bytesio创建一个可读的字节流
-
image_stream = bytesio(image_response.content)
-
-
# 使用pillow打开图像
-
image = image.open(image_stream)
-
-
# 保存图像到指定目录
-
image_filename = f"image_{i 1}.jpg"
-
image_path = os.path.join(save_dir, image_filename)
-
image.save(image_path)
-
print(f"图像已保存到：{image_path}")
-
-
except requests.requestexception as e:
-
print(f"请求错误：{e}")
-
except ioerror as e:
-
print(f"图像处理错误：{e}")
-
-
if __name__ == "__main__":
-
# 搜索关键词
-
query = "风景"
-
# 保存目录
-
save_dir = "downloaded_images"
-
# 确保保存目录存在
-
if not os.path.exists(save_dir):
-
os.makedirs(save_dir)
-
# 搜索并下载图像
- search_images(query, save_dir)
功能扩展
为了提高工具的实用性和用户体验，可以考虑以下功能扩展：
- 多关键词搜索：允许用户输入多个关键词，分别进行搜索和下载。
- 多页结果处理：支持翻页，获取更多搜索结果。
- 图像筛选：根据图像的分辨率、大小等属性进行筛选。
- 用户界面：开发图形用户界面，提高易用性。
- 定时任务：集成定时任务功能，定期自动执行搜索和下载。
给主人留下些什么吧！~~