当前位置:博客首页 > Python > 正文

W1-02 Requests库网络爬虫实战(5个实例)

作者: Jarvan 分类: Python 发布时间: 2018-10-09 13:34 百度已收录

一、爬取京东产品详情页代码

[cce]
# -*- coding: utf-8 -*-

import requests
url = ‘https://item.jd.com/100000287117.html’
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[:1000])
except:
print(“爬取失败”)
[/cce]

 

二、爬取亚马逊产品详情页代码

注:r.request.headers 可以用来查看我们提交给服务器的header信息
[cce]
# -*- coding: utf-8 -*-

import requests
url = ‘https://www.amazon.cn/gp/product/B07GGSDPYS’
try:
kv = {‘user-agent’:’Mozilla/5.0′}
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[1000:2000])
except:
print(“爬取失败”)
[/cce]

 

三、百度、360搜索关键词提交

注:r.request.url,可以用来查看我们获取的url
[cce]
# -*- coding: utf-8 -*-

import requests
keyword = “python”
try:
kv = {‘wd’:keyword}
r = requests.get(“http://www.baidu.com/s”,params=kv)
print(r.request.url)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(len(r.text))
except:
print(“爬取失败”)
[/cce]

四、网络图片的爬取和存储

Python open() 函数中wb:以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。
[cce]
# -*- coding: utf-8 -*-

import requests
import os
url = “https://pic.qbaobei.com/Uploads/Picture/2017-06-15/59422931d6cab.jpg”
root = “D://pics//”
path = root + url.split(‘/’)[-1]
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r = requests.get(url)
with open (path, ‘wb’) as f:
f.write(r.content)
f.close()
print(“文件保存成功”)
else:
print(“文件已存在”)
except:
print(“爬取失败”)

[/cce]

 

五、查询IP地址所在地(通过IP138网站)
[cce]
# -*- coding: utf-8 -*-

import requests
url = “http://m.ip138.com/ip.asp?ip=”
try:
r = requests.get(url+’222.67.14.218′)
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text[-500:])
except:
print(“爬取失败”)
[/cce]

发表评论