侧边栏壁纸
博主头像
文刀刘博主等级

不爱写个人简介的人的简介

  • 累计撰写 11 篇文章
  • 累计创建 3 个标签
  • 累计收到 0 条评论

目 录CONTENT

文章目录

爬虫学习02.requests实战之网页采集器

文刀刘
2022-08-29 / 0 评论 / 0 点赞 / 122 阅读 / 170 字
import requests
#UA伪装 将对应的User-Agent封装到一个字典中
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.49'
}
#指定url
url = 'https://www.sogou.com/web'
#处理url携带的参数
kw = input('enter a world:')
param = {
    'query':kw
}
#对指定的url发起请求是携带参数的,并且请求过程中已经处理了参数
response = requests.get(url=url,params=param,headers=headers)
#获取响应数据
page_text = response.text
#持久化存储
filename = kw+'.html'
with open(filename,'w',encoding='utf-8') as fp:
    fp.write(page_text)
print(filename,'保存成功!')
0

评论区