「Python系列三」python爬虫基础要素(一)
cac55 2024-09-19 16:54 53 浏览 0 评论
一、爬虫程序编写模板的结构：
# 导入请求模块
from urllib import request
# 导入转码模块
from urllib import parse
# 导入随机生成请求头模块
from fake_useragent import UserAgent
# 程序结构
class xxxSpider(object):
def __init__(self):
# 定义常用变量,比如url或计数变量等
def get_html(self):
# 组合url，并获取响应内容函数,使用随机User-Agent
def parse_html(self):
# 使用正则表达式来解析页面，提取数据
def write_html(self):
# 将提取的数据按要求保存，csv、MySQL数据库等
def run(self):
# 主函数，用来控制整体逻辑
if __name__ == '__main__':
# 程序开始运行时间
spider = xxxSpider()
spider.run()
二、请求头池（直接放在一个ua_info.py文件中提供随机调用）
ua_list = [
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
'User-Agent:Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'
]
调用方式在py文件中引用：
from ua_info import ua_list
self.headers = {"User-Agent": random.choice(ua_list)}
相关推荐
- Mac电脑强制删除任何软件方法-含自启动应用
-
对于打工者来说，进入企业上班使用的电脑大概率是会被监控起来，比如各种流行的数据防泄漏DLP，奇安信天擎，甚至360安全卫士，这些安全软件你想卸载是非常困难的，甚至卸载后它自己又安装回来了，并且还在你不...
- Linux基础知识 | 文件与目录大全讲解
-
1.linux文件权限与目录配置1.文件属性Linux一般将文件可存取的身份分为三个类别，分别是owner/group/others，且三种身份各read/write/execute等权限文...
- 文件保护不妥协:2025 年 10 款顶级加密工具推荐
-
数据安全无小事，2025年这10款加密工具凭借独特功能脱颖而出，从个人到企业场景全覆盖，第一款为Ping32，其余为国外英文软件。1.Ping32企业级加密核心工具，支持200+文件格...
- 省心省力 一个软件搞定系统维护_省心安装在哪里能找到
-
◆系统类似于我们居住的房间，需要经常打理才能保持清洁、高效。虽然它本身也自带一些清理和优化的工具，但借助于好用的第三方工具来执行这方面的任务，会更让人省心省力。下面笔者就为大家介绍一款集多项功能于一身...
- JAVA程序员常用的几个工具类_java程序员一般用什么软件写程序
-
好的工具做起事来常常事半功倍，下面介绍几个开发中常用到的工具类，收藏一下，也许后面真的会用到。字符串处理：org.apache.commons.lang.StringUtilsisBlank(Char...
- 手工解决Windows10的若干难题_windows10系统卡顿怎么解决
-
【电脑报在线】很多朋友已经开始使用Win10，估计还只是测试版本的原因，使用过程中难免会出现一些问题，这里介绍解决一些解决难题的技巧。技巧1：让ProjectSpartan“重归正途”从10074...
- System32文件夹千万不能删除，看完这篇你就知道为什么了
-
C:\Windows\System32目录是Windows操作系统的关键部分，重要的系统文件存储在该目录中。网上的一些恶作剧者可能会告诉你删除它，但你不应该尝试去操作，如果你尝试的话，我们会告诉你会发...
- Windows.old 文件夹:系统备份的解析与安全删除指南
-
Windows.old是Windows系统升级（如Win10升Win11）或重装时，系统自动在C盘创建的备份文件夹，其核心作用是保留旧系统的文件、程序与配置，为“回退旧系统”提供保...
- 遇到疑难杂症?Windows 10回收站问题巧解决
-
回收站是Windows10的一个重要组件。然而，我们在使用过程中，可能会遇到一些问题。例如，不论回收站里有没有文件，都显示同一个图标，让人无法判别回收站的空和满的真实情况；没有了像Windows7...
- 卸载软件怎么彻底删掉?简单几个步骤彻底卸载，电脑小白看过来
-
日常工作学习生活中，我们需要在安装一些软件程序，但随着软件的更新迭代速度，很多时候我们需要重新下载安装新的程序，这时就需要将旧的一些软件程序进行卸载。但是卸载软件虽然很简单，但是很多小伙伴们表示卸载不...
- 用不上就删!如何完全卸载OneDrive?
-
作为Windows10自带的云盘，OneDrive为资料的自动备份和同步提供了方便。然而，从隐私或其他方面考虑，有些人不愿意使用OneDrive。但Windows10本身不提供直接卸载OneDri...
- 【Linux知识】Linux下快速删除大量文件/文件夹方法
-
在Linux下，如果需要快速删除大量文件或文件夹，可以使用如下方法：使用rm命令删除文件：可以使用rm命令删除文件，例如：rm-rf/path/to/directory/*这个命令会递...
- 清理系统不用第三方工具_清理系统垃圾用什么软件
-
清理优化系统一定要借助于优化工具吗？其实，手动优化系统也没有那么神秘，掌握了方法和技巧，系统清理也是一件简单和随心的事。一方面要为每一个可能产生累赘的文件找到清理的方法，另一方面要寻找能够提高工作效率...
- 系统小技巧:软件卸载不了?这里办法多
-
在正常情况下，我们都是通过软件程序组中的卸载图标，或利用控制面板中的“程序和功能”模块来卸载软件的。但有时，我们也会发现利用卸载图标无法卸载软件或者卸载图标干脆丢失找不到了，甚至控制面板中卸载软件的功...
- 麒麟系统无法删除文件夹_麒麟系统删除文件权限不够
-
删除文件夹方法例：sudorm-rf文件夹名称。删除文件方法例：sudorm-r文件名包括扩展名。如果没有权限，给文件夹加一下权限再删。加最高权限chmod775文件名加可执行权限...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- 如何绘制折线图 (52)
- javaabstract (48)
- 新浪微博头像 (53)
- grub4dos (66)
- s扫描器 (51)
- httpfile dll (48)
- ps实例教程 (55)
- taskmgr (51)
- s spline (61)
- vnc远程控制 (47)
- 数据丢失 (47)
- wbem (57)
- flac文件 (72)
- 网页制作基础教程 (53)
- 镜像文件刻录 (61)
- ug5 0软件免费下载 (78)
- debian下载 (53)
- ubuntu10 04 (60)
- web qq登录 (59)
- 笔记本变成无线路由 (52)
- flash player 11 4 (50)
- 右键菜单清理 (78)
- cuteftp 注册码 (57)
- ospf协议 (53)
- ms17 010 下载 (60)