百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Python 使用 pickle 序列化 对象(pyspark 序列化)

cac55 2024-10-27 08:15 19 浏览 0 评论

使用 pickle 序列化 Python 对象

5 分钟阅读

序列化的直观认识

在程序运行的过程中,所有的变量都是在内存中,比如,定义一个dict:

d = dict(name='Bob', age=20, score=88)

可以随时修改变量,比如把name改成'Bill',但是一旦程序结束,变量所占用的内存就被操作系统全部回收。如果没有把修改后的'Bill'存储到磁盘上,下次重新运行程序,变量又被初始化为'Bob'

我们把变量从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling,在其他语言中也被称之为serialization,marshalling,flattening等等,都是一个意思。

序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。

反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即unpickling。

Python提供了pickle模块来实现序列化。

序列化简介

在面向对象的编程中,序列化是将数据结构或对象转换为可以卸载到文件、内存缓存或通过网络连接传输的格式的过程,并且以后可以在相同或不同的环境中重建相同的对象。

序列化是将对象转换为字节流,从字节流重新生成对象的反向过程是反序列化

序列化 Python 对象的过程

序列化 Python 对象

在Python中,序列化和反序列化是通过“Pickle”库实现的。

什么是Pickle以及如何使用它?

Pickle 库是使用 C 编程语言开发的,就像 Python 解释器一样。它可以保存任意复杂的Python数据结构。Pickle 是可扩展的

Pickle 模块可以存储什么数据类型?

pickle 模块存储以下数据类型:

  • Python 维护的所有本机数据类型:布尔值、整数、浮点数、复数、字符串、字节对象、字节数组和 None。
  • 包含任何数据类型序列的列表、元组、字典和集合。
  • 的列表、词典、元组和集合。带有列表/元组/字典任意组合的集合,以及将本机数据类型的任意组合的集合。
  • 函数、类和类的实例。


如何使用 Pickle 库来序列化 Python 对象?

步骤#1 构造Pickle数据。

website = {'title' : 'Techbeamers', 'site_link' : '/','site_type': 'technology blog','owner':'Python Serialization tutorial','established_date':'Sep2015'}

步骤#2 将数据另存为Pickle文件

有一个字典,其中包含有关网站的所有信息。让我们将其另存为泡菜文件:

import pickle
with open ('website.pickle','wb') as f:
    pickle.dump(website,f)
  • 使用“wb”文件模式以二进制模式打开文件以进行写入操作。
  • 使用“with”语句将其括起来,以确保文件在我们完成处理后自动关闭。
  • pickle 模块中的 dump() 方法采用可序列化的 Python 数据结构,在本例中为我们创建的字典,并执行以下操作。使用最新版本的 pickle 协议将其序列化为二进制格式。将其保存到打开的文件中。
  • 最新版本的 pickle 协议需要二进制格式。

步骤#3 从Pickle文件加载数据,

  • 你可以简单的理解为把硬盘的文件解析后,
  • 加载到内存中变成Python可以识别的结构

pickle 加载文件数据到内存中。

import pickle
with open ('website.pickle', 'rb') as f:
    data = pickle.load(f)
    print (data)
Output:
{'site_link': '/', 'title': 'Techbeamers', 'owner': 'Python Serialization tutorial', 'established_date': 'Sep2015', 'site_type': 'technology blog'}
  • 以二进制模式打开了 pickle 文件。
  • 该方法接受流对象作为参数,pickle.load()从流中扫描序列化缓冲区。实例化一个全新的 Python 对象。使用序列化数据重新生成新的 Python 对象,
  • pickle.load() 生成新的数据结构,与pickle.dump()的结构保持一致
import pickle

website = {'title' : 'Techbeamers', 'site_link' : '/','site_type': 'technology blog','owner':'Python Serialization tutorial','established_date':'Sep2015'}

with open ('website.pickle','wb') as f:
    pickle.dump(website,f)

with open ('website.pickle', 'rb') as f:
    data = pickle.load(f)
    print (data)


结语

相关推荐

Protel电路设计常用设计编辑器案例2——创建元件

#大有学问#今天介绍一下Protel常用设计编辑器的电气连接工具栏。单击主工具栏上的工具按钮或选择【查看】|【工具栏】|【配线工具栏】菜单命令可以关闭或打开【电气连接(WiringTools)】工具...

Protel调整元器件的位置(1)——移动和对齐元器件

今天介绍调整元器件位置的方法。首先介绍移动和对齐元器件的方法。在绘制电路原理图时,放置完了的电路图可能位置不太合适,需要进行移动。原理图中的所有对象都可以被移动,移动方法相似。对于元器件的移动来说又分...

电路仿真软件详谈(八),proteus电路仿真软件和protel的区别

电路仿真软件是常用工具类型之一,proteus更是电路仿真软件中的佼佼者。但是对于proteus电路仿真软件和protel,二者总是被弄混淆。例如,protel是电路仿真软件吗?proteus电路仿真...

PCB文件转换生产文件Protel 99SE_pcb格式转换

为何要将PCB文件转换为GERBER文件和钻孔数据?因为GERBER文件是一种国际标准的光绘格式文件,它包含RS-274-D和RS-274-X两种格式,其中RS-274-D称为基本GERBER格式,并...

PCB设计项目教程 -PDF_pcb设计作品

PCB设计项目教程》及相关PCB设计教材详细介绍:一、核心教材《PCB设计项目教程》该教材由徐凯、王威担任主编,于2017年由北京理工大学出版社出版。其采用“项目导向、任务驱动”的教学模式,...

最受欢迎的pcb设计软件Protel99se到底怎么样?

Protel99se是一款国内非常实用且流行的设计行业的pcb设计软件,其由pcb原理图设计和多层板电路设计两大功能组成,其最大的特点是好获取,在网上可以随便的找到,且Protel99se软件适用于w...

人人都是网络雇佣兵,一种基于路由器的ddos平台设计思路

本文灵感来自于三个方面优酷路由宝,迅雷宝这种路由器流量兑现方式Anonymous匿名者的ddos方式传统木马ddos方案先说路由宝迅雷宝,这种以用户网络为节点的CDN网络中,会传输大量的流量,我上月优...

接口性能测试工具Locust介绍_接口和性能的测试要点

接口性能测试工具其实挺多的,小型有apache的ab工具,大型的有Jmeter、Locust......这里要介绍的是Locust,相对于Jmeter进行了比较完善的封装,Locust可以就显的更自...

华硕笔记本电脑安装系统实战心得体会

故障:某某的电脑叫人安装系统至一半就蓝屏死机.拿来给我安装,发现光驱无效,不能用光盘安装.电脑启动蓝屏.解决方法:用了半天时间安装也出现类似问题.后来考虑用U盘来装.1.首先制作U盘系统,把U盘资...

dos命令systeminfo图文教程,显示操作系统配置信息msinfo32

大家好,我是老盖,首先感谢观看本文,本篇文章做的有视频,视频讲述的比较详细,也可以看我发布的视频。今天我们学习systeminfo命令,该工具显示本地或远程机器(包括服务包级别)的操作系统配置的信息,...

玩家展示现代硬件上运行的MS-DOS 拥有令人难以置信的向后兼容性

一位YouTuber展示了在现代计算机硬件上直接运行古老的MS-DOS操作系统和经典游戏的能力。这段视频由YouTuberInkbox发布,向观众展示了如何启动古老的、前Windows...

比微PE还干净还强大,带网络:USBOS V3.0超级PE装机工具20221031

期待已久的USBOSV3.0超级PE装机工具20221031又和大家见面了,用过的朋友都知道他的确很强大,对于新旧电脑的支持很好,目前为止还没有电脑不支持的,包括苹果PC。很多朋友还在用诸如大白菜、...

大童保险李晓婧:保险的本位是风险管理应在四方面进行建设

经济观察网记者姜鑫5月17日,大童保险服务宣布升级了风险管理模式,推出DOSM(DemandOriented,SolutionModel)需求导向型解决方案5.0版本。新解决方案从原有“六位...

DOS常用命令及简介_dos常用命令大全及用法

DOS是英文DiskOperatingSystem的缩写,意思是“磁盘操作系统”。我是在95年开始学的电脑,当时学校的机房里,还没有一台WINDOWS操作系统的电脑,当时都是用DOS、UC-DOS...

Windows 忘记开机密码?不用任何工具,1招轻松破解

出现忘记Windows密码的情况,概率有多大?对此,小电只能回答忘记开机密码的情况,说来就来,没有规律,也不会提前告诉你一声~而忘记Windows开机密码的时候,很多朋友都会想起可以使用u盘启动盘来破...

取消回复欢迎 发表评论: