百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Python 使用 pickle 序列化 对象(pyspark 序列化)

cac55 2024-10-27 08:15 13 浏览 0 评论

使用 pickle 序列化 Python 对象

5 分钟阅读

序列化的直观认识

在程序运行的过程中,所有的变量都是在内存中,比如,定义一个dict:

d = dict(name='Bob', age=20, score=88)

可以随时修改变量,比如把name改成'Bill',但是一旦程序结束,变量所占用的内存就被操作系统全部回收。如果没有把修改后的'Bill'存储到磁盘上,下次重新运行程序,变量又被初始化为'Bob'

我们把变量从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling,在其他语言中也被称之为serialization,marshalling,flattening等等,都是一个意思。

序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。

反过来,把变量内容从序列化的对象重新读到内存里称之为反序列化,即unpickling。

Python提供了pickle模块来实现序列化。

序列化简介

在面向对象的编程中,序列化是将数据结构或对象转换为可以卸载到文件、内存缓存或通过网络连接传输的格式的过程,并且以后可以在相同或不同的环境中重建相同的对象。

序列化是将对象转换为字节流,从字节流重新生成对象的反向过程是反序列化

序列化 Python 对象的过程

序列化 Python 对象

在Python中,序列化和反序列化是通过“Pickle”库实现的。

什么是Pickle以及如何使用它?

Pickle 库是使用 C 编程语言开发的,就像 Python 解释器一样。它可以保存任意复杂的Python数据结构。Pickle 是可扩展的

Pickle 模块可以存储什么数据类型?

pickle 模块存储以下数据类型:

  • Python 维护的所有本机数据类型:布尔值、整数、浮点数、复数、字符串、字节对象、字节数组和 None。
  • 包含任何数据类型序列的列表、元组、字典和集合。
  • 的列表、词典、元组和集合。带有列表/元组/字典任意组合的集合,以及将本机数据类型的任意组合的集合。
  • 函数、类和类的实例。


如何使用 Pickle 库来序列化 Python 对象?

步骤#1 构造Pickle数据。

website = {'title' : 'Techbeamers', 'site_link' : '/','site_type': 'technology blog','owner':'Python Serialization tutorial','established_date':'Sep2015'}

步骤#2 将数据另存为Pickle文件

有一个字典,其中包含有关网站的所有信息。让我们将其另存为泡菜文件:

import pickle
with open ('website.pickle','wb') as f:
    pickle.dump(website,f)
  • 使用“wb”文件模式以二进制模式打开文件以进行写入操作。
  • 使用“with”语句将其括起来,以确保文件在我们完成处理后自动关闭。
  • pickle 模块中的 dump() 方法采用可序列化的 Python 数据结构,在本例中为我们创建的字典,并执行以下操作。使用最新版本的 pickle 协议将其序列化为二进制格式。将其保存到打开的文件中。
  • 最新版本的 pickle 协议需要二进制格式。

步骤#3 从Pickle文件加载数据,

  • 你可以简单的理解为把硬盘的文件解析后,
  • 加载到内存中变成Python可以识别的结构

pickle 加载文件数据到内存中。

import pickle
with open ('website.pickle', 'rb') as f:
    data = pickle.load(f)
    print (data)
Output:
{'site_link': '/', 'title': 'Techbeamers', 'owner': 'Python Serialization tutorial', 'established_date': 'Sep2015', 'site_type': 'technology blog'}
  • 以二进制模式打开了 pickle 文件。
  • 该方法接受流对象作为参数,pickle.load()从流中扫描序列化缓冲区。实例化一个全新的 Python 对象。使用序列化数据重新生成新的 Python 对象,
  • pickle.load() 生成新的数据结构,与pickle.dump()的结构保持一致
import pickle

website = {'title' : 'Techbeamers', 'site_link' : '/','site_type': 'technology blog','owner':'Python Serialization tutorial','established_date':'Sep2015'}

with open ('website.pickle','wb') as f:
    pickle.dump(website,f)

with open ('website.pickle', 'rb') as f:
    data = pickle.load(f)
    print (data)


结语

相关推荐

博科矩阵新IP网络推动发展OTT服务

近日消息,日本电信服务提供商软银集团正在部署博科VDX交换机,为集团公司通用服务基础架构网络提供以太网矩阵,从而简化数据中心运营。这个新的基础架构将大幅度降低软银数据中心网络运营的复杂度和成本,使该公...

博科SDN战略落地 首款控制器Vyatta面世

ZDNET网络频道10月10日评论消息(文/于泽):虽然软件定义网络(SDN)近两年被炒得很热,但一直属于雷声大雨点小。各网络厂商都声称自家的交换机能够支持OpenFlow协议、实现SDN,不过就...

博科网络矩阵助Skilled Group“时刻在线”

澳大利亚最大的劳动力解决方案提供商SkilledGroup采用博科以太网和光纤通道存储区域网络(SAN)矩阵部署了一个创新的网络,从而打造了一个“时刻在线”的IT基础架构。博科矩阵实现了零停机环境以...

博科基于OpenDaylight推出SDN控制器Vyatta

ZDNET网络频道09月23日编译:博科周一宣布推出Vyatta控制器。Vyatta是博科SDN产品系列中一个新的主打产品。博科表示,Vyatta控制器是一步一步的从OpenDaylight项目中...

浏览器https方式访问博科FC光交显示没有匹配的加密算法套件

浏览器https方式访问博科FC光交显示没有匹配的加密算法套件报错的解决办法。。------------------------------------------------------------...

博科携手VMware推动软件定义数据中心和网络虚拟化的普及

2014年10月14日--博科(NASDAQ:BRCD)今天宣布,公司携手VMware,推出支持新IP的解决方案,以期让企业能够更轻松地迁移到软件定义数据中心(SDDC)和使用网络虚拟化。博科公司...

博科公司为追求速度极致的闪存拥趸提供光纤通道交换机

博科公司已经发布了一款每秒32Gbit第六代光纤通道交换机,这意味着其能够将现有每秒16Gbit连接速度提升一倍。其G620交换机采用1U机箱,提供24到64个端口,据博科方面所言这已经达到当前业...

博科推出第6代交换机 扩大光纤存储地位

博科今天宣布推出业内第一台第6代光纤通道存储网络交换机——博科G620,进一步扩大了博科在光纤通道技术领域的地位。这一全新专用且高密度SAN交换机提供突破性的性能和高可扩展性,旨在支持来自核心应用的数...

微信官宣新功能上线,聊天记录备份、迁移更好用了!

说到手机里哪个App最占空间,很多用户的答案大概都是微信,动辄占用几十甚至上百GB。不仅App本身体积庞大,更主要的是日积月累的聊天记录导致了空间的迅速消耗。此前,释放微信空间的常用方法是将...

局域网沟通工具--BeeBEEP(局域网内部聊天工具)

原文链接:局域网沟通工具--BeeBEEPHello,大家好啊!今天给大家带来一篇关于在信创终端上使用BeeBEEP的文章。BeeBEEP是一款安全、便捷的局域网即时通讯工具,支持文字聊天、文...

企业 IM 即时通讯底座,支持局域网通讯

在数字化浪潮下,企业对即时通讯的需求日益增长,尤其是对通讯安全性、可控性的要求愈发严苛。BeeWorks作为专业的企业IM即时通讯底座,凭借对局域网通讯的支持,为企业打造了优质可控的即时通讯与实...

IM即时通讯软件,构建企业局域网内安全协作

安全与权限:协同办公的企业级保障在协同办公场景中,BeeWorks将安全机制贯穿全流程。文件在局域网内传输与存储时均采用加密处理,企业网盘支持水印预览、离线文档权限回收等功能,防止敏感资料外泄;多人...

当今信息化时代都离不开WLAN, 今天给大家普及一下WLAN知识

无线局域网(WirelessLocalAreaNetworks/WLAN)一.无线让网络使用更自由:1.凡是自由空间均可连接网络,不受限于线缆和端口位置。二.无线让网络建设更经济:1.终端...

软网推荐:寻找WebQQ替代者 在线可以继续聊

不少公司禁止上班聊天,常常采取封禁QQ、关闭端口等方法,导致很多聊天软件无法使用。以前我们可以通过WebQQ绕开限制,不过WebQQ在2019年1月1日开始停止服务,想要继续隐蔽聊天,就只能找其他一些...

搭建自己的聊天室平台、公司内部聊天平台,Rocket.Chat搭建使用

一,简介rocket.chat是一个开源的社交软件,即可以直接在web页面使用,也可以下载APP(Android,IOS,Windows,MacOS)主要功能:群组聊天,直接通信,私聊群,桌面通知...

取消回复欢迎 发表评论: