高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 快手怎么剪音乐 快手怎么剪音乐长短

    快手是由快手科技开发的一款短视频应用APP,于2013年正式上线,该APP可以用照片和短视频记录生活的点滴,也可以通过直播与粉丝实时互动。快手的前身为一款叫“GIF快手”的GIF图片应用,改名“快手”后,从纯粹的工具应用转型为短视频社区,后来随着智能手机的普及和移动流量成本的下降,在手机应用市场上逐渐走红。

  • 什么叫钢板桩支护(钢板桩支护的应用)

    什么叫钢板桩支护钢板桩支护:深基坑支护的钢板桩是由带锁口或钳口的热轧型钢定制而成,把这种钢板桩有序连接起来就形成钢板桩墙。钢板桩支护应用于基坑深度超过五米的深基坑支护,它属于一种连续支护。钢板桩的形状类似于U型钢但比U型钢宽和深,截面大约呈一个梯型。

  • 关于女生胸的所有知识(我们今天聊聊女人的胸)

    我们今天聊聊女人的胸微信ID:ibookreview『阅读需要主张』为什么标题要说“严肃点”,当然是因为通常而言,我们谈到“胸”,或者说“乳房”这个话题时,都不太严肃它们是娱乐新闻里永恒的风景线,是男人们对女性品头论足时。

  • 识的组词(汉字识的组词)

    我们一起去了解并探讨一下这个问题吧!识的组词学识[xuéshí]学术层面的知识和达到的水平。赏识[shǎngshí]对人的才能或对作品的价值有所认识而予以重视或赞扬。远见卓识[yuǎnjiànzhuóshí]卓:高超,不平凡。远大的眼光,卓越的见识。见过的多,知道的广。形容阅历深,经验多,知识广博。形容对遇到的人或物感到熟悉,又不很确定。素不相识[sùbùxiāngshí]素:平时,向来。向来不认识、不熟悉。不懂得关系到大局的重要道理。

  • 同治皇帝是什么病(关于同治皇帝的死有哪些版本)

    而关于同治帝之死,虽然表面上这与同治帝生前一些出格的活动有关,但实际上,同治帝与其后却是间接死于慈禧之手。同治帝从此卧病不起,病情恶化,不久便撒手西归。虽经抢救暂缓死日,她又绝食而死。死时,她年仅22岁,距同治帝的死期只有几十日。总之,可以说同治皇帝是间接死于母后和皇后之手。

  • 辣子鸡炒藕丁怎么做 辣子藕丁怎么炒好吃

    调料:盐1克、鸡精1克、胡椒粉1克、白糖2克、料酒10克、生抽10克。步骤2鸡腿去骨洗净切丁,放入盐1克、胡椒粉1克、料酒5克、生抽5克拌匀,腌制10分钟。步骤7锅中放入适量油,油温烧至6成热,放入鸡丁炸至表面微焦,捞出控油。步骤8锅中留适量底油,放入干辣椒、花椒、八角、姜片、蒜粒炒香,放入鸡丁、藕丁翻炒2分钟,调入料酒5克、生抽5克、鸡精1克、白糖2克翻炒均匀,即可出锅。

  • 周公解梦孕妇梦到生了两个孩子(周公解梦梦见怀孕)

    周公解梦梦见怀孕寓意:1、已婚未育妇女已婚未育妇女梦见怀孕,只要梦里的感觉是喜欢的,则基本都是期待自己有个孩子。周公解梦梦见怀孕寓意:6、男人男人梦见老婆怀孕,可能是和现实中的生小孩有关,也可能是传达出他们自己的某些愿望。周公解梦梦见怀孕寓意:7、学者学者梦见怀孕,或者婴儿出生,还可能表示一种新经验、一个新思想、一项新成果的诞生。

  • 拽姐网名两字 拽姐网名两字 对比特别的两个字网名

    1、难免2、清染3、空心4、青黛5、孜幽6、疼惜7、寒言8、犹二9、上心10、过客11、孤魂12、暗月13、跩爷14、失心15、泪眼16、赎罪17、稚初18、梦碎19、情兽20、拾忆21、冷妖22、侥幸23、墨默24、残瞳25、讽吟26、厌世27、校霸28、尽头29、感受30、胜算31、孬嫑32、狂爵33、墨瞳34、咒歌35、听海36、故梦37、孤妄38、不二39、忘记40、瓜皮41、无言42、猛爷43、放纵44、玖生45、离笙

  • 神武奇遇触发诀窍(神武4奇遇任务攻略)

    近期,《神武4》手游迎来了多次内容更新,诸多全新内容上线,包括“跨服沙场点兵”、“帮战托管”等竞技新玩法,也包括“鹿蜀”主题装饰,新时装染色等等。而除此之外,日前《神武4》手游还迎来门派导师的造型焕新,同时还有对应的门派导师奇遇全面上线。

  • 补气又补阴的食物(22种最适合女人滋阴补阴的食物)

    不同脏腑的阴虚证临床表现各有特点,其治法和用药也有差异。主治肝肾阴虚,头晕眼花,腰膝酸软,遗精;脾虚气陷,脱肛,身倦乏力,饮食减少;冲任不固,月经量多色淡,淋漓不尽等。主治肺阴亏虚,干咳少痰,咽干而痛等;胃阴亏虚,口于而渴,干呕,大便干燥等。外用治疗外科感染。"现代医学发现,燕窝可促进免疫功能,有延缓人体衰老,延年益寿的功效。