高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 洪水退后乐山大佛(乐山大佛被洪水淹至脚趾)

    四川日报记者刘付诗晨2020年8月18日,受持续特大暴雨影响,乐山大佛景区遭受洪涝灾害。乐山大佛景区公安分局80名民辅警全员出动,期间先后成功解救市中区任家坝村8组被困残疾老人,嘉定坊、游客中心被困游客,乌尤坝水运局被困老人。共援救老年人3名,游客130余人,酒店工作人员30人。其中一名残疾老人基本无法自理,在分局民辅警的全力救援下,成功转移至安全地方。

  • 女士护肤泥膜推荐(一个被低估了的护肤神器)

    一个被低估了的护肤神器年龄的增加,新陈代谢越来越缓慢,脸上堆积死皮的速度越来越快,面部暗黄,无光泽,不通透,不清爽,总之就是皮肤不好,心情也是很糟糕皮肤也会“堵了”皮肤出问题,一切是通道的问题,皮肤有多条通道,护肤品就是要。

  • 个人理财十大基本概念(最近大家都在聊的这类理财)

    而如果期间涨幅均未超过6%,那么与老李购买的看涨价差结构到期收益是一样的。如果当天标的的观察价格落在区间内,当天即获高收益,否则当天获低收益,产品到期时根据每日累积的收益来计算最终收益。而如果期间涨幅均未超过3%,则可能获得2%的业绩比较基准。即使上涨后又下跌,仍有机会获取较高收益。3个月过去了,沪深300指数在第三个观察日终于比期初价格高了,于是产品提前终止,老卢同学可能获得6%的业绩比较基准。

  • 牙齿怎么看才算整齐(什么样的牙齿算整齐)

    一般情况下根椐每个人的审美观念不同,所以对所有事物的认可都是有一定的尺度的。牙齿对于一个人的重要性不言而喻。据调查,我国有很多人都存在牙齿不齐、虎牙、龅牙、地包天等不同程度地牙齿畸形问题。牙齿矫正成功的标准咬颌舒适。牙龈健康、无肿胀、无出血、无异味、无溢脓。尽可能保留健康牙根,95%以上保留牙根。无疼痛等不适,不疼、不酸、不敏感。边缘精密,光滑通过,无缝隙、不能宽、不能窄。

  • 每天晚上失眠如何办(每天晚上失眠怎么解决)

    每天晚上失眠如何办以平常而自然的心态入睡。出现了失眠就是不必过分担心或是紧张,越是强行入睡的话,结果是适得其反的。寻求消除失眠的原因。造成失眠的因素颇多,那么前已提及,只要是稍加注意,不难发现的,原因消除以后失眠就自然而然的治愈了。身心松弛有益睡眠。这个牛奶中它含有微量的吗啡样式物质,是具有镇定安神的作用的。睡眠姿势是以舒适为宜,可因人而异。

  • 南通市老年康复医院住院还需要核酸报告吗

    确因病情需要的,由医师开具核酸检测或抗原检测医嘱,在发热门诊核酸采集室采集核酸或进行抗原检测。愿检人员请去社区便民核酸采集点进行。南通市老年康复医院2023年1月7日

  • 木棉树 木棉树的寓意和花语

    木棉树是一种在热带及亚热带地区生长的落叶大乔木,高10~20公尺。原产地不明,广泛分布于热带地区,台湾在1645年引入普遍栽植。木棉树干基部密生瘤刺,以防止动物的侵入,刺并不尖锐。木棉树生于山地阳坡及村边、路旁。在阳光强烈、气温较高时用50%遮阳网遮阴,防止高温和日灼危害。发生茎腐病时要除去发病株,防止扩散,并用多菌灵防治,然后用多菌灵800倍液进行防治。

  • 无可奈何花落去似曾相识燕归来怎么理解(该句子如何翻译)

    意为“无奈地看着那花在风中飘荡、落在地上,燕子归来的样子也是似曾相识”。形容留恋春景而又无法挽留的心情,后来泛指怀念已经消逝了的事物的惆怅心情。“无可奈何花落去,似曾相识燕归来。”用虚字构成工整的对仗、唱叹传神方面表现出词人的巧思深情,也是这首词出名的原因。但更值得玩味的倒是这一联所含的意蓄。花的凋落,春的消逝,时光的流逝,都是不可抗拒的自然规律,虽然惋惜流连也无济于事,所以说“无可奈何”。

  • 黑潮之上怎么获得黑潮之影(黑潮之上黑潮之影获取方法介绍)

    黑潮之上黑潮之影获取方法:在抽奖卡池抽奖获取,比较看脸,考验欧气的时候到了;,今天小编就来说说关于黑潮之上怎么获得黑潮之影?下面更多详细答案一起来看看吧!

  • 自动洗衣机如何使用(它有什么特点)

    自动洗衣机如何使用插上电源,水龙头拧开,排水管放到地漏旁,便于排水。按照顺序设置,选择洗涤方式,调整洗涤时间和漂洗次数。自动洗衣机就是在电脑板上预先设定好某个程序,洗衣时选择其中一个程序,只需打开水龙头,启动洗衣机开关。洗衣机就会自动识别控制水位,并精准完成浸泡-漂洗-脱水-自动排水等功能,洗衣完成时自动停止并由蜂鸣器发出响声。