高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 1 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 精灵宝可梦耿鬼有妖精属性吗(精灵宝可梦耿鬼为何被称为百变鬼王)

    说耿鬼使用率不下滑,是假的。但是百变鬼王依然是百变鬼王。综上所述,特性漂浮被砍的确对耿鬼来说打击非常大,但是耿鬼的丰富技能学习面的优势依然还在,所以,只要用得好的话,即便不会飞的耿鬼也依然是可以很秀的。

  • 自己开个饰品店有前景吗(开一家饰品店如何轻松做到月入上万)

    ⑥联合经营法:可以和附近的咖啡馆、电影院、网吧等具有共同客户群的商业机构形成联营,比如买一种规定的饰品将可能获得一张电影票或2小时网卡等。

  • 在word方框里面打钩符号(教你怎么在方框里打钩)

    在word方框里面打钩符号有时我们在Word中制作一份特殊的表格时,可能会用到这样一些特殊符号,“在方框里打钩”或打叉。这里Word联盟针对本文方框里打钩的两种不同实现方法,来为大家做个简单教程,可以让各位网友以后遇见需求时,可以及时的对应。在方框里打钩的第一种方法:利用带圈数字来实现。

  • 虎年男孩取最好的名字(2022虎年男孩茁壮成长)

    “轩宇”两字在诗句中带有高大的房屋之义,提取入名引申为高大、稳重、独立之义。柏森——取自《蜀相》“丞相祠堂何处寻,锦官城外柏森森。”“柏森”在诗词中意指柏树茂密,两字提取搭配,意指男孩子繁荣昌盛、幸福美满。其中“柏”意指柏树,引申为健康、青春、茁壮成长,很好的比喻效果,体现出父母对男孩子的期望与寄许。搭配“森”字加强名字意境,给人森系之韵。

  • 自学web前端建议(刚毕业想学习web前端)

    web前端学习路线下面是给大家提供的一个学习大纲:基础:HTMLCSS网站页面搭建,CS核心和PC端页面开发,html5移动端页面开发。web前端学习需要的软件工具初期:EditPlus3软件。多年开发老码农福利赠送:网页制作,网站开发,web前端开发,从最零基础开始的的HTMLCSSJavaScript。

  • 冬天盖什么被子好 武汉冬天盖什么被子好

    蚕丝被具有吸湿、透气等特性,格外适宜患有风湿、关节炎及皮肤病的人群使用。棉被的保暖性好,价格也便宜,是我国使用最为广泛的被子材料之一,棉花冬被所需要的斤数比较大,因此患高血压、心脏病、血液循环不良的人最好谨慎使用。大便驼绒被对腰、腿疼,特别对关节炎、肩周炎、心脏病、颈椎病、高血压患者,具有极好的理疗保健作用,所以,驼绒被特别适合老人、儿童使用和在阴冷湿寒的地区使用。

  • 古人说的五谷丰登(过年为啥要说五谷丰登)

    朋友们,今天是2021年农历的大年初一,祝大家“牛年快乐”。看到粮食丰收,每一个农人都会为一年的劳作感到无比的欣慰。所以,囊括五谷成熟的时间段就叫年,也就是地球环绕太阳公转一次所需的大约365天。在民间风俗文化中,关于“年”的传说五花八门。于是灶王爷向上天请示,请来了“年神”。这一天是年底的最后一天,除掉“夕”这个怪兽。这个时间段是“年妖”活跃的时间,如果超过这段时间,年要受到上天的惩罚。

  • 化妆之后戴口罩妆会花吗(化妆后戴口罩容易花妆)

    针对以上问题,本期考拉就来给大家分享3个戴口罩化妆的小技巧,尽可能避免口罩与彩妆产品“打架”。加上口罩与皮肤不可避免地刮蹭,底妆完整度极易被破坏。而对于易敏肤质而言,长时间戴口罩已经是对皮肤的一大考验,如果再加上底妆、彩妆产品覆盖,那么皮肤敏感问题会更快出现。所以易痘、易敏的皮肤,要格外注意,尽量避免长时间带妆戴口罩。从实际情况来看,一次性医用口罩显然是不能够满足皮肤防护需求的。

  • 绿孔雀属于什么重点保护野生动物 绿孔雀属于什么重点保护野生动物的名称

    绿孔雀属于国家一级重点保护野生动物。绿孔雀为雉科孔雀属鸟类,体长180~230厘米。雄鸟体羽为翠蓝绿色,头顶有一簇直立的冠羽,下背翠绿色而具紫铜色光泽。体后拖着长达1米以上的尾上覆羽,羽端具光泽绚丽的眼状斑,形成华丽的尾屏,极为醒目。

  • 盛况空前的意思(盛况空前解释)

    接下来我们就一起去了解一下吧!想当年诗会成立的时候,真是门庭若市,盛况空前。这次会议聚集了各国的优秀人才,真可说是千载一时,盛况空前。