高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 黄河有什么文学作品(对黄河情感的诗意表达)

    为贯彻落实在河南主持召开黄河流域生态保护和高质量发展座谈会的会议精神,由河南豫剧院三团创排的豫剧现代戏《大河安澜》“应运而生”。该剧自创排以来召开了多次专家研讨会,专家们的意见对作品质量的提升发挥了重要作用。大河是母亲河,清代末年河官上报今年黄河安然无恙、没有发生灾害,就用两个字“安澜”,所以安澜这个名字选得很好。

  • 南瓜什么时候成熟 甘肃板栗南瓜什么时候成熟

    南瓜花期为5-7月,果期为7-9月,一般结果后10天成熟,即可上市,但变黄需要1个月左右。南瓜含维生素、果胶,果胶吸附性很好,能起到解毒作用。南瓜中含有丰富的锌,参与人体内核酸、蛋白质的合成。

  • 700多的hpv疫苗是国产还是进口(国产HPV疫苗来了9-45岁可接种)

    国产HPV疫苗来了9-45岁可接种来源:莲都发布国产宫颈癌疫苗获批上市通宵排队一针难求这些情况将很快得到缓解都妹想说终于等到你公告显示,国家药品监督管理局批准厦门万泰沧海生物技术有限公司(以下简称万泰)的双价人乳头瘤病毒疫苗(大肠杆菌。

  • 气虚的舌象和症状是怎样(舌象告诉你答案)

    我们继续看第三个舌象,你会发现这个舌头的两侧有齿痕,而且中间有一条很明显的裂纹,舌头的颜色很淡,舌苔很少,那这就多见于脾气虚了。然后我们再看第四个舌象,我们会发现这个舌头的颜色非常发紫偏暗,并且呢根部有凹陷,舌头的根部是我们肾脏的反射区,所以这个舌象就说明了这个人肾气不足。以上这五种舌象,就是常见的判断我们五脏气虚的办法了,你平时也可以对照着镜子看看自己的舌头,有没有跟上面这五种舌象符合的。

  • 在家种蘑菇怎么养最简单(掌握住种植方法)

    蘑菇是我们很常见的食材,除了在市场上购买以后,我们其实可以在家中养殖蘑菇,首先养殖方法并不难,其次自己养殖成熟以后,也完全可以食用。这样才能够让它健康的生长,迅速长出又多又大的蘑菇。而且阳光比较充足,能够促进蘑菇加速分化,进而长出更多的蘑菇,而且能够一年四季不断反复生长,我们也能经常吃到新鲜的蘑菇。

  • 拔火罐有什么禁忌吗 拔火罐有啥禁忌

    阿是穴是中医以病痛局部或敏感反应点作为针灸治疗部位的腧穴,又称天应穴、不定穴。阿是穴这一名称,是《备急千金要方》开始提出来的。阿是穴在疾病诊断上也有一定参考价值,如在足三里下1~2寸间有明显压痛,结合临床右下腹部疼痛等体征,有助阑尾炎的诊断。

  • 我的世界高炉怎么用(下面就告诉大家)

    我的世界高炉怎么用?接下来我们就一起去研究一下吧!打开工作台,依次放入合成高炉的材料铁锭、熔炉和平滑石,点击合成好的高炉即可。退出工作台,放置一个高炉,点开高炉,依次放入煤炭和铁矿石,可合成铁锭。高炉无法烹饪食物,只可以冶炼矿物。

  • csv文件表格如何做(csv文件表格制作方法如下)

    我们一起去了解并探讨一下这个问题吧!在电子表格顶部第一行的单元格中输入各个标题或字段名。在电子表格中输入所有数据后,点击“文件”菜单。在“另存为类型”下拉菜单中选择“CSV”。输入CSV文件的名称,然后选择“保存”。提示可能不兼容,点击确定。这样我们就制作了csv文件。

  • 冬瓜老鸭汤的功效和作用(鸭肉禁忌)

    以下内容希望对你有帮助!冬瓜老鸭汤的功效和作用冬瓜老鸭汤是一道以冬瓜、老鸭肉作为主要食材,盐、味精、胡椒粉、料酒、葱段、姜片、香油、高汤作为配料熬制的一道汤。具有健脾化湿、祛暑除热的功效。有消暑解热、利尿消肿等作用。鸭肉忌与兔肉、杨梅、核桃、鳖、木耳、胡桃、荞麦同食;冬瓜性寒凉,脾胃虚寒易泄泻者慎用;久病与阳虚肢冷者忌食。

  • 汽车原厂件和副厂件是什么(汽车原厂件和副厂件到底有什么区别)

    主要来自于改装市场、保险事故车拆车市场,部分便宜点的当做原厂件去卖但是没有包装。主要来自4S的采购渠道。主要来自于各村镇大大小小的配件厂、翻新厂,所以配件质量参差不齐,价格也可能相差悬殊。不排除其中有主机厂供货商的资质,但更大可能是三无产品,甚至假货。大多是从事故车上拆下来的配件,然后进行翻新,最终以低廉的价格流入市场。