高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 关于月亮的句子唯美简短 关于月亮的句子唯美简短诗句

    3、我把星星藏在心里,把月亮揽入怀中,然后转身对你说,纸短情长,我引月送你。

  • 黑枸杞什么人不适合吃(什么人不适合吃黑枸杞)

    下面内容希望能帮助到你,我们来一起看看吧!黑枸杞什么人不适合吃正处于感冒、发烧、发炎、腹泻的人最好不要吃黑枸杞。另外,有高血压的人,性情太急躁的人,或者平日吃了很多肉的人最好也不要吃。同时患有炎症、腹泻、高血压等疾病的人不允许吃黑枸杞。但是对于普通人来说,经常可以吃一些黑枸杞,因为黑枸杞本身就有一定的健康价值,这对每个人都很有好处。

  • 5月12日是什么纪念日(5月12日是什么日子)

    5月12日是什么纪念日5月12日是全国防灾减灾日,同时也是国际护士节。经国务院批准,由于2008年5月12日,我国四川汶川发生8.0级特大地震灾害,损失影响巨大,举世震惊。自2009年起,每年5月12日被定为全国防灾减灾日。每年5月12日的国际护士节,是为纪念现代护理学科的创始人弗洛伦斯·南丁格尔于1912年设立的节日。

  • 疝气手术后吃什么伤口好的快(多补充4种营养素)

    锌主要存在于木耳、海带、猪皮、猪蹄等食物中。维生素A能够促进伤口愈合。比如腐乳、葱、辣椒、韭菜等因为它们容易引发感染、不利于伤口愈合。此外,吸烟,心情不好,信心不足都会影响伤口的愈合。手术后患者恢复的很快。当然在此期间,患者的手术后护理工作以及饮食注意都是要按照医生的指示来的。

  • 水性环氧橘皮地坪漆(环氧橘皮止滑地坪漆与其他普通的环氧地坪漆有何不同)

    环氧橘皮止滑地坪漆与其他普通的环氧地坪漆产品是有所不同的。不仅如此,环氧橘皮止滑地坪漆品牌产品还具有防尘性、防水性和防腐蚀性,颜色可调配,满足客户们的个性化要求,是一种新型节能环保的地坪漆产品。在经过与普通环氧地坪漆相同的施工工序后,先批刮一道纹理面漆,穿钉鞋,用拉毛滚筒在环氧地坪表面滚拉,就可形成环氧纹理防滑地坪。

  • 被辣椒辣到怎么办(手被辣到了怎么解决)

    下面更多详细答案一起来看看吧!被辣椒辣到怎么办应该迅速将手浸放在冰冷的凉水中来收缩毛细血管,尽量减少辣椒对皮肤和毛细血管的膨胀和扩张作用,能够缓解被辣椒辣到手的症状。皮肤周围没有破口和没有破损的时候,还可以在局部涂抹软膏。如果被辣椒辣到手,此时如果皮肤有创口,应该迅速消毒,以免引起局部的化脓菌感染。

  • 印尼旅游攻略注意事项(这几点要注意)

    印尼旅游攻略注意事项关于购物。很多人觉得在国外旅行,消费一定会很高,但是这不一定哦!你可以在印尼选择家乐福,里面的东西很便宜,可以尽情地买买买。请一定要注意在巴厘岛的机场不要拍照。如果你在巴厘岛的机场拍照被发现了的话,是要给高额的罚款哦,得不偿失。因为印尼很多人都信奉伊斯兰教,所以用餐的时候要用右手而不能用左手。参观庙宇和清真寺的时候,最好不要穿着太暴露。

  • 如何做香煎石蟹(香煎石蟹做法)

    我们一起去了解并探讨一下这个问题吧!如何做香煎石蟹用料:石蟹三只、料酒一碗、盐鸡精、姜葱石蟹洗净,锅内烧油,加入姜片爆香,下入蟹煎至两面变色,加入盐,倒入一碗料酒,下入带头的整棵葱,一点点鸡精,大火烧开转钟火煮十五分钟即可。石蟹肉厚,喜欢吃蟹肉的可以选择石蟹,新鲜的食材吃的就是最原始的味道。

  • 碧波仙子电视剧大结局(精彩内容介绍)

    碧波仙子电视剧大结局碧波仙子大结局:皇帝下达圣旨,任命李安为巡抚,并进京面圣。李安听后,迟迟不肯接旨,众人为难。国舅爷告诉李安,自己知道他在想什么,人生在世行走官场,总会遇到挫折,但只要自己身端心正,这些都不足为碍。该剧讲述了因机缘巧合相识的鲤鱼仙子和李安之间波折坎坷的凄美爱情故事。

  • 成都西岭雪山看云海攻略(周末推荐一个成都附近观雪山)

    毕棚沟位于阿坝藏族羌族自治州理县境内,国家4A级景区。景区住宿:毕棚沟有准四星酒店,价格在400元左右每晚。吃时切成小块和菜一起炒,加入花椒、辣椒等佐料。这是一条,省去了中间的桃坪羌寨和甘堡藏寨。