高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 如何根据excel内容批量修改文件名(excel批量修改文件名方法)

    如何根据excel内容批量修改文件名?如何根据excel内容批量修改文件名excel批量修改文件名方法!我们需要提前将文件名保存到excel表格中,一共有五个步骤,请有需要的小伙伴和我一起操作吧。步骤3,进行设置,命名方式选择“导入”;然后在下一行上传包含文件名的excel表格,导入成功后文件名会显示在新文件名这一列。步骤5,从上面的案例结果可以看到,软件成功的利用excel表格对文件名进行了批量修改。

  • 森林防火内容(森林防火手抄报内容)

    1、检查线路附近隐患,严禁电线打火引起山火;2、检查生产生活用火,严禁熏肥燎地边;3、检查垃圾堆放地,严禁野外焚烧;4、检查进山活动人员,严禁野外吸烟和将火种带入林区;5、检查鞭炮燃放点,严禁在林区周围燃放鞭炮;6、检查铁路沿线,严禁闸皮脱落引起山火;7、检查进入林区施工人员,严禁带火种进入林区;8、检查外来务工人员,严禁野外取暖等用火行为;9、检查地域流浪人员,配合公安人员带出管界,严禁在本地住

  • 阿华田老人可不可以吃(老人是否可以吃阿华田)

    我们一起去了解并探讨一下这个问题吧!阿华田老人可不可以吃老人可以吃阿华田,但需要适量食用,不能多吃。老年人牙口不好、脾胃消化力弱,宜“吃软不吃硬”,所谓“硬食”,除了指坚硬的果实类物品外,还包括煎炒油炸、肥甘厚腻一类的不好消化的食物。老年人我为虚寒之体,温食可暖胃养身。平日里应少吃冷食,更忌生食。即使在盛夏伏暑,过食冷饮也会对老年人的身体健康疾病危害。

  • 野生甲鱼几月份开口(野生甲鱼什么时候开口)

    下面希望有你要的答案,我们一起来看看吧!野生甲鱼几月份开口野生甲鱼会在每年春季的4月下旬开口。因为此时的水温能稳定在15℃以上,使野生甲鱼从冬眠期进入到生长期,养殖甲鱼时,需要选择在水质良好且水源充足的地方建立池塘,而且要给甲鱼提供螺蚌肉、小鱼和小虾等饲料。

  • 黄奕回应选唐一菲演艾莉(黄奕和唐一菲)

    由于这两天黄奕回应选唐一菲演艾莉在网上的关注热度是相当之高的,很多小伙伴或许也都在关注黄奕回应选唐一菲演艾莉,那么这当中当然还是有部分的小伙伴们并不太了解黄奕回应选唐一菲演艾莉,那么没有关系,如果说大家现在想要了解黄奕回应选唐一菲演艾莉,大家可以点击下方的点击(前往)进行了解哦。

  • 中国美食排行榜(中国最受欢迎的美食排名)

    中国美食排行榜糊辣汤:糊辣汤是河南的著名小吃,其汤味浓郁,汤色靓丽、汤汁粘稠,香辣可口,很适合配着馒头一起吃。吃四川火锅一般放菜是先荤后素,不能吃辣的还可以选择吃鸳鸯锅,其大众化的口味在全国都相当的受欢迎。

  • 家里煮火锅需要买什么菜(过年不能出门呆在家煮火锅)

    今年春节假期有些特殊,不能出门,呆在家里尽量少外出,不过年前囤的年货不少,老公提议煮火锅吃。和老公商议好后,老公负责煮汤底,我则负责洗切菜,两人分工协作,不到半小时就吃上了火锅。爱吃火锅的快来看看是如何制作的吧。大家好,我是海天一色的厨房,文章原创,抄袭必究。最后感谢您的关注、支持!

  • 老公都叫老婆什么(天天喊老婆)

    比如说男人对自己妻子的称谓,现代男女平等,男人一般称呼自己的妻子为老婆、爱人等,听起来非常亲切顺耳。麦爱新看到后甚是惊奇,被妻子的才学与爱心打动,于是打消了再娶的念头,没有抛弃妻子。麦爱新回对下联:“老婆一片老心”。这个故事慢慢流传开来,成为了一段佳话,后来,民间就有很多夫妻效仿,想要自己也能得到如此的感情,互称对方为老公与老婆。从此,汉语里便有了老公,老婆这二个词了!

  • 3通服务是什么意思啊(三通是什么服务啊)

    3通是通航、通邮、通商的简称,其服务是指开辟海峡两岸直达邮路、直达电路,满足民众需求,节省经转费用,提高各类邮电服务质量,两岸直接航行,为两岸民众提供安全、便捷、经济的交通运输条件。可以进一步扩大人员往来与两岸经济合作,共同发展,共同繁荣。

  • 业主自治管理物业方案(业主自治下的物业管理制度设计)

    业主自治下的物业管理制度设计业主自治下的物业管理制度设计2021年1月27日20:00Ø主讲人:李广友,男,汉族,山东济南人,中共党员,国家注册物业管理师,社区治理践行者、观察者、思考者、探索者,罗伯特议事规则爱好者因为建造房屋。