高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • cf手游异界远征攻略技能(cf手游异界远征攻略技能介绍)

    cf手游异界远征攻略技能?“异度远征”模式将射击游戏PVE闯关玩法,与单机、独立游戏领域日益流行的“Rogue-like”融为一体。作为近年来最受欢迎的玩法类型之一,Rogue-like凭借关卡随机、局内数值养成、永久阵亡等特性,收获了大批拥趸。也正因为如此,CF手游希望通过“异度远征”融合这些Rogue-like玩法精髓,以带给CFer们前所未有的PVE玩法体验。

  • 泰安12月6日起恢复车驾管业务现场办理

    关于恢复泰安市公安局交通警察支队车辆管理所(满庄)车驾管业务窗口线下服务的通告广大市民朋友:您好!根据我省进一步优化调整疫情防控有关政策措施,在做好疫情防控的前提下,泰安市公安局交通警察支队车辆管理所自2022年12月6日(周二)起,有序恢复车驾管业务现场办理。

  • 身份证消磁怎么办(身份证消磁了咋办)

    目前,二代身份证是“非接触式IC卡”的芯片结构。身份证不怕水,也可抵御正常高温。“消磁”这种说法对应的是早期的银行卡,“磁卡”与磁体接触容易导致“消磁”,使得无法正常地读取银行卡数据。但是贴创可贴是没有用的,因为创可贴不能够屏蔽磁场,根本起不到保护作用。但是一般手机磁场、安检机器、常见磁铁等均不会损害身份证!最后再次提醒大家二代身份证没有“消磁”一说!

  • 鱼的三种做法大全家常(各种鱼的家常做法大比拼)

    鱼放在蒸盘里;3、将剁椒、盐、白糖、香葱末、蒜末、青豆、姜末拌成酱汁;4、将拌好的酱汁均匀的涂抹在鱼身上;5、将鱼放入蒸锅,上汽后改中小火蒸8分钟即可。

  • 导致城市污染的原因(城市里有一种污染)

    刘成则团队在上海滴水湖地区检测光污染。上海青浦检察院近期接到线索,辖区内部分商场的LED电子屏、工地照明设备等多领域夜间照明时间过长、亮度过高,存在光污染问题,周边住户反映强烈。3名检察人员表示,现场勘查仅5分钟后,便各自出现眼睛干涩、流泪不良反应。此外,一些质量不达标的光照产品容易乘虚而入,导致各类主体对光照产品的滥用,无法从源头上限制光污染对城市环境的破坏。部分受访专家建议对光污染开展大规模治理。

  • 新能源汽车知识讲解大全(5分钟新能源汽车科普)

    同时,车企也在不断地推出新能源单品,加强细分领域的竞争。丰田HEV双擎THS油电混动人类汽车工业在混动技术上的开拓者也是迄今技术最强的。其中借鉴最全面的就是比亚迪。换言之就是热效率的传导过程中,流失太多。丰田THS逻辑就是一方面减少能量的流失、另一方面再回收利用流失的能量。这样最终的结果就是表现在油耗上降低了50%。丰田没这个毛病是因为更倾于燃油模式。纯电EV电车容量决定续航里程,原

  • 家长辅导作业反馈表怎么写(家长不批作业被要求写情况说明)

    没给孩子批作业被要提供情况说明近日,江西南昌明女士向媒体爆料称,老师要求家长给自家孩子批改作业,否则家长要给老师提供一份手写的情况说明。而老师则回应称,平日老师工作量饱和,家长改能提高效率,节省一些时间。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。

  • 整除特性解题方法(有关整除的解题技巧)

    有关整除的解题技巧有关整除问题的解题技巧,学校的课堂上一般不会讲这么详细大家好我是小梁老师,这节课的内容量很大,而且非常有用,需要记忆需要认真读题思考学完本课用时会比较多<整除>整数a除以整数b(b≠0),除得的商正好。

  • 生活中常见的地理知识 一些地理常识

    地处非洲南部的莱索托,四周被南非共和国所包围。位于欧洲南部亚平宁半岛东北部的圣马力诺,国境四周与意大利接壤,是欧洲最古老的共和国。

  • 小米10有一键拍录功能吗(具体方法介绍)

    有的首先解锁小米手机进入系统,在手机中点击系统工具的文件夹进入,现在小编就来说说关于小米10有一键拍录功能吗?下面内容希望能帮助到你,我们来一起看看吧!首先解锁小米手机进入系统,在手机中点击系统工具的文件夹进入。点击后,选择右下方的摄像头的图标。最后选择下方的开始的选项,即可开始录制。