高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 孩子吃辅食了开始便秘(孩子吃辅食总便秘)

    1先说“下面”的问题:大人们很简单的想到这是便秘,赶紧用开塞露,可是这些招数被医生否定了:居然还不认可这是“便秘”?可见,不是所有的“好几天没便便了”就等于“孩子便秘”了!开塞露什么的,也不能乱用!适当增加蔬菜和水果的摄入。但要注意的一点是:不要添加过多的粗纤维的食物,不要用解决成人便秘的方法去安排小宝宝的辅食!家长也可以给孩子轻轻做腹部的顺时针按摩,促进肠道蠕动,有利于便便的排出。

  • 苹果6内存是16g显示只有11g是怎么了(16g苹果6内存显示11g的原因)

    苹果6内存是16g显示只有11g是怎么了?苹果6内存是16g显示只有11g是怎么了16GB内存装苹果系统与当前应用占去了约4GB,用户可用的仅11.8GB。另外一款智能手机,它从制造工厂流通到消费者手中,通常都会经历层层中转,而它的储存空间,则分别被生产商、运营商和渠道商通过预装大量不可卸载的应用侵占空间。

  • 韶关进口二价hpv疫苗打三针多少钱 hpv二价疫苗三针一共多少钱

    仅用于预防用途,不适用于治疗已经发生的HPV相关病变,也不能防止病变的进展。疫苗接种不能取代常规宫颈癌筛查,也不能取代预防HPV感染和性传播疾病的其他措施。若女性已经或准备妊娠,建议推迟或中断接种程序,妊娠期结束后再进行接种。

  • 本地车卖给外地人需要什么 本地的车在外地怎么卖

    过户应准备卖方需要原车主身份证件原价及复印件,代理人身份证原件及复印件。车辆行驶本原件及复印件。对符合机动车国家安全技术标准的,公安机关交通管理部门应当发给检验合格标志。具体办法由国务院规定。机动车安全技术检验实行社会化的地方,任何单位不得要求机动车到指定的场所进行检验。机动车安全技术检验机构对机动车检验收取费用,应当严格执行国务院价格主管部门核定的收费标准。

  • 传承大国工匠精神树立远大职业梦(以专业技能为根基)

    为了最后的狂欢2017年10月,在第44届世赛时装技术项目的赛场上,胡萍和来自29个国家和地区的选手同台竞技。经过连续18个小时的现场比拼,完成了包括立体裁剪制作、服装款式设计、连衣裙设计与制版等五个单元的比赛,最终,胡萍以绝对优势夺得金牌。胡萍在确定不是自己操作的原因后立刻举手报告,请求暂停比赛时间,场地负责人检查完机器后,立即调换了胡萍的缝纫机。在授课的同时,胡萍也是中国队参加世赛时装技术项目的一名教练。

  • 正确做好情绪管理(正确做好情绪管理的方法简述)

    正确做好情绪管理要建立正确的情绪观念,正确的情绪观念就是积极的心态、快乐的心情。人如果有正确的情绪观念,就心平气静,就不会轻易烦躁,不会轻易发脾气。无论遇到什么事,都会看得开。要脱离令人脆弱的“人、事、物”。你要记住自己的优点,并且充分发挥出来。强化自己的优点,可使自己增加自信心。很多人都不肯把自己的优点表现出来。只要你学会了控制好自己的情绪,把你要做的事情做得非凡地好,你也会心想事成,走向成功。

  • 张柏芝19年前旧照引关注(张柏芝的混乱情史)

    娱乐圈有三大未解之谜,其中之一就是张柏芝三胎儿子的生父到底是谁。张柏芝、朱永棠于是在朱氏兄弟的帮助下,张柏芝拍摄了一条柠檬茶广告,正是这条广告再次改变了她的命运。那段时间谢霆锋正好与相差11岁的王菲刚好上,原本这是轰动娱乐圈的大事件,可是“锋菲恋”的热度却很快被“东芝恋”给盖过了,而所谓的“东芝恋”主角正是谢霆锋6年后的妻子张柏芝。于是在王菲生下李嫣的这一年,张柏芝也与谢霆锋闪婚。

  • 通辽驾驶证年审办理指南(通辽驾驶证体检)

    通辽本地宝小编为你提供通辽驾驶证年审办理指南。办理条件机动车驾驶人应当于机动车驾驶证有效期满前90日内,向机动车驾驶证核发地车辆管理所申请换证。

  • 婚姻里的情绪价值(明白了什么是情绪价值)

    赵丽颖冯绍峰官宣离婚。其中,情绪价值的重要性,需要每一个即将走进婚姻,以及正在婚姻里困惑的人,好好学习。未来,两人也将继续承担作为父母的责任,共同抚养并陪伴孩子成长。双方当事人及其工作室也将不再对此事进行其他回应。最后,感谢所有一直关心支持爱护信任赵丽颖女士与冯绍峰先生的朋友们,祝福二人未来的生活安好顺遂,平安喜乐!

  • 世界上最奇怪的4种鸟(世界上最独特的鸟长什么样)

    而这两根饰羽,在萨克森极乐鸟的求偶过程中可有着大作用。双角犀鸟也被誉为“忠贞之鸟”,当双角犀鸟夫妻中的其中一只死去后,另一只也不会独活。作为热带海鸟,它们常吃的沙丁鱼体内的胡萝卜素,会与身体里的蛋白质发生反应,导致脚蹼显现出鲜艳的蓝色。而这种色素动物无法合成,当火烈鸟吃了大