高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 笔记本进入游戏黑屏解决方法(电脑进入游戏后黑屏怎么办)

    笔记本进入游戏黑屏解决方法检查电脑部件是否安插入牢靠首先请检查显示器电缆是否牢固可靠地插入到主机接口中,然后再检查显卡与主板I/O插槽之间的接触是否良好。确认风扇是否有问题如果显示器未损坏,请进一步检查CPU风扇是否运转。检测CPU、显卡和内存条如仍出现黑屏,则可将除CPU、显卡、内存条之外的所有组件取下,然后加电启动电脑。如果内存有故障,应会有报警声。如果不是内存原因,请换一个正常的CPU,开机重新检测。

  • 家长如何鼓励即将高考的孩子(家有高考生高考迫近)

    其中最中意的要属今年爆火的“晨光小分贝中性笔”,之所以叫“小分贝”是因为它按笔的时候不会发出声音,这样考生的思路就不会被打扰,除此之外,这款笔还顺滑好用,超黑速干,不脏卷,写出来的字因比别的笔更黑更亮,而显得更有精神。

  • 什么草能抗高温(很多人家里都养的神奇小草)

    含羞草株形散落,羽叶纤细秀丽,其叶片一碰即闭合;含羞草花多而清秀,楚楚动人,给人以文弱清秀的印象。含羞草也是一种药物。据土耳其地震学家艾尔江表示,在强烈地震发生的几小时前,对外界触觉敏感的含羞草叶会突然萎缩,然后枯萎。如果含羞草叶片出现白天合闭,夜晚张开的反常现象,便是发生地震的先兆。

  • 豆腐和什么搭配吃不上火(饮食健康豆腐是个宝)

    对于女性来说,豆腐还有护肤养颜、延缓衰老的作用。豆腐含嘌呤较多,痛风病人及血尿酸浓度增高的患者最好别吃。此外,老年人以及肾病、缺铁性贫血、痛风、动脉硬化患者也不宜过多食用。豆腐美味又养生,本身就具有较高的营养价值。豆腐的营养价值与牛奶相近,对因乳糖不耐症而不能喝牛乳,或为了控制慢性病不吃肉禽类的人而言,豆腐是最好的代替品。

  • 红美人可以露天种植吗(红美人可不可以露天种植)

    接下来我们就一起去了解一下吧!红美人可以露天种植吗红美人柑橘是可以实现露天种植的,常见于四川地区,湖南、江西、湖北、广西、云南等地也有少量露天栽培红美人柑橘的,一般来讲,我们把露天种植的红美人柑橘称为爱媛38号柑桔。露天种植的红美人柑桔品质相对于大棚种植的红美人柑橘要差一些,主要体现在糖度、外观、口感上略有差异。

  • 云端问仙问剑真经(问道平湖取真经)

    今年9月,黄梅县选派13名干部赴浙江平湖跟班学习,让年轻干部在先进发达地区“墩苗壮骨”,在历练中学到实招、取回“真经”,将学习成果付诸发展实践。干部是决定性因素。为保证学习效果,黄梅县委组织部制定《赴平湖跟班学习干部管理办法》,从职责任务、组织管理、学习管理、纪律要求等方面作出详细规定,并成立临时党支部,加强学员的日常教育和管理。

  • 黄精种子的催芽育苗方法介绍!温度和湿度需要控制在多少?

    2021年通过100亩基地对比,4至5月份出苗的一年长势都非常好,但是6月份以后出苗一年下来长势相对比较差,虽然时间只相关1月至2个月,但长势相差特别大,。

  • 最近特别流行的个性说说大全(酷劲十足的个性说说)

    前者令人厌恶,后者令人敬畏。这才是最好的态度。

  • 朋友圈说mark一下是什么意思(朋友圈说mark一下的解释)

    以下内容大家不妨参考一二希望能帮到您!朋友圈说mark一下是什么意思mark一下意为“标记一下”,方便以后再来。一般是在有直播或持续更新的帖子上出现,其中mark意思是做记号,表示阅读此帖的人在关注楼主的这个帖子,论坛里有搜索帖子的功能,回帖后也方便再重新查找。随着网络文化的普及,mark一下也走向了其他的网络社区,微博、微信朋友圈等。

  • 南阳市无偿献血者用血减免所需材料(河南省无偿献血者临床用血减免标准)

    确实无法提供与献血者关系证明的,需提交《河南省临床用血费用减免承诺书》,可在河南无偿献血公众号下载。如果收费专用票据不显示输血费,需提供病人费用总清单原件。