高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 压抑的近义词(压抑近义词是什么)

    下面更多详细答案一起来看看吧!压抑的近义词克制[kèzhì](动)多指压抑、控制情感:克制感情|克制自己。制止[zhìzhǐ](动)用强力使停止。[近]遏止|抑制。禁止[jìnzhǐ](动)不许可:严令禁止|禁止吸烟。[近]制止|阻止。[反]允许|准许。贬抑[biǎnyì]指出过失,并施予不好的评价。

  • 什么牌的洗发水好用还控油(控油洗发水哪个牌子好)

    它也是一款无硅油洗发水,不伤害头皮,起到保湿控油的效果。最后重磅为大家推荐的是我的年度爱用洗发水——云南白药养元青控油洗发水,使用下来控油效果的确给了我一个惊喜,为此让我好奇地去查阅其成分。云南白药养元青控油洗发水是百年药企云南白药集团旗下的专业洗护发品牌,品质值得信赖。其采用天然植萃精华深层控油,成分天然温和,携带着一股让人安心的淡淡的清香味,用完过后头皮是清爽的,没有油腻颗粒感。

  • 汽车电池回收市场前景(预计2025年汽车电池回收再利用市场规模达30亿美元)

    数据显示,预计到2025年,这一市场的规模将达到30亿美元;但目前,还尚未出现成熟的相关引导政策与方案。Polestar则表示,其目前所有汽车电池仍在使用周期内,并未面临电池回收再利用的考验。但其也计划将与沃尔沃合作,未来利用沃尔沃的服务网络,将电池进行统一分类和部署,进行维护或再利用。Polestar还曾在声明中提出,未来,电动汽车的报废电池将应用于稳定电网,或当做电信领域的备用电源等用途。

  • 淮河流域在哪些城市(淮河流域在什么城市)

    下面内容希望能帮助到你,我们来一起看看吧!淮河流域在哪些城市淮河流域包括湖北、河南、安徽、山东、江苏五省40个地(市)。181个县(市),总人口为1.65亿人,平均人口密度为611人/km2,是全国平均人口密度122人/km2的4.8倍,居各大江大河流域人口密度之首。

  • 宝马730鼓风机怎么拆(拆解方法介绍)

    宝马730鼓风机怎么拆首先找到鼓风机的准确位置,就在副驾驶储物格后面。已将两个杯架取出,4个螺丝拧回原处以免丢失。物箱的六条螺丝是内六花的,拆掉后可轻松取下,此时要注意储物箱后面的4条线速,仔细将其与箱体分离方可拿走储物箱。需记下位置以便顺利复原。风机拆卸相对简单,只要反时针旋转即可将风机取下来,注意图中的小耳朵需要轻微的从卡位出退出来,否则风机不能反时针退出。

  • 最有效的改运改命招财(最有效的改运改命招财有什么)

    最有效的改运改命招财有什么闹中采气如果你觉得近来运气不佳,那么,建议你去人多的地方转转比如:赶集、商场、大学、香火旺的寺庙、人多的旅游景点、大型演出等但是诸如医院等人多地方则不宜去搂抱婴儿也是加强运势的一种因为12岁以下的孩子。

  • 北交所首批上市有合肥的吗(合肥高科北交所上市路演)

    北交所首批上市有合肥的吗挖贝网12月12日消息,合肥高科今日顺利举行北交所上市路演。有投资者问及未来盈利能力,对此,合肥高科表示,公司具有一定的成长性,市场前景广阔。此外,合肥高科强调,公司在客户方面具有一定优势,一方面,下游家电行业市场集中度较高,行业内知名家电厂商占据了绝大部分的市场份额。

  • 天麻鲫鱼汤怎么做(制作天麻鲫鱼汤的方法)

    接下来我们就一起去了解一下吧!天麻鲫鱼汤怎么做主料:鲫鱼1条,天麻、白芷各10克,红枣4颗。鲫鱼刮鳞、去鳃、内脏,洗净后沥干;天麻、白芷洗净,装入纱布袋扎紧备用。锅内倒油烧至六成热,放鲫鱼,两面煸黄,再放姜片煸香,烹入料酒,倒适量清汤,放纱布药袋、红枣,大火烧沸,再装小火焖煮1小时,拣出纱布药袋,加盐、味精、胡椒粉调味即可。

  • 五道口职业技术学院和清华关系(五道口职业技术学院)

    五道口职业技术学院还不错,男女比例有点失衡,虽然是技术学院,不是中专也不是大专,而是本科啊,看不清人家技术院校吗23333333最主要是人家技术学院还有一个名字叫清华大学!其实这些都是学生对学校的爱称~哈哈哈哈哈下面51君就盘点一下那些大学的奇葩绰号太有意思了!

  • 卡斯罗犬的优缺点适合家养吗(说卡斯罗犬难养的)

    而且小偷看到卡斯罗犬这霸气的样子,估计也会吓跑!所以这也是不少人喜欢卡斯罗犬的原因,聪明的狗狗最出色了!