高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 罕见好听的古风女网名(好听稀少的名字古风)

    凉辰梦瑾空人心茶凉缘尽,今天小编就来聊一聊关于罕见好听的古风女网名?接下来我们就一起去研究一下吧!罕见好听的古风女网名凉辰梦瑾空人心茶凉缘尽风归影绻影浮沉云绾兮予之笑颜笑靥如花卿如绿萼墨染樱飞堇年纸鸢思念,无人能懂旧时人_泪已落愛在逝歲流年。情话*唯望君安花影何处漪凝彦歆

  • 咸柠檬的腌制方法(咸柠檬怎么腌制)

    接下来我们就一起去研究一下吧!咸柠檬的腌制方法把准备好的新鲜柠檬放入到清水中,浸泡一段时间,再加入面粉调匀以后浸泡十五分钟,然后把柠檬取出用清水洗净去掉水分。把去掉水分以后的柠檬放入到玻璃瓶子中,放的时候要放一层柠檬放一层盐,如此反复,最上层放盐,然后把瓶子的盖盖好,让瓶子密封起来放到阴凉的地方腌制,一个月以后里面的柠檬就能变色,而且也会变软,这时自己做的咸柠檬就已经腌好。

  • 江淮和悦方向盘怎么拆下来(江淮和悦方向盘拆下的方法简述)

    江淮和悦方向盘拆下的方法如下用十字螺丝刀把安全气囊的两个螺丝拿掉!,今天小编就来聊一聊关于江淮和悦方向盘怎么拆下来?接下来我们就一起去研究一下吧!用尖锐的东西把安全气囊的插头上的扣往上翘再拨插头!用22号套筒把方向盘的大螺母拿掉即拆下方向盘。江淮和悦是意大利宾尼法瑞纳设计公司联合江淮国内外设计公司数千名顶级设计师和顶级专家联袂打造,也是江淮意大利设计中心首席设计师PAOLOCRUSO的代表作品。

  • 自热小火锅的发热包怎么用(自热小火锅的发热包用法)

    接下来我们就一起去了解一下吧!自热小火锅的发热包怎么用首先取出酱包将锅底挤入塑料碗内,接着依次加入菜包,往塑料碗中注入冷水至刻度线的位置。最后将塑料碗放进黑色碗中加热并盖上盖子,等待15分钟左右就可以开吃了。

  • 内衣85b代表什么意思(内衣85b代表啥意思)

    以下内容希望对你有帮助!内衣85b代表什么意思85B表示下胸围是85厘米,罩杯为B,即上下胸围差是12.5厘米,可推算上胸围是97.5厘米。内衣尺码一般由数字加字母构成,如:32/70A、36/80C等。前民数字表示下胸围的英寸,后面数值说明下胸围的厘米表示形式。字母表示罩杯大小。罩杯的尺寸则由其深度决定。乳房最高点的乳围减去乳房下围一圈的长度就是罩杯。两种罩杯间的尺寸则以够长的背扣来量度。

  • 光伏产业持续高景气背后(第二大光伏市场通过新目标)

    9月14日,欧盟议会以418票赞成、109票反对和111票弃权,通过了可再生能源发展法案。早在2018年,欧盟议会就已将2030年可再生能源目标比例定为32%。其中向欧洲地区出口约42.4GW,同比增长137%,远高于其他市场。并非明智之举但从实际来看,欧洲再次发展光伏企业并非明智之举。但如今的欧盟,显然很难完成这样的“壮举”。

  • 滑膜消肿贴 滑膜消肿贴效果怎么样

    滑膜消肿贴主要用于膝关节损伤。滑膜消肿贴由多种中草药制成,非常名贵,并且治愈效果神奇。是很好的治疗滑膜炎、膝关节积水的良药。滑膜消肿贴的治疗原理:治疗滑膜炎的方法,西医学多认为,目前还没有能力使滑膜炎的病理逆转,患者只能使用止痛药、止痛针、抽积液等来缓解症状。使长期沉积在关节、肌肉之间的积液、水肿等症状彻底消退。

  • 雨天正能量的句子(关于雨)

    今天有雨,小随笔。在理性层面,雨,是一种自然现象,是由大气循环扰动产生的,是地球水循环不可缺少的一部分,是几乎所有的远离河流的陆生植物补给淡水的唯一方法。地球表面水蒸发上升遇冷形成了雨。雨,是可以让城市繁华颠倒的镜像呈现。雨,是气温得调节,也是心情得调节;是生活节奏得调节,是浪漫文艺得替代品。雨,经历过纷纷扰扰,体会过浪漫柔情、烟雨朦胧,也守得住淅淅沥沥中的丝丝爱意。

  • 婚嫁择日如何选择正确的结婚吉日(结婚吉日应该怎么选)

    忌神日甚多,主要是避开杨公忌日、三娘煞日、晦日、朔日、月破、日破等凶日。因这三个月份分别适逢“清明”、“盂兰”和“重公”,均为传统的“鬼节”,不宜办喜事。基于报复心理,三娘喜与月老作对,专门破坏新人之喜事,故每月的三娘煞之日,即农历初三、初七、十三、十八、廿二及廿七,不宜结婚。六,不选父母生日;在传统习惯中,父母生辰不应与结婚吉日相同,其实只是指父母生日的正日不宜嫁娶,在该月份内结婚却没有问题。

  • 西洋参图片 野生西洋参图片

    西洋参为掌状5出复叶,通常3~4枚,轮生于茎端,叶柄长5~7厘米,小叶片膜质,广卵形至倒卵形,长4~9厘米,宽2.5~5厘米,先端突尖,边缘具粗锯齿,基部楔形,最下两小叶最小,小叶柄长约1.5厘米,最下二小叶柄较短或近于无柄。西洋参的浆果扁圆形,成对状,熟时鲜红色,果柄伸长。