高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 蔬菜溶豆的做法大全(蔬菜溶豆的做法有哪些)

    蔬菜溶豆的做法大全做法一材料:蛋白2个、奶粉24g、玉米淀粉12g、火龙果泥60g、柠檬汁3g。60克果泥、加24克奶粉、12克玉米淀粉搅拌均匀后过筛备用。用电动打蛋器打发至硬性发泡,提起打蛋器蛋白是直立的小尖尖,就是打发好了。把准备好的火龙果奶糊,快速倒入打发好的蛋白中,快速混合,像炒菜一样翻拌均匀,混合均匀后,装入事先准备好的裱花袋中,开始挤溶豆。用电动打蛋器把蛋黄打发,慢慢地蛋黄会开始有一点发白,变得厚重起来。

  • 短豆角怎么做好吃(短豆角的做法)

    以下内容希望对你有帮助!短豆角怎么做好吃原料:将豆角切成丝装盘,五花肉从冰箱拿出化冻,葱、蒜、姜切碎。将豆角丝用热水焯一下,捞出备用。将似化非化的肉切成片状,加入生抽、老抽、白胡椒、盐、料酒。再加淀粉拌匀,腌制20分钟。开火,锅内倒入食用油。炒出葱、姜、蒜的香味时,倒入豆角丝。加入适量的盐,花椒粉调味,翻炒均匀。

  • 香滑牛奶布丁怎么做(香滑牛奶布丁做法)

    香滑牛奶布丁怎么做做香滑牛奶布丁所需食材:牛奶200g,淡奶油120g,白砂糖20g,吉利丁6g。准备好所需要的材料,吉利丁片放冷水中泡软备用。将牛奶、细砂糖加入小锅中,加热至沸腾关火。将锅离火移至一边,倒入淡奶油拌匀,再加入泡软的吉利丁片搅拌至融化。模具内部可以刷薄薄一层黄油,将凉后的布丁糊倒入进去模具中!然后送冰箱冷藏4小时以上。时间到后,取出就可以吃了,可以倒扣在盘子中,也可淋上喜欢的果酱或者巧克力酱食用!

  • 乳房下垂穿什么样的内衣合适(胸部下垂怎么选对内衣)

    是不是总喜欢一些好看的,即使自己穿得不舒服,但就是觉得好看就一直穿的内衣?下面更多详细答案一起来看看吧!兰黛芬教你胸部下垂如何正确选择内衣。所以我们要在选内衣时就要选好、舒适的。首先胸下垂的女性要选择比平时的尺码要大一码的内衣,并且最好是有钢圈的,因为有了钢圈的固定,才能更好地让胸部挺起来。最后,我们一定要穿合适的内衣了,通过穿对内衣去改善胸下垂的情况也是很不错的,但这是要有长期的坚持才可以。

  • 菠萝蜜核吃中毒了(菠萝蜜核吃中毒了的症状)

    2、菠萝蜜本身是无毒的一种水果,菠萝蜜的核也不具有毒副作用,因此,食用菠萝蜜是不会引起身体中毒了,日常食用菠萝蜜核的人比较少,也没有报导过有菠萝蜜核中毒事件,因此,吃菠萝蜜核不会引起中毒,若是出现了中毒的症状,考虑是吃了其他食物导致的。

  • 固态硬盘多少钱(必买固态硬盘SSD低至5毛1GB)

    SATA3接口的硬盘一般出现在较早发布的笔记本上面,大家可以在较早机型上找到,而传统更换硬盘的网友,通常都是笔记本的2.5英寸机械硬盘更换成2.5英寸固态硬盘。不过目前主流的PCIe4.0协议的NVMeM.2固态硬盘价格过于昂贵,所以我们还是为大家主推PCIe3.0协议的NVMeM.2固态硬盘。目前三星980NVMeM.21TB版本的固态硬盘销售价为899元,约合9毛钱1GB,可以说十分划算。

  • 浸会大学简介(香港浸会大学简介)

    浸大在2021QS世界年轻大学排名中位列全球第23名。浸大于2022QS世界大学排名中位列全球第287名。浸大工商管理学院从2010年至今获得AACSB、EQUIS和AMBA认证,成为香港首家获得三重国际顶级认证的商学院,并于2018年入选“亚洲25所顶尖商学院”。浸大中医药学院在阿尔茨海默症、帕金森病和抗癌领域的研究成果先后取得多项国际专利,并于2021年获批成立运营香港首家中医医院。2020年浸大成立六所跨学科实验室,旨在香港构建世界级水准的人工智能研究中心。

  • 海岛奇兵第三个英雄怎么打(海岛奇兵第三个英雄怎么打视频解说)

    海岛奇兵第三个英雄怎么打?一起来看看吧,方法很简单,一看就会。

  • 卫青和霍去病的历史地位(卫青与霍去病是何关系)

    卫青的母亲是卫媪,卫媪跟第一任丈夫卫姓男子生下了三个女儿和一个儿子。卫青姐弟四人,少年时都是平阳公主府的仆人。卫少儿,原平阳公主府的侍女,和平阳县小吏霍仲儒私通,生下儿子霍去病。霍仲儒不敢承认自己与公主府的女奴私通,并不承认尚未出生的孩子,回去后另娶妻生子。所以霍去病的身份是私生子。从此,霍去病便跟随卫青一起领军出征,打败匈奴。

  • 饮水机用啤酒怎么清洗(饮水机用啤酒如何清洗)

    下面内容希望能帮助到你,我们来一起看看吧!将啤酒倒入饮水机上入口位置,再用适量水加满饮水机内腔,浸润一晚上或者5个小时,饮水机里的尘垢便基本溶解了,第二天或者5个小时后,打开冷热水两个出水开关,将啤酒水放出。再用少量的啤酒兑水,冲洗内腔一次,消毒便基本完成,用纯净水反复冲洗几次,直至啤酒的味道变淡直至没有,关闭饮水机后面的排水阀,清洗完成。