高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 手机怎么把视频转换成音频 怎样从视频中提取音频

    1、首先,下载想要转换的视频。2、然后需要用到一个软件:O Player 。3、打开O Player,软件会自动扫描文件,也可以自己手动找到目标文件。4、在O Player内打开视频。5、点击视频播放页面,点击左下角的按

  • 索尼xperia 1 iv系统评测(一台续航神机的诞生)

    一台续航神机的诞生旗舰机功能超强爽度高,但是顶尖的售价也让人却步,而中阶机逐渐发展进步,除了功能齐全以外,价格也更加亲民,甚至还可以享受到部分旗舰规格?SonyXperia10IV今夏带给你旗舰的影音享受,轻盈好握又有。

  • 教你虎皮青椒正确做法(直接倒油是不对的)

    今天我们就一起来聊一聊,关于虎皮青椒制作的一些小秘诀,看看到底这个家常菜要怎么烹饪呢?其实这样烹饪虎皮青椒的方法,还是不建议大家使用的,这样直接倒油烹饪,会破坏了青椒原本的清香。然后就可以倒入我们的青椒进行翻炒,等青椒外皮完全褶皱以后,加入生抽调色,那么我们翻炒均匀以后,就可以起锅食用好吃的虎皮青椒了。所以我们要按照步骤进行烹饪,这些做出来的虎皮青椒不仅不会糊锅,而且味道也是很好吃哦。

  • 泡菜炒蛋做法窍门(怎么做泡菜炒蛋)

    以下内容大家不妨参考一二希望能帮到您!泡菜炒蛋做法窍门食材:泡菜110克、鸡蛋2只、料酒适量、盐适量、油适量。烧锅倒油烧热,下入打好的蛋液翻炒成块。然后,合入泡菜翻炒翻炒,即成。

  • 黄瓜和菠菜怎么做好吃(黄瓜和菠菜的烹饪方法)

    我们一起去了解并探讨一下这个问题吧!调料:盐5克、味精2克、香油10克、辣椒油20克。将黄瓜洗净,切成粗丝,放在盘内。粉皮切成0.8厘米宽的条,放在黄瓜丝上。菠菜洗净入沸水中焯一下捞出,投凉,切成3厘米长的段,放在粉皮上。海米用温水泡透,挤去水放在菠菜段上。将精盐、味精撒在菠菜段上面,再淋上香油、辣椒油拌匀即成。

  • 撒盐是降低熔点还是凝固点(撒盐为什么可以降低凝固点)

    撒盐是降低凝固点。下雪时在路面撒盐是因为盐的凝固点比纯水低,而且盐水的浓度越高凝固点就越低,这样可以让雪化得更快,同时有一定的防滑的效果。正常水的冰点是0摄氏度,但是加入盐后,水的凝固点降低,变成小于0度了,更不容易凝结,这就是撒盐化雪的道理。

  • 构成诈骗罪有病怎么坐牢? 怎么能构成诈骗罪

    诈骗未遂,情节严重的,应当定罪并依法处罚。构成诈骗罪的,将会按照《刑法》第266条当中的规定判处有期徒刑,一般是按照三年以下有期徒刑来处罚,但是也不排除比较严重的犯罪行为,将按照三年以上的有期徒刑进行处罚。但是不管怎样诈骗罪一旦构成,即使是犯罪嫌疑人有病的,也需要按照法定的流程执行刑罚。

  • 如何合并收款码(支付宝和微信的收款码怎么合并)

    首先要保存微信和支付宝的付款码打开微信,点击右上方的加号→收付款,今天小编就来说说关于如何合并收款码?下面更多详细答案一起来看看吧!如何合并收款码首先要保存微信和支付宝的付款码。接着,我们打开微信,在搜索栏搜索,并进入。

  • 幼儿离园安全注意事项有那些(幼儿离园安全注意事项有什么)

    下面更多详细答案一起来看看吧!幼儿离园安全注意事项有那些离园时,家长要自觉的在门口排好队接孩子,避免拥挤,以免拥挤时对孩子造成严重的伤害。如果家长不能来接孩子要委托他人来接,也要提前告知老师。孩子离园时家长和儿童比较多,所以在离园时还在不要乱跑,也不要滞留,最好是排好队慢慢的走出来以免造成安全事故。

  • 徐峥演追富婆的电视剧是什么(徐峥个人资料)

    徐峥演追富婆的电视剧是什么徐峥演追富婆的电视剧是《大男大婚》,该剧是由徐峥、马苏、张歆艺、车晓等人共同主演轻喜剧,讲述了35岁食品公司销售主管曹小强笑中带泪的脱单旅程。徐峥,1972年4月18日出生于上海市,中国男演员、导演、编剧、监制。1994年毕业于上海戏剧学院。2020年,执导并主演献礼片《我和我的家乡》单元。;同年,位列2020年福布斯中国名人榜第2位。2021年9月30日,执导并主演的电影《我和我的父辈》上映。