高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • tvb炎明熹(TVB小花入围叱咤遭针对)

    但在投票第二阶段开始后,她却遭到恶意针对。以男团MIRROR粉丝、ERROR粉丝为骨干的ViuTV支持者,并不希望有TVB歌手、声梦学员在《叱咤》投票环节中走得更远,入围前10的炎明熹成为了他们的眼中钉、肉中刺,必须尽快淘汰出局。粉头们呼吁,自家MIRROR、ERROR的粉丝在完成对偶像的支持任务后,应该去给炎明熹的竞争对手,特别是亲近ViuTV的那几位送上强力支持。

  • 芹菜叶子炒鸡蛋(芹菜叶炒鸡蛋的做法)

    芹菜叶子炒鸡蛋?我们一起去了解并探讨一下这个问题吧!芹菜叶子炒鸡蛋用料:芹菜叶2棵、鸡蛋2个、葱5克、盐适量。起锅热油,加入葱花炒出香味。加入芹菜叶将其炒软。倒入蛋液,先煎至到快要凝固在翻炒。最后加少许盐调味即可。

  • 牡丹海棠怎么养护(海棠开花后怎么养护)

    牡丹海棠的养护有光照、温度、浇水、修剪四大步骤。牡丹海棠养护方法一、光照牡丹海棠喜欢生长在光照充足的环境中,所以在养殖过程中一定要进行充足的阳光照射。

  • 怎么挑选厨房用品(怎么挑选厨房用品好坏)

    目前市场上有的橱柜已采取全部安装防蟑条密封,此项技术能有效防止食品受到污染。所以,正规厨具生产厂家生产的厨具面层材料全部使用不燃、阻燃的材料制成。再就是灶台的高度、吊柜的位置等,都直接影响到使用的方便程度。因此,要选择符合人体工程原理和厨房操作程序的厨房用具。

  • 每天要吃多少碳水包含蔬菜吗(全民营养周科普专题)

    膳食碳水化合物是人体最经济、最主要的能量来源。如果把身体比作银行,那么碳水化合物是“现金”,脂肪是“证券”,蛋白质是“房子、设备”。这时候补充碳水化合物,身体会迅速恢复。碳水化合物除为身体供给能量外,还有构成组织结构、调节血糖、节约蛋白质、抗酮体生成、促进肠道健康等多种生理功能。

  • 妈妈想你了怎么办(妈妈我想你了)

    妈妈,我想你了作者:刘建玲,我来为大家科普一下关于妈妈想你了怎么办?两个多月都没见到女儿了,她的一句“妈妈,我想你了”,把我所有的思念都牵了出来。有了梦想,才有了理想,我们为了共同的理想走进中国铁建,又分布在四面八方。工地告诉我,我把我的怦然心动留给了我的中国铁建。

  • 晚安句子正能量说说心情短语(有什么晚安的句子)

    晚安句子正能量说说心情短语今天不为勤奋买单,未来就为贫穷买单。对未来最大的慷慨是把一切献给现在。我没有面包,没有清酒,有的只是余生的一腔孤勇。成熟不是看你的年龄有多大,而是看你的肩膀能挑起多重的责任。倒霉的时候要默默熬过去,不要声张否则留下的都是笑柄。看淡一点再努力一点,给自己一些时间,原谅做过很多傻事的自己。接受自己,爱自己。过去,是一个值得去的好地方,但绝对不是一个应该长久逗留的地方。

  • 推荐三款30万的旅行车(不求速度只要续航)

    不求速度有多高,只要续航够持久,1.5万内“旅行车”求推荐?根据描述得知,这是一位上了年纪的摩友,对于骑车的欲望已不在体现在追求风和速度的激情上,而会更注重它的油耗表现和续航能力,所以就想在1.5万内的“旅行车”中寻找目标车型。性能方面,这款酷道155将会搭载极客飒155同平台风冷发动机,这款发动机的动力和油耗还是比较均衡的,它最大功率10.4KW,最大扭矩14N·m。

  • 史上最亏本的电影(这些中您都看过几部)

    史上最亏本的电影《埃及艳后》:投资4400万美元,票房2000万。这部电影上映于1963年,片子长达三个多小时,由好莱坞当时最出名的女明星之一,伊丽莎白·泰勒主演,是一部史诗级的作品。中国内地第五代导演陈凯歌执导,巩俐、李雪健、张丰毅等一众著名演员参与的历史大片。于是,其他的幸村人类纷纷针对这个“怪物”,准备致他于死地。由意大利裔的传奇导演塞尔吉·莱昂内执导的黑帮犯罪题材大作,演技派男星罗伯特·德尼罗领衔主演。

  • 三伏吃三肉(三伏吃三肉三瓜具体有哪些)

    三伏吃三肉所谓的三瓜指的是是苦瓜、丝瓜、冬瓜。丝瓜在三伏天起到清热泻火的好作用,不管是炒菜还是做汤都可以。其属于寒性,还可以起到治咳嗽泻痰的作用。而且里面含糖非常少,对于不少血管疾病和高血压的人来讲,都是不错的夏日蔬菜。