高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • un 和in 有啥区别(老外说I)

    看美剧的时候总能听到老外说“I'min”什么意思?-I'min.-谁想和我一起看电影?-Ok,I'min.-你来吃晚餐不?-Yes,I'min.-你在家吗?接下来补充学习一下“I'minandout”,这可不能简单翻译成进进出出哦!说明你是那里的常客,所以“I'minandout”意思就是“我是这里的常客”。

  • 乡下人家冬天的情景(乡下人家冬天的情景的句子精选)

    田里刚刚出土的麦苗是那样怯弱,原本绿嫩的叶子,显然已经被冬天贴上了自己特有的标签,像孩子冬天被冻坏的脸。冬姑娘穿着白色的衣裙来到了乡村。冬天的乡村有着让人不适应的萧条。冬天到了,天空下起了鹅毛大雪,使得乡村变成了冰雪世界。冬天,就是白色的世界,太阳公公穿上了白色的大衣,白花花的雪把小路铺成了一道白色的道路。乡村的平房上都覆盖了一层白皑皑的雪,给大地披上了一件雪白的新衣裳。

  • 拾金不昧的昧的意思(拾金不昧的简单介绍)

    以下内容希望对你有帮助!拾金不昧的昧的意思拾金不昧的昧释义:隐藏。拾金不昧,拾到金钱财物不隐藏起来、据为己有,指良好的人的道德和社会风尚。shíjīnbùmèi清·李绿园《歧路灯》:“把家人名分扯倒;又表其拾金不昧。”清·吴炽昌《客窗闲话·义丐》:“乃呼里长,为之谋宅于市廛,置货立业且表之以额曰‘拾金不昧’。”

  • 立身而行以学为基(学而知不足不足而知学)

    三国时吴国名将吕蒙以白衣渡江战胜关羽而名扬天下,他原本出身行伍、没有文化,经孙权劝学后认识到自身不足,坚持读书学习,提高自己,渐有学识。知不足不是目的,而是追求进步的途径,靶向在“行”,要有所为。

  • 这样的细腿你喜欢吗(这双褶皱的脚让人心疼)

    连日来,南方多地遭遇洪水袭击,城市、村庄犹如一片泽国,数百万人的家园被淹。武警贵州总队的官兵们经历了连续奋战,纷纷就地修整。清远英德一名孕妇,被困于洪水时突然分娩,消防救援人员接力救援,按120指示给婴儿进行临时处理,同时从医院接来妇产科医生。在清远英德抗洪抢险救援时,几位热心市民向消防救援人员送来热腾腾的食物。

  • 白色羊绒衫洗白小窍门(白色羊绒衫如何洗白)

    下面希望有你要的答案,我们一起来看看吧!双氧水处理白色羊绒衫用双氧水可以洗白。双氧水具有漂白的作用,使用时要准备一盆清水,然后向其中加入双氧水,混合均匀后,将白色羊绒衫放入其中,浸泡半小时后用清水洗净,衣服就变白了。将萝卜切片后放入锅中,加入清水熬煮,等待水分煮沸后,将萝卜汤倒出晾凉,在汤汁温度低于三十度时,就可以将白色羊绒衫放入其中,不断揉搓清洗。

  • 成都开建最高楼(成都最高楼要被刷新了)

    文丨西部菌上个月底,成都市2020年现代服务业重大项目集中开工仪式在成华区举行。最新的合作案例是上个月,贵安新区、贵阳市云岩区与雪松控股集团举行签约仪式。根据协议,雪松控股将在云岩区建立贵阳雪松中心,开展大宗商品供应链等板块业务。02雪松控股与成都关系的升温,有两个重要节点。一是,2018年与成华区签署战略合作协议,决定在成都东客站片区打造西南总部。而今年2月雪松控股还成功投资成华区东客站TOD合作项目。

  • 织田信奈的野望结局(织田信奈的野望介绍)

    织田信奈的野望结局:织田信奈把在公主旁边那个人杀掉了,一家子大团圆,一起去实现天下布武的梦想,我来为大家讲解一下关于织田信奈的野望结局?跟着小编一起来看一看吧!《织田信奈的野望》是由春日御影著作、美山零绘制插画的系列轻小说作品。作品讲述了普通高中生相良良晴意外穿越到日本战国时代后,发现那是一个武将全都是美少女的世界,并由此展开了一系列冒险故事。

  • 什么油好吃又健康(推荐好吃又健康的3种食用油)

    什么油好吃又健康花生油。颜色呈淡黄色透明状,色泽较为清亮,气味比较清香。延缓脑功能衰退,降血压止血,降低胆固醇,防治各种出血性疾病。菜籽油主要的原材料是我们在路上常见的油菜花上的油菜籽,颜色呈金黄或者棕黄。油脂是有一定的保质期,所以存放时间长的话不建议食用。大豆油主要的原材料是大豆,豆子。颜色主要是根据大豆的品种来决定,气味香醇。

  • 陈若轩安悦溪谁漂亮(路从今夜白之遇见青春陈若轩安悦溪现场作画)

    10月31日,青春励志纯爱剧《路从今夜白之遇见青春》在北京举办开播发布会,导演顾贇贇、主演陈若轩、安悦溪、罗予彤、魏哲鸣等出席发布会。《路从今夜白之遇见青春》是根据墨舞碧歌同名小说改编的青春励志纯爱电视剧,是时下校园剧中的黑马之作,将于11月1日22:00登陆湖南卫视青春进行时剧场。发布会最后,全体主创和出品方代表共同切下蛋糕,预祝收视节节高。