高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 如何防止树上果子被鸟吃(树上的水果全让鸟吃了怎么办)

    及时水果不变质,也没有了卖相,只能淘汰掉。鸟是生态平衡中重要的一环,因此对于鸟而言,只能驱离。一些超声波驱鸟器运用设备内部超声波传感器模仿响应危险信号,驱鸟器的使用环境不受限制,既节约成本,又能有效的将鸟吓跑。在樱桃、枸杞、葡萄、梨、苹果、杨梅、谷子等作物上,驱鸟器都有很好的效果。

  • 刘备与诸葛亮的千古之谜(刘备托孤诸葛亮)

    朕以幼冲,涉涂艰难,赖恃忠顺,济于危险。最后,关羽被吴军擒获,遭到杀害。“大意失荆州”加上关羽的死,听闻噩耗的刘备大受打击、极度悲痛。结果蜀军以兵败告终,元气大伤,刘备退到白帝城。二人这一段被后世人称为“君臣典范”。因此刘备认为赵云非常可靠,托孤于他,希望赵云能继续照看自己儿子。而诸葛亮对刘备来说,只是他用来统治国家的工具,并称不上是兄弟。刘备是一代枭雄,工于心计。

  • 爱心语句一句话(有关爱心的句子)

    爱心语句一句话爱如果为利己而爱,这个爱就不是真爱,而是一种欲。公益献爱心,真情暖人心。爱心是一盏明亮的灯塔,使迷途的航船找到港湾。慈为父母心,孝是儿女情。奉献不是为了索取,奉献应是自觉自愿的。让我们新世纪的一代青年都投身到乐于奉献的革命洪流中,从现在做起,从自身做起。让奉献这棵常青树,永远葱笼繁茂。爱是大家共有的,只有心到爱才会永恒!友谊不是别的,而是一种以善意和爱心去连接世上一切神俗事物的和谐。

  • 雪梅诗词原创(原创诗词梅雪之恋)

    是雪花爱上梅花风呼啸而过雪倾尽所有的情声演唱着雪绒花开满天际的花瓣飘落在干枯的杨柳树上盛开满树晶美的雪绒花高高的峰峦上松柏傲然屹立劈天盖地的飞舞把峰峦和松柏包裹在银色的世界里满园的红梅含苞未放雪花飘飘洒洒落下它心花怒放雪花点缀它的花瓣爱了一个世纪终于相依相偎醉了宇宙……

  • 蔽怎么读(汉字蔽怎么读)

    接下来我们就一起去了解一下吧!蔽怎么读蔽读作:bì。隐蔽[yǐnbì]借旁的事物来遮掩:游击队隐蔽在高粱地里。遮蔽[zhēbì]释义:遮挡。军事上指遮住目标,防止敌人发现。主要方法有利用地形、设置遮障、进行迷彩伪装、施放烟幕、使用角反射器等。

  • 自带袖插肩开衫从上往下编织(实穿好看好织春色)

    实穿好看好织春色一直想着织一款无扣的实穿好看好织的开衫看到文清老师发的这款就喜欢上了找的这个颜色非常应景的春天色万物刚刚被唤醒发嫩芽的黄绿色开工起来~~~『春色』用线:卡卡手作的西班牙70%美丽诺10%聚酯20%杜邦。

  • 怎么射箭才能百射百中 射弓箭百发百中的绝招

    基本要求是:两脚分开站在起射线两侧,左脚与起射线平行紧靠靶的中心线,右脚稍向后并取斜向站立,与靶心线约成70度角。

  • 读书小报内容大全(这些内容都可以)

    读书,是我们每个人都要做的事情;读书,能把我们带到浩瀚的天地;读书,能让大脑更加丰富;读书,能让我们的知识更加丰富多彩高尔基曾经说过,书是人类进步的阶梯所以,请热爱书吧,下面我们就来说一说关于读书小报内容大全?高尔基曾经说过,书是人类进步的阶梯。读书,要一丝不苟;全神贯注;聚精会神,就能读好书。其实,书犹药也,善读之可以医御。

  • 怎么吃火锅不上火(怎么吃火锅不上火的方法)

    具体做法是首先将藕片放入火锅中,断生后立即捞出食用。少用辛辣调味料防上火火锅底料中花椒、辣椒太多,配料中放芥末是吃火锅上火的一个重要原因。所以吃火锅要避免上火,尽量食用清汤作为火锅底料,在调味时适量放少许新鲜辣椒。此时,生白萝卜榨汁,少量白糖,稍煮之后食用可以有效去火。

  • 秋冬润肺排骨炖白萝卜怎么做(制作排骨炖白萝卜的方法)

    接下来我们就一起去研究一下吧!秋冬润肺排骨炖白萝卜怎么做主料:排骨、萝卜、姜、盐、鸡粉、醋。排骨切大块,用冷水泡泡去血水。白萝卜去皮洗净切块。排骨去沫后放入白萝卜块,姜块大火炖至排骨肉烂出锅。在煮排骨的时候,可以把葱洗净切末。香菜洗净切段,大蒜切末。把准备好的葱花,香菜段,辣椒面,酱油,姜油,花椒油,鸡粉,黑胡椒粉放小碗里,等汤好了放点汤在料碗里即可。