高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 炒苦瓜需要用水焯吗(炒苦瓜要不要用水焯)

    苦瓜食用前之所以需要焯水,这是因为苦瓜的草酸含量比较高,每100克苦瓜中含有459毫克。这些草酸与体内的钙结合后形成草酸钙,对身体肯定是有害而无益的。但是,苦瓜的苦味来源于它所含有的苦瓜素,苦瓜之所以具有减肥、降血糖等保健功效,主要原因就是它含有丰富的苦瓜素。焯水虽然可以去除有害的草酸,同时也会让部分宝贵的苦瓜素流失到水里,从而让苦瓜的保健功效也有所降低。

  • 电脑用u盘装系统自动关机(为什么电脑用u盘装系统自动关机)

    下面内容希望能帮助到你,我们来一起看看吧!电脑用u盘装系统自动关机首先考虑是主板不支持u盘安装,导致了bios错误,导致自动关机。建议检查一下bios设置,恢复默认值试试。考虑为u盘做的系统有问题,无法加载造成,这时候建议重新做启动u盘。考虑是硬件问题所选择的usb口电压不足或者短路,引起硬件保护进行的关机。

  • 中国楼层吉利层数(哪个楼层是比较好的)

    以下内容大家不妨参考一二希望能帮到您!中国楼层吉利层数层住宅选择中偏高的楼层为宜,高层住宅则遵循总层数的1/3以上、2/3以下的规则。对于高层住宅来说,七层是“黄金楼层”,这个楼层安静,不受汽车尾气等影响,且不让人达到恐高的程度;住在一层不太安静,如果临街,受路上的汽车尾气、扬尘污染,还易遭盗窃;顶楼能享受好风光,视野开阔,且价格便宜,但可能存在水压不够、楼顶渗雨、风大等问题。

  • 绿的绿松石玩出来啥颜色(23种绿松石颜色和名称介绍)

    绿松石有无穷无尽的颜色,源自于它的矿物元素多样性和形成的复杂性。它是铜铝磷酸盐矿物体,不同的矿物成分产生了不同的颜色。下面就为大家介绍绿松石的各种颜色和名称。好了,你手里还有更加细分绿松石颜色品类吗??

  • 欠条到期重新再写可以吗(欠条到期怎么办)

    欠条的诉讼时效性只有3年,而借条却长达20年之久。对于情况一,我们可以选择:延长诉讼时效在知道欠条要到期之前,我们首先要注意诉讼时效这一问题。延长欠条的诉讼时效的方式如下:1、要求债务人写出还款计划。原约定于某年某月某日前还清,现因某某原因无法按期还款,经双方协商一致,延长还款日期到某年某月某日。

  • 得子祝福语(得子祝贺语句)

    得子祝福语喜得贵子,是件值得庆祝道贺的事情,再此祝福你的朋友,身体早日康复,小朋友健健康康,茁壮成长。恭喜你的小宝宝诞生了,期望他能给你们带来更多的欢乐,甜蜜和温馨;衷心祝福你的宝宝健健康康,快快乐乐,茁壮成长;更愿你们组成的新家庭甜蜜美满!一抹夏日为新生宝宝送来祝福,清风为美丽的新妈妈送来甜蜜,愿新妈妈乖宝宝健健康康,幸福无极限!祝愿你的儿子聪明健康,在你们的精心照料下茁壮成长!

  • 太原市尖草坪区机关幼儿园开学须知(太原市尖草坪区公立幼儿园)

    开学时间2021年3月3日(周三)入园、离园时间分批错峰入园安排入园时间上午:大班:7:50—7:55中班:7:55—8:00小班:8:00—8:05离园时间下午:小一班、小三班:17:00—17:05小二班、小四班:17:05—17:10中一班、中三班:17:10—17:15中二班、中四班:17:15—17:20大一班、大三班:17:20—17:25大二班、大四班:17:25—17:30防疫小贴

  • 《上古卷轴5:天际》十大种族初始能力表

    会员:weipilihang原创《上古卷轴5》专题站:http://www.ali213.net/zt/esv/《上古卷轴5》专区:http://game.ali213.net/forum-414-1.html《上古卷轴5》专题站:http://www.ali213.net/zt/esv/《上古卷轴5》专区:http://game.ali213.net/forum-414-1.html

  • 衣服上的墨水迹怎么洗掉(怎么洗掉衣服上的墨水渍)

    之后再加入少量的中性洗涤剂搓洗,可彻底去除墨水渍,连印记也没有。

  • 路由器的猫有什么作用(猫路由器它们的作用完全不同)

    猫路由器它们的作用完全不同我们在部署网络的时候一定会准备猫和路由器虽然它们都是上网用的,但却是完全不同的设备,猫主要用于网络间不同介质网络信号的转接,路由器则用于网络信号的再分配不明白?接着往下看猫和光猫过去我们家里用的是普通。