高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 如何缩小和放大网页 怎么放大和缩小网页

    看网页的时候,有时候你会觉得网页过大,内容显示不完全,有时候又觉得网页太小,看不清楚,所以这个时候就需要缩放网页了。打开浏览器的功能菜单,里面一般都会有缩放网页的设置。按住ctrl键,然后同时滑动鼠标滚轮。往上滑就是放大网页,往下滑就是缩小网页。以win10EDGE浏览器为例,EDGE浏览器的功能菜单键是横着的三个点。再以IE浏览器为例,IE浏览器的功能菜单就是一个齿轮状设置按钮的样子。

  • 惊艳国货治脚裂(32年老牌国货强脚跟开裂)

    而以上这些问题,这支协和脚跟膏,就能帮助解决!!专门针对足部干燥、起皮、开裂,脚后跟日常磨损等问题研制而成。拥有300多款化妆品产品名目,协和脚跟膏就是其中一款口碑产品。*协和脚跟膏质量检测报告,均符合要求添加的丹参、当归、红花提取物和霍霍巴籽油,可以深层滋养肌肤,同时,对受损肌还有很棒的修护作用。虽说名字叫“脚跟膏”但除了抹脚以外,还能用来抹手、抹腿、抹脸、抹身体。

  • 米老鼠是什么动物(米老鼠介绍)

    米老鼠是什么动物米奇老鼠,迪士尼代表角色形象,是一只有着圆滚滚的大脑袋、圆滚滚的大耳朵、梨形的身体与像橡胶软管一样柔软、没有明显的关节、可以自由拉伸仿佛没有骨骼的四肢的小老鼠。米奇有一个最佳搭档,米妮。他俩同时诞生,一直是情侣关系。他还有一只忠心耿耿的名叫布鲁托的大黄狗,他们是最好的朋友。这些衣服很好地遮挡了他瘦长的四肢,让他的四肢和本不明显的颈、肩、关节显得更明显。

  • 小米6手机参数怎么样(小米6手机参数详细参数)

    小米6这次同样跟上潮流,采用双摄像头设计,并且是iPhone7Plus上最顶级的广角+长焦设计,支持2倍无损光学变焦。难得的是,在5.15寸的小尺寸机身上,小米完全将其做平。4G+网络支持国内三大运营商最快网络,下行峰值600Mbps、上行峰值100Mbps。对比起其它厂商的优势,小米6的屏幕在降低蓝光对人眼影响的同时,尽可能确保色彩还原准确,据了解小米6的护眼功能还经过国家眼科工程中心认证。

  • 槟榔不是想吃就能吃的(槟榔不是食品少沾为妙)

    浙江省市场监督管理局的工作人员明确表示,浙江省是从今年9月初开始下发有关通知,禁止槟榔作为食品销售。四川省南充市营山县,也正在落实省市场监督管理局全面禁止销售槟榔的要求。一石激起千层浪,关于“禁售、戒食槟榔”等呼声再起。而且,因其有着丰富的药用功效,与益智、砂仁、巴戟并称为四大南药。从被世界卫生组织列为一类致癌物,到近年来“食用槟榔成瘾致癌”的相关报道,对不少人来说,槟榔犹如“毒品”。

  • 单韵母和复韵母各自的发音特点(有一个特殊的韵母)

    单韵母和复韵母各自的发音特点?以下内容希望对你有帮助!单韵母和复韵母各自的发音特点首先认识一下八个复韵母:aieiuiao唉诶围奥ouiuieüe欧邮椰月ererer是个小淘气,不和声母在一起,只和声调做游戏,独自注音就可以。érěrèr而耳二今天是在头条发表文章的第四天,遇到一些志同道合的朋友,很开心,也很感谢头条!

  • 庾澄庆个人资料简介 庾澄庆个人资料简介简历

    1994年与张小燕联合主持综艺节目《超级星期天》。2000年凭借《超级星期天》获得第35届金钟奖综艺节目主持人奖。2001年参演电视剧《流星花园》,并为电视剧演唱主题曲《情非得已》。2012年至2013年庾澄庆两度担任《中国好声音》导师。2014年1月庾澄庆登上央视春节联欢晚会,与韩国演员李敏镐合唱歌曲《情非得已》。

  • 巴迪超人童鞋超标(测试儿童鞋菲力虎)

    测试儿童鞋菲力虎原标题:宁夏消协测试儿童鞋:菲力虎哈比熊噜比贝贝重金属铅含量超标中国消费者报银川讯(记者徐文智)近日,宁夏回族自治区消费者协会针对市场上及线上销售的儿童鞋开展了比较试验,并对比较试验结果进行了通报其中。

  • TB预售能修改地址吗 tb预售能修改地址吗

    淘宝预售能修改地址,跟客服确认预售的订单让客服把修改地址即可。淘宝网是亚太地区较大的网络零售、商圈,由阿里巴巴集团在2003年5月创立。淘宝网是中国深受欢迎的网购零售平台,拥有近5亿的注册用户数,每天有超过6000万的固定访客,同时每天的在线商品数已经超过了8亿件,平均每分钟售出4.8万件商品。截止2011年年底,淘宝网单日交易额峰值达到43.8亿元,创造270.8万直接且充分就业机会。

  • 考教师资格证有岁数限制么(考教师资格证有年龄限制吗)

    师资格认证考试没有年龄限制,只有学历限制。一般教师招聘和特岗政策公告会要求:凡是考教师编制的,一般要求年龄在30或35周岁以下,若是研究生等以上学历,条件会适当放宽。因此小编建议同学们最好在三十岁以下报考教师资格证。但建议报考各大学专业相近或者对口。2019下半年教资考试时间表笔试报名时间:2019年9月3-6日笔试时间:2019年11月2日面试报名时间:2019月12月10-13日面试时间:2020年1月4-5日