高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 关于跑步方面的书(你该读读这5本书)

    你该读读这5本书为什么跑步这么受人喜欢呢?说到跑步,你会想起什么?今天为您分享一份书单,当谈到跑步时,你该读读这些书1、最文艺的跑步书《当我谈跑步时,我谈些什么》作者:[日]村上春树他以文字名满全球他的“蓝调”令万千。

  • 朋友秀恩爱的祝福语(祝福人家秀恩爱的句子)

    朋友秀恩爱的祝福语愿你们的爱情生活,如同无花果树的果子渐渐成熟;又如葡萄树开花放香,作基督馨香的见证,与诸天穹苍一同地每日每夜述说着神的作为与荣耀!愿你们的爱情,比美洒更美;比膏油更加馨香;比蜂房下滴的蜜更甜;且比极贵的珍宝更加宝贵!敬祝百年好合永结同心。深爱一个人会醉;恨一个人会碎;最痛苦的是等待,不知道你会等我多久,可我知道我会等你一生一世。

  • 青年大学习第十一季第十一五期(青年大学习第十季)

    新一季推出后,不少青年持续关注,并结合自身学习、工作实际引发思考。但是在李菁看来,作为一名有志青年,扎根基层是得到锻炼的最有效方式之一,也是最有收获的方式之一。“已经成为党员三年了,依然坚持每一期青年大学习,受益匪浅。”本季最后一期“青年大学习”在“共青团中央”微信公众号推出后,网友“渺小”留下这段话。

  • 明日之后远星城浩澜在哪(明日之后是手游吗)

    明日之后远星城浩澜在哪明日之后远星城浩澜远星城河流中间的位置,地图坐标:164,810,乘坐直升机到达远星城,进入远星城后找到地图中间的河流。随着河流往下走会发现一座桥,在接着往下走,在河流边上就可以看到“浩瀚”这个NPC了。《明日之后》是网易金牌研发团队历时三年打造的病毒末世下的人类生存手游。在采集、砍树、采矿、打猎获得基本资源后,玩家可用来烹饪食物、制作武器和防具等等生存所需要的物品。

  • 缺成本票抵税的方法(每日答疑公司设立食堂)

    原创发布,禁止抄袭!作者:会计网老师1、研发部门发生的招募外部人员用户体验所支付的费用记到研发费用-什么二级科目比较合适?当月购入当月开始计提。答:相关服务销售额达到50%以上,符合加计扣除的要求。按最新的政策可以按进项税额加计扣除15%。本文为会计网原创首发,作者:会计网老师。违者将被依法追究法律责任。@会计网保留所有权利。

  • 学做黄瓜凉拌猪耳(精品菜谱挑战赛)

    主治身热烦渴,咽喉肿痛,风热眼疾,湿热黄疸,小便不利等病症。此外,该物质还可治疗慢性肝炎和迁延性肝炎,对原发性肝癌患者有延长生存期作用。此外,黄瓜中的纤维素对促进人体肠道内腐败物质的排除和降低胆固醇有一定作用,能强身健体。黄瓜的饮食禁忌黄瓜当水果生吃,不宜过多。黄瓜中维生素较少,因此常吃黄瓜时应同时吃些其他的蔬果。

  • 包头市失业保险参保材料 包头办理失业证需要哪些材料

    包头市失业保险参保材料一、办理材料1、单位营业执照;2、组织机构代码证;3、法人身份证;4、税务登记证;5、银行开户许可证;6、劳动合同;7、投保人上月工资表。投保申请表一式两份。

  • 男子杀妻逃亡十三年落网(女子伙同丈夫杀害情夫一家四口)

    来源:天目新闻“妹妹一家四口身中57刀,时隔一年多,我每天都会想起他们遇害时的惨状,愤恨难以平复。”

  • 干姜晒干的正确方法(还能怎么制作呢)

    盐腌制后再晾晒,也是一种快速晒制干姜的传统方法。把鲜姜洗净切片后,用盐腌制一晚上,再捞起来晒干。经过盐腌制后,直接去掉了大部分鲜姜的水分,此外,盐腌制迅速杀死的姜的细胞,能有效防止肉质纤维化。先把鲜姜切片,然后在沸水锅里沸水浴至刚刚熟,一般30秒左右即可,然后捞起来晒干。经过蒸后,姜的细胞也能快速被杀死,味道也不会像沸水浴那样损失严重。

  • 莴笋与莴苣区别(莴苣和莴笋有什么区别)

    也就是说莴笋的根茎可食用,莴笋属于莴苣类。而生菜、油麦菜、卷心莴苣等等,都是莴苣的同源变种分支,又叫叶用莴苣。见解②从吃法来看莴苣属于叶用品种,通常被称为叶用莴苣类,只可食用吃片。莴笋又有尖叶和圆叶品种,比如白皮笋、青皮笋、紫皮笋等。莴笋根茎去皮切片炒肉挺好吃的,非常脆爽。莴笋又和贡菜相似,都是以根茎为主可以食用。他们俩的区分在于莴笋粗壮,肉质白绿,口感清脆,通常拿来清炒凉拌。