高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 怎样练腿部的力量(详解几种锻炼腿部力量的方法)

    怎样练腿部的力量?下面内容希望能帮助到你,我们来一起看看吧!怎样练腿部的力量对于新手来说,最好从跳绳练习开始,跳绳练习可以有效增加腿部肌肉活力,适合刚开始练习腿部力量的新手,还有刚刚做完腿部负重训练准备放松休息的人。还有锻炼大腿前端肌肉的方式,就是对自己的小腿施加压力,完成抬腿,找个练习可以有效锻炼大腿前端和两侧的肌肉群,练习了一段时间后,腿部肌肉从视觉上会变得比较集中。

  • 公司销售人员工作计划范文(最新公司销售员上半年个人工作计划优选三篇)

    最新公司销售员上半年个人工作计划优选三篇一、加强学习,不断提高思想业务素质。“转变观念”做的很不到位,工作拘泥习惯,平日的不良的工作习惯、作风难以改掉。在21世纪的今天,作为公司新的补充力量,“转变观念”对于我们来说也是重中之首。第三制定并规范了代理销售合同。

  • 定亲摆什么花(农村几乎已消失的一种现象)

    定亲摆什么花随着社会的进步,在中国广大农村地区存在一种特别有趣的现象,北方叫“换親”,南方叫“绵花告纱”。这种有趣的社会现象,可能会绝对性退出历史舞台。就是在家长的指导下,由一方兄妹或姐弟与对方同样一对兄妹或姐弟互相换親。这可在几千年中国历史上是长盛不衰的一种习俗。男孩矮小一点,但女方各方面都挺标致。他们说这还得感谢国家,感谢政府。现在男孩一个月下来,自己包房子装修,收入二万多呢!

  • 西安项目管理PMP证书算中级职称吗

    不算。它是由美国项目管理协会(PMI)发起,严格评估项目管理人员知识技能是否具有高品质的资格认证考试,目的是为了给项目管理人员提供统一的行业标准。没有职称。

  • 我的世界迦米矿在第几层(其他的矿呢)

    下面更多详细答案一起来看看吧!我的世界迦米矿在第几层煤矿石出现高度:所有层数,开采工具:木镐及以上。铁矿石出现高度:64层以下,开采工具:石镐及以上。

  • 女人穿西装有多好看(会穿西装的女人)

    西服的版型采用直筒式设计,既体现宽松舒适,又显得干净利落。袖口的外翻造型,以撞色和开叉的设计,尽显个性之美。纯色的西服套装,在细节设计上,注重品质的体现。垫肩的造型,与肩膀形成良好的贴合度,带有挺拔的气质。后身下摆处的开叉设计,可带来休闲的舒适性,并尽显时尚的特色。西服的款式,结合薄软垂顺的面料材质,所呈现出的是兼具帅气和飘逸的美感。阔腿短裤的样式,尽显俏皮的青春活力。

  • 关于白夜行的文案(每日一书白夜行)

    笹垣辞任警队后,古贺动用警力追捕亮司。丈夫早年病故,家境十分贫穷,靠出卖雪穗的身体营生。后来死亡,警方相信是煤气炉意外。后经相亲嫁给普通人。

  • 儿童画画教程3-6岁简笔画本(500个简笔画小人儿)

    很多父母总是很惆怅如何陪伴宝宝们,其实学习就是最好的陪伴亲子课堂就是最好的形式,又能让孩子们培养兴趣爱好,学习知识技能,还能增进父母和孩子之间的感情,我来为大家科普一下关于儿童画画教程3-6岁简笔画本?以下内容希望对你有帮助!儿童画画教程3-6岁简笔画本很多父母总是很惆怅如何陪伴宝宝们,其实学习就是最好的陪伴。赶快收藏起来,和孩子们一起边学边画吧!

  • 汽车突然失控毁了一家店(怒撞4S店事件背后)

    即使问题车辆能够得到处理方案,客户也会因为4S店“怠慢”而大为恼火。15年左右汽服O2O爆发烧钱大战以后,大部分平台都以失败者姿态退出舞台。目前国内私家车保有量1.46亿辆,平均车龄2.23年。其中有接近6成汽车超过保修期,对维修、养护需求更大。有预测指,2018年,国内汽车平均车龄将突破5年。在汽车维保刚需而传统4S渠道在价格、服务上备受诟病的前提下,市场更需要非4S系的后服方进场维持行业健康发展。

  • 国庆70周年有感诗词(喜迎国庆诗词献礼)

    《春望》唐·杜甫国破山河在,城春草木深。《州桥》宋·范成大州桥南北是天街,父老年年等驾回。《题临安邸》宋·林升山外青山楼外楼,西湖歌舞几时休。《过零丁洋》宋·文天祥辛苦遭逢起一经,干戈寥落四周星。《出塞曲》唐·王昌龄秦时明月汉时关,万里长征人未还。《满江红》宋·岳飞怒发冲冠,凭栏处,潇潇雨歇。壮志饥餐胡虏肉,笑谈渴饮匈奴血。《闻官军收河南河北》唐·杜甫剑外忽传收蓟北,初闻涕泪满衣裳。