高考考试网
当前位置: 首页 高考资讯

pandas实现数据并集(pandas使用pandas进行数据处理)

时间:2023-08-12 作者: 小编 阅读量: 3 栏目名: 高考资讯

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。安装使用和几乎所有的Python包一样,pandas也可以通过pip进行安装。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。说明pandas内部对数值型索引和字符型索引是做了区分的。另外在创建Series的时候,重复的索引也是允许的。

上周我们关于Python中科学计算库Numpy的介绍就结束了,今天我们开始介绍一个新的常用的计算工具库,它就是大名鼎鼎的Pandas。

Pandas的全称是Python Data Analysis Library,是一种基于Numpy的科学计算工具。它最大的特点就是可以像是操作数据库当中的表一样操作结构化的数据,所以它支持许多复杂和高级的操作,可以认为是Numpy的加强版。它可以很方便地从一个csv或者是excel表格当中构建出完整的数据,并支持许多表级别的批量数据计算接口。

安装使用

和几乎所有的Python包一样,pandas也可以通过pip进行安装。如果你装过Anaconda套件的话,那么像是numpy、pandas等库已经自动安装好了,如果没有安装过也没有关系,我们使用一行命令即可完成安装。

pip install pandas

和Numpy一样,我们在使用pandas的时候通常也会给它起一个别名,pandas的别名是pd。所以使用pandas的惯例都是:

import pandas as pd

如果你运行这一行没有报错的话,那么说明你的pandas已经安装好了。一般和pandas经常一起使用的还有另外两个包,其中一个也是科学计算包叫做Scipy,另外一个是对数据进行可视化作图的工具包,叫做Matplotlib。我们也可以使用pip将这两个包一起安装了,在之后的文章当中,用到这两个包的时候,也会简单介绍一下它们的用法。

pip install scipy matplotlib

Series 索引

在pandas当中我们最常用的数据结构有两个,一个是Series另外一个是DataFrame。其中series是一维数据结构,可以简单理解成一维数组或者是一维向量。而DataFrame自然就是二维数据结构了,可以理解成表或者是二维数组。

我们先来看看Series,Series当中存储的数据主要有两个,一个是一组数据构成的数组,另外一个是这组数据的索引或者是标签。我们简单创建一个Series打印出来看一下就明白了。

这里我们随意创建了一个包含四个元素的Series,然后将它打印了出来。可以看到打印的数据一共有两列,第二列是我们刚才创建的时候输入的数据,第一列就是它的索引。由于我们创建的时候没有特意指定索引,所以pandas会自动为我们创建行号索引,我们可以通过Series类型当中的values和index属性查看到Series当中存储的数据和索引:

这里输出的values是一个Numpy的数组,这并不奇怪,因为我们前面说了,pandas是一个基于Numpy开发的科学计算库,Numpy是它的底层。从打印出来的index的信息当中,我们可以看到这是一个Range类型的索引,它的范围以及步长。

索引是Series构建函数当中的一个默认参数,如果我们不填,它默认会为我们生成一个Range索引,其实也就是数据的行号。我们也可以自己指定数据的索引,比如我们在刚才的代码当中加入index这个参数,我们就可以自己指定索引了。

当我们指定了字符类型的索引之后,index返回的结果就不再是RangeIndex而是Index了。说明pandas内部对数值型索引和字符型索引是做了区分的。

有了索引,自然是用来查找元素用的。我们可以直接将索引当做是数组的下标使用,两者的效果是一样的。不仅如此,索引数组也是可以接受的,我们可以直接查询若干个索引的值。

另外在创建Series的时候,重复的索引也是允许的。同样当我们使用索引查询的时候也会得到多个结果。

不仅如此,像是Numpy那样的bool型索引也依然是支持的:

Series计算

Series支持许多类型的计算,我们可以直接使用加减乘除操作对整个Series进行运算:

也可以使用Numpy当中的运算函数来进行一些复杂的数学运算,但是这样计算得到的结果会是一个Numpy的array。

因为Series当中有索引,所以我们也可以使用dict的方式判断索引是否在Series当中:

Series有索引也有值,其实和dict的存储结构是一样的,所以Seires也支持通过一个dict来初始化:

通过这种方式创建出来的顺序就是dict当中key存储的顺序,我们可以在创建的时候指定index,这样就可以控制它的顺序了。

我们在指定index的时候额外传入了一个没有在dict当中出现过的key,由于在dict当中找不到对应的值,Series会将它记成NAN(Not a number)。可以理解成是非法值或者是空值,在我们处理特征或者是训练数据的时候,经常会遇到存在一些条目的数据的某个特征空缺的情况,我们可以通过pandas当中isnull和notnull函数检查空缺的情况。

当然Series当中也有isnull的函数,我们也可以调用。

最后,Series当中的index也是可以修改的, 我们可以直接给它赋上新值:

总结

从核心本质上来说,pandas当中的Series就是在Numpy一维数组上做的一层封装,加上了索引等一些相关的功能。所以我们可以想见DataFrame其实就是一个Series的数组的封装,加上了更多数据处理相关的功能。我们把核心结构把握住了,再来理解整个pandas的功能要比我们一个一个死记这些api有用得多。

pandas是Python数据处理的一大利器,作为一个合格的算法工程师几乎是必会的内容,也是我们使用Python进行机器学习以及深度学习的基础。根据调查资料显示,算法工程师日常的工作有70%的份额投入在了数据处理当中,真正用来实现模型、训练模型的只有30%不到。因此可见数据处理的重要性,想要在行业当中有所发展,绝不仅仅是学会模型就足够的。

文章就到这里,如果喜欢本文,可以的话,请点个关注,给我一点鼓励,也方便获取更多文章。

本文始发于公众号:TechFlow

    推荐阅读
  • 微信改限制为永久限制(微信做出重大决定)

    随着移动时代的到来,微信成为了人们日常生活的主要通讯工具,它不仅可以聊天视频还可以支付和看新闻,微信的作用越来越大逐渐取代了QQ的地位。微信为什么能够超越QQ成为国内最受欢迎的即时通讯工具呢?而微信是移动时代的产物更符合当今社会,微信取代QQ的位置成为现在社会即时通讯的霸主已经是理所当然的事情。然而近日,微信突然宣布一个新规定,微信解除5000人的限制,超过5000人可以继续添加。

  • 如果岁月可回头是不是烂剧(这部剧讲述了什么事情)

    《如果岁月可回头》不是烂剧该剧讲述了同一个城市中三个彼此陌生的男人因婚姻失败不约而同地来到一个陌生的城市进行治愈之旅的故事,现在小编就来说说关于如果岁月可回头是不是烂剧?下面内容希望能帮助到你,我们来一起看看吧!如果岁月可回头是不是烂剧《如果岁月可回头》不是烂剧。《如果岁月可回头》是由张建栋编剧并执导,靳东、蒋欣、李宗翰、李乃文、左小青、赵子琪、傅晶、陈冰等主演的都市情感剧。

  • 小抄写员主要内容(小抄写员内容简介介绍)

    小抄写员主要内容《小抄写员》又名《佛罗伦萨的少年抄写者》,是意大利作家艾德蒙多·德·亚米契斯《爱的教育》书中经典的感人亲情故事。叙利奥是小学五年级学生,十二岁,是个黑头发,白皮肤的男孩子。叙利奥就晚上十二点起来帮爸爸写签条,爸爸一直不知道这是叙利奥做的。父亲很后悔,原来这都是叙利奥做的。几个月来,叙利奥终于睡了个好觉。

  • 荆芥可以代替九层塔吗(河南老百姓爱吃荆芥)

    荆芥是我国本土的植物,河南省自古以来就是荆芥的主产地之一。而罗勒这种植物是从西方舶来的,通过海路到达我国南方沿海,南方人把罗勒叶称为九层塔、金不换,这是一种比较贵的调味品,在西餐里经常用到。总之一句话,河南老百姓爱吃的荆芥不是罗勒叶、九层塔,但都是唇形科植物,跟猫薄荷是同科同属的植物。猫薄荷是荆芥的一个品种,但不是河南老百姓爱吃的那种大叶荆芥。

  • excel中多个表格如何排序(实用技巧轻松上手)

    对于Excel来说,排序是一种常规性的操作,而且在非常多的场合中需要用到,但作为新手小白,应该怎么Excel表格排序呢?当然我们还可以自定义排序,在自定义排序功能中添加两个排序条件,次要关键字等就可以了。

  • 梦见蛇在身上爬是什么预兆(梦见蛇在身上爬预兆是什么)

    蛇在梦中,往往代表了欲望、内在力量等等。梦见蛇,大多都是表示性爱关系,有性需求的象征,而如果蛇是卷曲状的的,表示目前的你正沉溺在性爱的关系里,另外也有疾忌心不断增高的警告。另一方面梦到蛇也有财运上升的象征,而蛇逃走则有金钱上的损失。打算出门的人梦见蛇在身上爬,建议延后三天外出顺利。准备考试的人梦见蛇在身上爬,意味着成绩不佳未能录取。

  • 十年的剃须刀推荐(百元国产剃须刀红榜)

    焕醒剃须刀的刀片,钢是来自日本HITACHI日立的特种钢材。第一重,6层密集刀片,中间不会有肉被拉扯。第三重,润滑条采用天然乳木果精华,湿水分泌粘液,润滑皮肤防止刮伤。在小米众筹上的完成率是14142%,打破了历史记录。映趣BlackStone3相比前代刀网更薄,全身可以水洗,价格只要59元。素士作为小米供应链,根据亚洲人脸型特点开发并做了调整,更加贴合脸部。剃须最重要的是2点:刀片锋利剃须干净,有防护措施不会让自己受伤。

  • gtaol 特殊武器(超多打折开启武装悍马登场)

    R星今日公布了《侠盗猎车OL》新更新,HVY威胁者武装载具,狩猎追逐(重混版)双倍GTA游戏币和声望值奖励活动延长、高档载具折扣及更多精彩内容加入了游戏,非常良心。截至9月3日,登录即可解锁HVY威胁者蓝色格子和橙褐色阴影迷彩涂装。旋风飓风、兰帕达缇米其利GT及更多载具七折,并有一系列载具改装和升级七五折,优惠持续一整周。

  • 工资太低要不要交五险一金(交五险一金和工资6k)

    因为五险一金虽然作用大,但不能立刻用于解决眼前的生活问题。相比五险一金带来的稳定,远不如自身专业能力提高后带来的安全感。如今,随着大家法律意识及维权意识的增强,是否缴纳五险一金已经渐渐成为很多职场人找工作必须考虑的因素。但出于生存的无奈,对于一些急需解决个人生计问题的人来说,可能这个公司短期不缴纳五险一金的危害性远没有自己一个月没有房子住,没有饭吃的状况大。

  • 手机可以当电视遥控用吗(手机除了遥控电视)

    用手下载相应的应用程序后,通过WiFi与目标设备连接,然后再根据提示进入遥控程序界面,就可以控制坦克的运动了。——智能家居,套装比较有趣相比汽车、飞机这样的达人玩具而言,一些深入生活的小物件或许能让手机遥控变得更加实用。这类遥控器的价格非常便宜,本身代工厂商也会提供通用的App软件,坏处是软件UI个性化设计元素很少,但好处是通常这样的量产产品具有不错的兼容性,选择一家评价不错、包邮、态度还好的卖家,买买买!