Python科学计算与数据处理汇总ppt课件.ppt

上传人:牧羊曲112 文档编号:1999391 上传时间:2022-12-30 格式:PPT 页数:115 大小:487KB
返回 下载 相关 举报
Python科学计算与数据处理汇总ppt课件.ppt_第1页
第1页 / 共115页
Python科学计算与数据处理汇总ppt课件.ppt_第2页
第2页 / 共115页
Python科学计算与数据处理汇总ppt课件.ppt_第3页
第3页 / 共115页
Python科学计算与数据处理汇总ppt课件.ppt_第4页
第4页 / 共115页
Python科学计算与数据处理汇总ppt课件.ppt_第5页
第5页 / 共115页
点击查看更多>>
资源描述

《Python科学计算与数据处理汇总ppt课件.ppt》由会员分享,可在线阅读,更多相关《Python科学计算与数据处理汇总ppt课件.ppt(115页珍藏版)》请在三一办公上搜索。

1、1,pandas,入门,目录,andas的数据结构介绍SeriesDataFrame索引对象基本功能重新索引丢弃指定轴上的项索引、选取和过滤 算术运算和数据对齐函数应用和映射排序和排名带有重复值的轴索引,2,目录,汇总和计算描述统计相关系数与协方差唯一值、值计数以及成员资格处理缺失数据滤除缺失数据填充缺失数据层次化索引重排分级顺序根据级别汇总统计使用DataFrame的列其他有关pandas的话题,3,4,andas含有使数据分析工作变得更快更简单的高级数据结构和操作工具。它是基于NumPy构建的,让以NumPy为中心的应用变得更加简单。 因为Series和DataFrame用的次数非常多,所

2、以将其引入本地命名空间中会更方便。,from pandas import Series, DataFrame import pandas as pd,andas的数据结构介绍,Series Series是一种类似于一维数组的对象,它由一组数据(各种NumPy数据类型)以及一组 与之相关的数据标签(即索引)组成。仅由一组数据即可产生最简单的Series:,5,obj = Series(4, 7, -5, 3)obj0 41 72 -53 3dtype: int64,andas的数据结构介绍,Series的字符串表现形式为:索引在左边,值在右边。由于没有为数据指定索引, 于是会自动创建一个0到N-

3、1 (N为数据的长度)的整数型索引。可以通过Series的 values和index属性获取其数组表示形式和索引对象:,6,obj.valuesarray( 4, 7, -5, 3, dtype=int64)obj.indexInt64Index(0, 1, 2, 3, dtype=int64),andas的数据结构介绍,通常希望所创建的Series带有一个可以对各个数据点进行标记的索引:,7,obj2 = Series(4, 7,-5,3, index=d,b,a,c)obj2d 4b 7a -5c 3dtype: int64 obj2.indexIndex(ud, ub, ua, uc,

4、dtype=object),andas的数据结构介绍,与普通NumPy数组相比,可以通过索引的方式选取Series中的单个或一组值:,8,obj2a-5obj2d= 6obj2c,a,dc 3a -5d 6dtype: int64,andas的数据结构介绍,NumPy数组运算(如根据布尔型数组进行过滤、标量乘法、应用数学函数等)都会保留索引和值之间的链接:,9,obj2obj2obj2 0obj2*2np.exp(obj2)d 403.428793b 1096.633158a 0.006738c 20.085537dtype: float64,andas的数据结构介绍,还可以将Series看成

5、是一个定长的有序字典,因为它是索引值到数据值的一个映射。它 可以用在许多原本需要字典参数的函数中:,10,b in obj2Truee in obj2False,andas的数据结构介绍,11,如果数据被存放在一个Python字典中,也可以直接通过这个字典来创建Series:,sdata = Ohio: 35000, Texas: 71000, Oregon: 16000, Utah: 5000obj3 = Series(sdata)obj3Ohio 35000Oregon 16000Texas 71000Utah 5000dtype: int64,andas的数据结构介绍,如果只传入一个字典

6、,则结果Series中的索引就是原字典的键(有序排列)。 在例子中,sdata跟states索引相匹配的那3个值会被找出来并放到相应的位置上, 但由于“California”所对应的sdata值找不到,所以其结果就为NaN (即“非数字” (not a number).,12,states = California, Ohio, Oregon, Texasobj4 = Series(sdata, index=states)obj4 California NaNOhio 35000Oregon 16000Texas 71000dtype: float64,andas的数据结构介绍,在pandas

7、中使用 NaN表示缺失(missing) 或NA值。 pandas的isnull和notnull函数可用于检测缺失数据:,13,d.isnull(obj4) # Series也有类似的实例方法:California True #obj4.isnull()Ohio FalseOregon FalseTexas Falsedtype: bool pd.notnull(obj4)California FalseOhio TrueOregon TrueTexas Truedtype: bool,andas的数据结构介绍,对于许多应用而言,Series域重要的一个功能是:它在算术运算中会自动对齐不同索引

8、 的数据。,14, obj3 obj4obj3 + obj4California NaNOhio 70000Oregon 32000Texas 142000Utah NaNdtype: float64,andas的数据结构介绍,Series对象本身及其索引都有一个name属性,该属性跟pandas其他的关键功能关系非常密切:,15, obj4.name = populationobj4.index.name = stateobj4stateCalifornia NaNOhio 35000Oregon 16000Texas 71000Name: population, dtype: float6

9、4,andas的数据结构介绍,16,Series的索引可以通过赋值的方式就地修改:,obj0 41 72 -53 3obj.index = Bob, Steve, Jeff, RyanobjBob 4Steve 7Jeff -5Ryan 3dtype: int64,andas的数据结构介绍,17,DataFrame DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类 型(数值、字符串、布尔值等)。DataFrame既有行索引也有列索引,它可以被看做由Series组成的字典(共用同一个索引)。跟其他类似的数据结构相比(如R的data. frame),DataFra

10、me中面向行和面向列的操作基本上是平衡的。其实,DataFrame中的 数据是以一个或多个二维块存放的(而不是列表、字典或別的一维数据结构)。,andas的数据结构介绍,构建DataFrame的办法有很多,最常用的一种是直接传入一个由等长列表或NumPy数组 组成的字典: 结果DataFrame会自动加上索引(跟Series一样),且全部列会被有序悱列.,18,data=state:Ohio,Ohio,Ohio,Nevada,Nevada, year:2000, 2001, 2002, 2001, 2002, pop:1.5, 1.7, 3.6, 2.4, 2.9frame = DataFra

11、me(data)frame,andas的数据结构介绍,如果指定了列序列,则DataFrame的列就会按照指定顺序迸行排列: 跟Series一样,如果传入的列在数据中找不到,就会产生NA值:,19,DataFrame(data, columns=year, state, pop), frame2=DataFrame(data, columns=year, state, pop, debt, index=one, two, three, four, five) frame2 frame2.columnsIndex(uyear, ustate, upop, udebt, dtype=object),

12、andas的数据结构介绍,通过类似字典标记的方式或属性的方式,可以将DataFrame的列获取为一个Series:,20,frame2stateone Ohiotwo Ohiothree Ohiofour Nevadafive NevadaName: state, dtype: objectframe2.yearone 2000two 2001three 2002four 2001five 2002Name: year, dtype: int64,andas的数据结构介绍,注意,返冋的Series拥有原DataFrame相同的索引,且其name属性也已经被相应地设置 好了。行也可以通过位置或名

13、称的方式进行获取,比如用索引字段ix :,21, frame2.ixthreeyear 2002state Ohiopop 3.6debt NaNName: three, dtype: object,andas的数据结构介绍,列可以通过赋值的方式进行修改。例如,可以给那个空的“debt”列赋上一个标量值或一组值:,22,frame2debt = 16.5frame2frame2debt = np.arange(5)frame2,andas的数据结构介绍,23,将列表或数组赋值给某个列时,其长度必须跟DataFrame的长度相匹配。如果赋值的是一个Series,就会精确匹配DataFrame的索

14、引,所有的空位都将被填上缺失值:, val = Series(-1.2, -1.5, -1.7, index= two, four, five)frame2debt = valframe2,andas的数据结构介绍,为不存在的列赋值会创建出一个新列。关键字del用于删除列:,24, frame2eastern = frame2.state = Ohioframe2 del frame2easternframe2.columnsIndex(uyear, ustate, upop, udebt, dtype=object),andas的数据结构介绍,另一种常见的数据形式是嵌套字典(也就是字典的字典

15、): 如果将它传给DataFrame,它就会被解释为:外层字典的键作为列,内层键则作为行索引:,25, pop = Nevada: 2001: 2.4, 2002: 2.9, Ohio: 2000: 1.5, 2001: 1.7, 2002:3.6, frame3 = DataFrame(pop)frame3 frame3.T #也可以对该结果进行转置,andas的数据结构介绍,内层字典的键会被合并、排序以形成最终的索引。如果显式指定了索引,则不会这样: 由Series组成的字典差不多也是一样的用法:,26, DataFrame(pop, index=2001, 2002, 2003), fr

16、ame3 pdata = Ohio: frame3Ohio:-1, Nevada: frame3Nevada:2DataFrame(pdata),andas的数据结构介绍,27,如果设置了DataFrame的index和columns的name属性,则这些信息也会被显示出来: 跟Series一样,values属性也会以二维ndarray的形式返回DataFrame中的数据:, frame3.index.name = year; frame3.columns.name = stateframe3, frame3.index.name = year; frame3.columns.name = s

17、tateframe3.valuesarray( nan, 1.5, 2.4, 1.7, 2.9, 3.6),andas的数据结构介绍,28,如果DataFrame各列的数据类型不同,则值数组的数据类型就会选用能兼容所有列的数 据类型:, frame2 frame2.valuesarray(2000L, Ohio, 1.5, nan, 2001L, Ohio, 1.7, -1.2, 2002L, Ohio, 3.6, nan, 2001L, Nevada, 2.4, -1.5, 2002L, Nevada, 2.9, -1.7, dtype=object),andas的数据结构介绍,索引对象 p

18、andas的索引对象负责管理轴标签和其他元数据(比如轴名称等)。构建Series或 DataFrame时,所用到的任何数组或其他序列的标签都会被转换成一个Index:,29, obj = Series(range(3), index=a, b, c)index = obj.indexindexIndex(ua, ub, uc, dtype=object)index1:Index(ub, uc, dtype=object),andas的数据结构介绍,Index对象是不可修改的(immutable),因此用户不能对其进行修改: 不可修改性非常重要,因为这样才能使Index对象在多个数据结构之间安全

19、共享:,30, index1 = dTypeError: Indexes does not support mutable operations, index = pd.Index(np.arange(3)obj2 = Series(1.5, -2.5, 0, index=index)obj2.index is indexTrue,andas的数据结构介绍,除了长得像数组,Index的功能也类似一个固定大小的集合: 每个索引都有一些方法和属性,它们可用于设置逻辑并回答有关该索引所包含的数据的 常见问题。,31, frame3Ohio in frame3.columnsTrue2003 in f

20、rame3.indexFalse,andas的数据结构介绍,32,Index的方法和属性,基本功能,重新索引 pandas对象的一个重要方法是reindex,其作用是创建一个适应新索引的新对象。以之前 的一个简单示例来说:,33,obj = Series(4.5, 7.2, -5.3, 3.6, index=d, b, a, c) objd 4.5b 7.2a -5.3c 3.6dtype: float64,基本功能,34,调用该Series的reindex将会根据新索引进行重排。如果某个索引值当前不存在,就引入缺失值:,obj2 = obj.reindex(a, b, c, d, e)obj

21、2a -5.3b 7.2c 3.6d 4.5e NaNobj.reindex(a, b, c, d, e, fill_value=0)Out126: a -5.3b 7.2c 3.6d 4.5e 0.0,基本功能,对于时间序列这样的有序数据,重新索引时可能需要做一些插值处理。method选项即可 达到此目的,例如,使用ffill可以实现前向值填充:,35, obj3 = Series(blue, purple, yellow, index=0, 2, 4)obj3.reindex(range(6), method=ffill)0 blue1 blue2 purple3 purple4 yell

22、ow5 yellowdtype: object,基本功能,reindex的(插值)method选项 对于DataFrame,reindex可以修改(行)索引、列,或两个都修改。如果仅传入一个序列,则会重新索引行:,36,参数 说明ffill或pad 前向填充(或搬运)值bfill或backfill后向填充(或搬运)值, frame = DataFrame(np.arange(9).reshape(3, 3), index=a, c, d, columns= Ohio, Texas, California)frameframe2 = frame.reindex(a, b, c, d)frame2

23、,基本功能,37,使用columns关键字即可重新索引列: 也可以同时对行和列进行重新索引,而插值则只能按行应用(即轴0): 利用ix的标签索引功能,重新索引任务可以变得更简洁:, states=Texas, Utah, Californiaframe.reindex(columns=states), frame.reindex(index=a, b, c, d, method=ffill, columns=states), frame.ixa, b, c, d, states,基本功能,reindex函数的参数,38,参数 说明index 用作索引的新序列。既可以是index实例,也 可以是

24、其他序列型的Python数据结构。Index 会被完全使用,就像没有任何复制一样。method 插值(填充)方式。fill_value 在重新索引的过程中,需要引入缺失值时使用 的替代值 . limit 前向或后向填充时的最大填充量.level 在Multiindex的指定级别上匹配简单索引,否 则选取其子集copy 默认为True,无论如何都复制;如果为False, 则新旧相等就不复制,基本功能,丢弃指定轴上的项 丢弃某条轴上的一个或多个项很简单,只要有一个索引数组或列表即可。由于需要执行一些数据整理和集合逻辑,所以drop方法返回的是一个在指定轴上删除了指定值的新对象:,39,obj =

25、Series(np.arange(5,), index=a, b, c, d, e) new_obj = obj.drop(c)new_obja 0b 1d 3e 4obj.drop(d,c),基本功能,对于DataFrame,可以刪除任意轴上的索引值:,40, data = DataFrame(np.arange(16).reshape(4, 4), index=Ohio, Colorado, Utah, New York, columns=one, two, three, four)data.drop(Colorado, Ohio) data.drop(two, axis=1) data.

26、drop(two, four, axis=1),基本功能,41,索引、选取和过滤 Series索引(obj.)的工作方式类似于NumPy数组的索引,只不过Series的索引值不只是整数。, obj = Series(np.arange(4,), index=a, b, c, d)objb1obj11obj2:4c 2d 3dtype: int32,基本功能,42, objb, a, db 1a 0d 3dtype: int32obj1, 3b 1d 3dtype: int32objobj 2a 0b 1dtype: int32,基本功能,利用标签的切片运算与普通的Python切片运算不同,当使

27、用非整数作为切片索引时,其末端是包含的(inclusive) 设置的方式也很简单:,43, objb: cb 1c 2dtype: int32, objb :c = 5obja 0b 5c 5d 3,基本功能,对DataFrame进行索引其实就是获取一个或多个列: 这种索引方式有几个特殊的情况。首先通过切片或布尔型数组选取行:,44, datatwoOhio 1Colorado 5Utah 9New York 13datathree, one, data:2datadatathree 5,基本功能,45,另一种用法是通过布尔型DataFrame (比如下面这个由标量比较运算得出的)进行索引:

28、这段代码的目的是使DataFrame在语法上更像ndarray。, data datadata data,基本功能,为了在DataFrame的行上进行标签索引,引入了专门的索引字段ix。它可以通过 NumPy式的标记法以及轴标签从DataFrame中选取行和列的子集。这也是一种重新索引的简单手段:,46,data.ixColorado, two, threetwo 5three 6Name: Colorado, dtype: int32data.ixColorado, Utah,3, 0, 1,基本功能,47,data.ix2one 8two 9three 10four 11Name: Uta

29、h, dtype: int32 data.ix:Utah, twoOhio 0Colorado 5Utah 9Name: two, dtype: int32 data.ixdata.three 5, :3 data.ixColorado, two, threetwo 5three 6Name: Colorado, dtype: int32,基本功能,48,DataFrame的索引选项:,类型 说明objval 选取DataFrame的单个列或一组列。在一些特殊 情况下会比较便利:布尔型数组(过滤行)、切 片(行切片)、布尔型DataFrame (根据条件 设置值)。obj.ixval 选取Da

30、taFrame的单个行或一组行。obj.ix:, val 选取单个列或列子集。obj.ixval1, val2 同时选取行和列。reindex 方法 将一个或多个轴匹配到新索引。xs方法 根据标签选取单行或单列,并返回一个Series。icol、irow方法 根据整数位置选取单列或单行,并返回一个 Series。get.value, set_value方法 根据行标签和列标签选取单个值。,基本功能,49,算术运算和数据对齐 pandas最重要的一个功能是,它可以对不同索引的对象进行算术运算。在将对象相加时, 如果存在不同的索引对,则结果的索引就是该索引对的并集。,s1 = Series(7.3

31、, -2.5, 3.4, 1.5,index=a, c, d, e)s2 = Series(-2.1, 3.6, -1.5, 4, 3.1, index=a, c, e, f, g)s1 s2,基本功能,将它们相加就会产生: 自动的数据对齐操作在不重叠的索引处引入na值。缺失值会在算术运算过程中传播。,50,s1+s2Out201: a 5.2c 1.1d NaNe 0.0f NaNg NaNdtype: float64,基本功能,对于DataFrame,对齐操作会同时发生在行和列上:,51,df1 = DataFrame(np.arange(9,).reshape(3, 3), column

32、s=list(bcd), index=Ohio, Texas, Colorado)df2 = DataFrame(np.arange(12,).reshape(4, 3), columns=list(bde), index=Utah, Ohio, Texas, Oregon)df1df2 df1+ df2#把它们相加后将会返回一个新的DataFrame,其索引和列为原来那两个DataFrame的并集.,基本功能,52,在算术方法中填充值 在对不同索引的对象进行算术运算时,可能希望当一个对象中某个轴标签在另一个对象中找不到时填充一个特殊值(比如0):,df1 = DataFrame(np.ara

33、nge(12).reshape(3, 4), columns=list(abcd)df2 = DataFrame(np.arange(20.).reshape(4, 5), columns=list(abcde)df1df2 df1 + df2# 将它们相加时,没有重叠的位置就会产生NA值.,基本功能,使用df1的add方法,传入df2以及一个fill_value参数: 与此类似,在对Series或DataFrame重新索引时,也可以指定一个填充值:,53,df1.add(df2, fill_value=0), df1.reindex(columns=df2.columns, fill_val

34、ue=0),灵活的算术方法add 用于加法(+ )的方法 sub 用于减法(-)的方法 div 用于除法(/)的方法 mul 用于乘法(*)的方法,基本功能,DataFrame和Series之间的运算 跟NumPy数组一样,DataFrame和Series之间算术运算也是有明确规定的。先来看一个具有启发性的例子,计算一个二维数组与其某行之间的差:,54, arr = np.arange(12.).reshape(3, 4)arrarray( 0., 1., 2., 3., 4., 5., 6., 7., 8., 9., 10., 11.)arr0array( 0., 1., 2., 3.)ar

35、r - arr0array( 0., 0., 0., 0., 4., 4., 4., 4., 8., 8., 8., 8.),基本功能,这就叫做广播(broadcasting)。DataFrame和Series之间的运算差不多也是如此: 默认情况下,DataFrame和Series之间的算术运算会将Series的索引匹配到DataFrame的列,然后沿着行一直向下广播.,55, frame = DataFrame(np.arange(12.).reshape(4, 3), columns=list(bde), index=Utah, Ohio, Texas, Oregon) series =

36、frame.ix0 frame seriesframe - series,基本功能,如果某个索引值在DataFrame的列或Series的索引中找不到,则参与运算的两个对象就会被重新索引以形成并集: 如果希望匹配行且在列上广播,则必须使用算术运算方法。例如: 传入的轴号就是希望匹配的轴。在本例中目的是匹配DauFrame的行索引并进行广播。,56, series2 = Series(range(3), index=b, e, f)frame + series2, series3 = framed series3 frame.sub(series3, axis=0),基本功能,57,函数应用和映

37、射 NumPy的ufuncs (元素级数组方法)也可用于操作pandas对象:,frame = DataFrame(np.random.randn(4, 3), columns=list(bde), index=Utah, Ohio, Texas, Oregon)framenp.abs(frame),基本功能,另一个常见的操作是,将函数应用到由各列或行所形成的一维数组上。DataFrame的 apply方法即可实现此功能: 许多最为常见的数组统计功能都被实现成DataFrame的方法(如sum和mean),因此无需使用apply方法。,58,f = lambda x: x.max() - x.

38、min()frame.apply(f)frame.apply(f, axis=1),基本功能,59,除标量值外,传递给apply的函数还可以返回由多个值组成的Series:,def f(x): return Series(x.min(), x.max(), index=min, max)frameframe.apply(f),基本功能,60,此外,元素级的Python函数也是可以用的。假如想得到frame中各个浮点值的格式化字符串,使用applymap即可: 之所以叫做applymap,是因为Series有一个用于应用元素级函数的map方法:,format = lambda x: %.2f %

39、 xframe.applymap(format),framee.map(format),基本功能,排序和排名 根据条件对数据集排序(sorting)也是一种重要的内置运算。要对行或列索引进行排序 (按字典顺序),可使用sort_index方法,它将返回一个已排序的新对象:,61,obj = Series(range(4), index=d, a, b, c)obj.sort_index()a 1b 2c 3d 0dtype: int64,基本功能,62,而对于DataFrame,则可以根据任意一个轴上的索引进行排序: 数据默认是按升序排序的,但也可以降序排序:,frame = DataFram

40、e(np.arange(8).reshape(2, 4), index=three, one, columns=d,a,b,c)frame.sort_index()frame.sort_index(axis=1),frame.sort_index(axis=1, ascending=False),基本功能,若要按值对Series进行徘序,可使用其order方法:,63,obj = Series(4, 7, -3, 2)obj.order()2 -33 20 41 7obj = Series(4, np.nan, 1, np.nan, -3, 2)obj.order() #在排序时,缺失值默认都

41、会被放到Series的末尾.4 -32 15 20 41 NaNNaN,基本功能,在DataFrame上,可能希望根据一个或多个列中的值进行排序。将一个或多个列的名字传递给by选项即可达到该目的: 要根据多个列进行排序,传入名称的列表即可:,64,frame = DataFrame(b: 4,7,-3,2, a:0, 1, 0, 1)frame frame.sort_index(by=b),frame.sort_index(by=a, b),基本功能,65,排名(ranking)跟排序关系密切,且它会增设一个排名值(从1开始,一直到数组中有 效数据的数量)。它跟numpy.argsort产生的

42、间接排序索引差不多,只不过它可以根据某种规则破坏平级关系。Series和DataFrame的rank方法:默认情况下,rank是通过“为各组分配一个平均排名”的方式破坏平级关系的:, obj = Series(7,-5,7,4,2,0,4)obj0 71 -52 73 44 25 06 4, print obj.rank()0 6.51 1.02 6.53 4.54 3.05 2.06 4.5,基本功能,66, obj.rank(method=first) #根据值在原数据中出现的顺序给出排名:0 61 12 73 44 35 25 obj.rank(ascending=False, meth

43、od=max) # 按降序进行排名:0 21 72 23 44 55 66 4,基本功能,DataFrame可以在行或列上计算 排名:,67,排名时用于破坏平级关系的method选项Method 说明average 默认:在相等分组中,为各个值分配平均排名min 使用整个分组的最小排名max 使用整个分组的最大排名first 按值在原始数据中的出现顺序分配排名, frame=DataFrame(b: 4.3, 7, -3, 2, a: 0, 1, 0, 1, c:-2, 5, 8, -2.5)frame frame.rank(axis=1),基本功能,带有重复值的轴索引 带有重复索引值的Ser

44、ies: 索引的is_unique属性验证是否是唯一的:,68,obj = Series(range(5), index=a,a,b,b,c)obja 0a 1b 2b 3c 4,obj.index.is_uniqueFalse,基本功能,对于带有重复值的索引,数据选取的行为将会有些不同。如果某个索引对应多个值,则 返回一个Series;而对应单个值的,则返回一个标量值。 对DataFrame的行进行索引时也是如此:,69,objaa 0a 1objc 4, df = DataFrame(np.random.randn(4, 3), index=a,a,b,b)df df.ixb,汇总和计算描

45、述统计,andas对象拥有一组常用的数学和统计方法。它们大部分都属于约简和汇总统计,用于从Series中提取的个值(如sum或mean)或从DataFrame的行或列中提取一个Series。跟 对应的NumPy数组方法相比,它们都是基于没有缺失数据的假设而构建的。接下来看一 个简单的DataFrame:,70,df = DataFrame(1.4, np.nan, 7.1, -4.5, np.nan, np.nan, 0.75,-1.3, index=a,b,c,d, columns= one, two)df,汇总和计算描述统计,调用DataFrame的sum方法将会返回一个含有列小计的Ser

46、ies:,71, df.sum()one 9.25two -5.80dtype: float64#传入axis=1将会按行进行求和运算: df.sum(axis=1)a 1.40b 2.60c NaNd -0.55dtype: float64,汇总和计算描述统计,NA值会自动被排除,除非整个切片(这里指的是行或列)都是NA。通过skipna选项可 以禁用该功能:,72, df.mean(axis=1, skipna=False)a NaNb 1.300c NaNd -0.275dtype: float64,约简方法的选项 选项 说明axis 约简的轴。DataFrame的行用0,列用1skip

47、na 排除缺失值,默认值为Truelevel 如果轴是层次化索引的(即Multiindex),则根据level分 组约简,汇总和计算描述统计,有些方法(如idxmin和idxmax)返回的是间接统计(比如达到最小值或最大值的索引): 还有一种方法,它既不是约简型也不是累计型。describe就是一个例子,它用于一次性 产生多个汇总统计:,73, df.idxmax()one btwo d df.cumsum() # 累计型的计算, df.describe(),汇总和计算描述统计,对于非数值型数据,describe会产生另外一种汇总统计:,74,obj = Series(a,a,b,c * 4)

48、objobj.describe()count 16unique 3top afreq 8dtype: object,汇总和计算描述统计,描述和汇总统计:,75,方法 说明count 非NA值的数量describe 针对Series或各DataFrame列计算汇总 统计min,max 计算最小值和最大值argmin,argmax 计算能够获取到最小值和最大值的索引位 置(整数)idxmin,idxmax 计算能够获取到最小值和最大值的索引值quantile 计算样本的分位数(0到 1) sum 值的总和mean 值的平均数media 值的算术中位数(50%分位数)mad 根据平均值计算平均绝对离

49、差var 样本值的方差,汇总和计算描述统计,描述和汇总统计(续),76,方法 说明std 样本值的标准差skew 样本值的偏度(三阶矩)kurt 样本值的峰度(四阶矩)cumsum 样本值的累计和cummin,cummax 样本值的累计最大值和累计最小cumprod 样本值的累计积diff 计算一阶差分(对时间序列很有用) pct_change 计算百分数变化,汇总和计算描述统计,相关系数与协方差 有些汇总统计(如相关系数和协方差)是通过参数对计算出来的。下面几个 DataFrame数据来自Yahoo! Finance的股票价格和成交量:,77,import pandas.io.data as

50、 web all_data = for ticker in AAPL,IBM,MSFT,GOOG: all_dataticker = web.get_data_yahoo(ticker,1/1/2000,1/1/2010)price = DataFrame(tic: dataAdj Close for tic, data in all_data.iteritems() volume = DataFrame(tic: dataVolume for tic, data in all_data.iteritems(),汇总和计算描述统计,接下来计算价格的百分数变化: Series的corr方法用于计

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 生活休闲 > 在线阅读


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号