Valgrind 发现 Linux 程序的内存问题.docx

《Valgrind 发现 Linux 程序的内存问题.docx》由会员分享，可在线阅读，更多相关《Valgrind 发现 Linux 程序的内存问题.docx（14页珍藏版）》请在三一办公上搜索。

1、应用Valgrind发现Linux程序的内存问题Valgrind 概述体系结构Valgrind是一套Linux下，开放源代码(GPL V2)的仿真调试工具的集合。Valgrind由内 核(core)以及基于内核的其他调试工具组成。内核类似于一个框架(framework)，它模 拟了 一个CPU环境，并提供服务给其他工具；而其他工具则类似于插件(plug-in)，利用 内核提供的服务完成各种特定的内存调试任务。Valgrind的体系结构如下图所示：图1 Valgrind体系结构Valgrind包括如下一些工具：1. Memcheck。这是valgrind应用最广泛的工具，一个重量级的内存检查器，

2、能够发现 开发中绝大多数内存错误使用情况，比如：使用未初始化的内存，使用已经释放了 的内存，内存访问越界等。这也是本文将重点介绍的部分。2. Callgrind。它主要用来检查程序中函数调用过程中出现的问题。3. Cachegrind。它主要用来检查程序中缓存使用出现的问题。4. Helgrind。它主要用来检查多线程程序中出现的竞争问题。5. Massif。它主要用来检查程序中堆栈使用中出现的问题。6. Extension。可以利用core提供的功能，自己编写特定的内存调试工具。Linux程序内存空间布局要发现Linux下的内存问题，首先一定要知道在Linux下，内存是如何被分配的？下图展示

3、 了一个典型的Linux C程序内存空间布局：一个典型的Linux C程序内存空间由如下几部分组成：代码段（.text）。这里存放的是CPU要执行的指令。代码段是可共享的，相同的代 码在内存中只会有一个拷贝，同时这个段是只读的，防止程序由于错误而修改自身 的指令。初始化数据段（.data）。这里存放的是程序中需要明确赋初始值的变量，例如位于 所有函数之外的全局变量：intval=100。需要强调的是，以上两段都是位于程序的 可执行文件中，内核在调用exec函数启动该程序时从源程序文件中读入。未初始化数据段（.bss）。位于这一段中的数据，内核在执行该程序前，将其初始 化为0或者null。例如出

4、现在任何函数之外的全局变量：int sum; 堆（Heap）。这个段用于在程序中进行动态内存申请，例如经常用到的malloc，new 系列函数就是从这个段中申请内存。栈（Stack）。函数中的局部变量以及在函数调用过程中产生的临时变量都保存在此 段中。内存检查原理Memcheck检测内存问题的原理如下图所示:图3内存检查原理Memcheck能够检测出内存问题，关键在于其建立了两个全局表。1. Valid-Value 表：对于进程的整个地址空间中的每一个字节(byte)，都有与之对应的8个bits；对于CPU的 每个寄存器，也有一个与之对应的bit向量。这些bits负责记录该字节或者寄存器值是

5、否具有有效的、已初始化的值。1. Valid-Address 表对于进程整个地址空间中的每一个字节(byte)，还有与之对应的1个bit，负责记录该地 址是否能够被读写。检测原理：当要读写内存中某个字节时，首先检查这个字节对应的A bit。如果该A bit显示 该位置是无效位置，memcheck则报告读写错误。内核(core)类似于一个虚拟的CPU环境，这样当内存中的某个字节被加载到真实 的CPU中时，该字节对应的Vbit也被加载到虚拟的CPU环境中。一旦寄存器中 的值，被用来产生内存地址，或者该值能够影响程序输出，则memcheck会检查对 应的V bits，如果该值尚未初始化，则会报告使用

6、未初始化内存错误。回页首Valgrind 使用第一步：准备好程序 为了使valgrind发现的错误更精确，如能够定位到源代码行，建议在编译时加上-g参数， 编译优化选项请选择00,虽然这会降低程序的执行效率。这里用到的示例程序文件名为：sample.c(如下所示)，选用的编译器为gcc。生成可执行程序 gcc - g - 00 sample.c - o sample清单11 #include 3 void fun)I耳日(Eint *p=(int malloc(10*sizeof(int)a5 p10=0A7 )9 int maintint argc, char* 日isgv】 10H Llf

7、un () aLZ.return 0;13 第二步：在valgrind下，运行可执行程序。利用valgrind调试内存问题，不需要重新编译源程序，它的输入就是二进制的可执行程序。调用 Valgrind 的通用格式是：valgrind valgrind-options your-prog your-prog-optionsValgrind的参数分为两类，一类是core的参数，它对所有的工具都适用；另外一类就是具体某个工具如memcheck的参数。Valgrind默认的工具就是memcheck，也可以通过“-tool=tool name”指定其他的工具。Valgrind提供了大量的参数满足你特定的

8、调试需 求，具体可参考其用户手册。这个例子将使用memcheck，于是可以输入命令入下：valgrind /sample.第三步：分析valgrind的输出信息。以下是运行上述命令后的输出。清单2Gdlyangj:/home/uorkspace/intro # valgrind +/sawple =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =32372 =323

9、72 =32372 =32372 =32372 =32372 =32372 =32372 =32372aetecWr*and GNU GPLd, by Juliarr Seward et al+ library for dynamic： binary trarislation + and GNU GFLcb by OpenWorks LLP+Hembheck. a memory errorCopyright ,:(C) 2002-2007,Using LibVEX 已5 1日54, aCopyright VO 2004-2007,Using valgrind-3+3tl, a dynamic

10、binary instrumentation FrameworK+Copyright /C) 2000-2007 and GNU GPLP. by Julian Seward et al + For more details, . rerun with： -uInvalid write oF Size 4at GxS04S3CF: Fun fsampletc：6：.,by xS04S3EC： main (sample,c：llAddress 0x416f050 is 0 bytes after a block of size 40 allocd at 0x4023SSSr malloc (g_

11、replace_mal1oc + ci207) by GxB04S3C5:- fun ksample,c：5：y by 0xS04S3EC： main (sampletcrllERROR SUMMARY: 1 errors From 1 contexts (suppressed： 3 from 1) malloc/free： in use at malloc/free： 1 allocs For counts-of detected searching for pointers checked 56.78Q bytes +exit： 40 bytes in 1 blockst 0 frees,

12、 40 bytes allocated errors r-erun with： 一. to 1 not-freed blockstLEAK SUMMARY:definitely lost； possibly lost： still Reachable： suppressed；bytes in 1 blocks+0bytesin0blocks*0bytesin0blocks*0bytesin0blocks*Rmrun with 一一ImakTphmuk二Full tn mm巳ofmmmci* +40 左边显示类似行号的数字(32372)表示的是Process ID。最上面的红色方框表示的是val

13、grind的版本信息。中间的红色方框表示valgrind通过运行被测试程序，发现的内存问题。通过阅读 这些信息，可以发现：1. 这是一个对内存的非法写操作，非法写操作的内存是4 bytes。2. 发生错误时的函数堆栈，以及具体的源代码行号。3. 非法写操作的具体地址空间。最下面的红色方框是对发现的内存问题和内存泄露问题的总结。内存泄露的大小(40 bytes)也能够被检测出来。示例程序显然有两个问题，一是fun函数中动态申请的堆内存没有释放；二是对堆内存的访 问越界。这两个问题均被valgrind发现。回页首利用Memcheck发现常见的内存问题在Linux平台开发应用程序时，最常遇见的问题就

14、是错误的使用内存，我们总结了常见了内 存错误使用情况，并说明了如何用valgrind将其检测出来。使用未初始化的内存问题分析：对于位于程序中不同段的变量，其初始值是不同的，全局变量和静态变量初始值为0,而局 部变量和动态申请的变量，其初始值为随机值。如果程序使用了为随机值的变量，那么程序 的行为就变得不可预期。下面的程序就是一种常见的，使用了未初始化的变量的情况。数组a是局部变量，其初始值 为随机值，而在初始化时并没有给其所有数组成员初始化，如此在接下来使用这个数组时就 潜在有内存问题。清单31#include 3 int main ( void )4日5 int.a5;6 int.i, 37

15、 a0 = al = a3 = a4 = 0Ss =0;sfor (i = ; i malloc/free 0 allocs, 0 frees 0 bytes allocated+ For -county of detected error： rerun with： j.All heap blocks were freed 一一 no leaks are possible+输出结果显示，在该程序第11行中，程序的跳转依赖于一个未初始化的变量。准确的发现 了上述程序中存在的问题。内存读写越界问题分析：这种情况是指：访问了你不应该/没有权限访问的内存地址空间，比如访问数组时越界；对 动态内存访问时

16、超出了申请的内存大小范围。下面的程序就是一个典型的数组越界问题。 pt是一个局部数组变量，其大小为4, p初始指向pt数组的起始地址，但在对p循环叠加 后，p超出了 pt数组的范围，如果此时再对p进行写操作，那么后果将不可预期。清单51#include z #include 4 int. main ( int argc f char *argv) 汩6 int. len=4;7 int* pt= (int*) malloc(len*sizeof(int.);aint.* p=pt;10 for(int 1=0;ilen;i+)11 -IEp+;13：1415 古16 pr intf (rrth

17、evalue of p equal, *p)17 return 0;13：结果分析：假设这个文件名为badacc.cpp，生成的可执行程序为badacc，用memcheck对其进行测试， 输出如下。清单6=5064= Invalid write of size 4=5064= at 0s(S04S50F; main (badacc+cpp： 15)=5064= Address Qx42S603S is 0 bytes after a block of size 1&=5064= at Ox4O23S0S: malloc? =50E4= by 0xB04S4E9： main (badacc+ic

18、pp：7)=5064=5064= Invalid read of size 4=5064= at 0xS04851S： main (badacc+cpp：l)=5064= Address 6x4206030 is 0 bytes after a block：of size 1G=5064= at 0x4023008： malloc (vg_replace_mal1ocfc；207=5064= by 0xS0484E9： main (badacc + cpp ：7；)：the value of p equal：5=50b4=alloc dallocd50645064506450645064506

19、4ERRUR SUMMARY : 2 erroi(;$： from 2 contexts : (Suppressed: 3malloc/free： in ue at malloc/free： 1 allocsy For counts of detected Searching-F-pointers checked 110.-02S bytes；*ex.t ： 16 bytes- in 1 blocks t 0 Frees, 16 bytes, allocated+ errors, rerun with： 一u.to 1 not-Freed blocks tFrom 1输出结果显示，在该程序的第

20、15行，进行了非法的写操作；在第16行，进行了非法读操作。 准确地发现了上述问题。内存覆盖问题分析：C语言的强大和可怕之处在于其可以直接操作内存，C标准库中提供了大量这样的函数，比 如strcpy, strncpy, memcpy, strcat等，这些函数有一个共同的特点就是需要设置源地 址(src)，和目标地址(dst)，src和dst指向的地址不能发生重叠，否则结果将不可预期。下面就是一个src和dst发生重叠的例子。在15与17行中，src和dst所指向的地 址相差20，但指定的拷贝长度却是21，这样就会把之前的拷贝值覆盖。第24行程序类似， src(x+20)与dst(x)所指向的地

21、址相差20，但dst的长度却为21，这样也会发生内存 覆盖。清单71#include z； #include 3#include 4E intmain(int argd, char *argv)6日(7char x508int i;9for ( i=0;i50;i+)10 011x. i =i+l121314strncpyx+20,跖 20):/ ok1Estrncpyx+20, 跖 21)/ over lap16strncpyx+20, 20):/ ok17strncpyx+20, 21)/ over lap1819x39=11 *20strcpy x., m+20) /ok2122x 39

22、=奕：23x40=11 *24strcpy x., m+20) /overlap2S26return :舞 4结果分析：假设这个文件名为badlap.cpp，生成的可执行程序为badlap，用memcheck对其进行测试， 输出如下。清单8-=26612= Source md destinaticn overlap in stmcpy0xBEBCC237 0xBEBCC223 21)-26612=- *t 口xW5B4： stmcpy =26612=2fi12= Source and destinatiOH ouerls in stnepy=36615= at Qk4025C44 : stmc

23、py =266124?=26612= Source axJ destination overlap in slrcpyOxEEBCC20E. 0xEEECC222)=26612= QxJ025B2E: strcpy fic_replace_strm* .c i2)63)=26612= by Ox04S4B: main (badlapc：24)输出结果显示上述程序中第15, 17, 24行，源地址和目标地址设置出现重叠。准确的发现 了上述问题。动态内存管理错误问题分析：常见的内存分配方式分三种：静态存储，栈上分配，堆上分配。全局变量属于静态存储，它 们是在编译时就被分配了存储空间，函数内的局部变

24、量属于栈上分配，而最灵活的内存使 用方式当属堆上分配，也叫做内存动态分配了。常用的内存动态分配函数包括：malloc, alloc, realloc, new等，动态释放函数包括 free, delete。一旦成功申请了动态内存，我们就需要自己对其进行内存管理，而这又是最容易犯错误的。 下面的一段程序，就包括了内存动态管理中常见的错误。清单91#include -,4 int main(int argc, char *argv E0 6 inti;uhar * p = (char*) inalloc (10 ;suhar* pt=p;iofor(i=0a i W 10a i+)1102 p i

25、 = 1 z 1 ;13 14 delete p;1516 pt 1 = 1 x 1 ;17 free (pty;13return ais 常见的内存动态管理错误包括:申请和释放不一致由于C+兼容C,而C与C+的内存申请和释放函数是不同的，因此在C+程序中，就 有两套动态内存管理函数。一条不变的规则就是采用C方式申请的内存就用C方式释放； 用C+方式申请的内存，用C+方式释放。也就是用malloc/alloc/realloc方式申请的 内存，用free释放；用new方式申请的内存用delete释放。在上述程序中，用malloc 方式申请了内存却用delete来释放，虽然这在很多情况下不会有问题

26、，但这绝对是潜在的 问题。o申请和释放不匹配申请了多少内存，在使用完成后就要释放多少。如果没有释放，或者少释放了就是内存泄露; 多释放了也会产生问题。上述程序中，指针p和pt指向的是同一块内存，却被先后释放两 次。o释放后仍然读写本质上说，系统会在堆上维护一个动态内存链表，如果被释放，就意味着该块内存可以继续 被分配给其他部分，如果内存被释放后再访问，就可能覆盖其他部分的信息，这是一种严重 的错误，上述程序第16行中就在释放后仍然写这块内存。结果分析：假设这个文件名为badmac.cpp，生成的可执行程序为badmac，用memcheck对其进行测试， 输出如下。清单10Mismatched

27、free) / delete / delete 1at 0x40230BC ； operator del ete (v oi d*). (v g_repl ace_m al 1 oc + c ： 342)by 0xB04S530: main (badmac*cpp：14Address 0x42S602S is O bytesinside a block of size 10 allocdat Qx40235SS； malloc vg_replace_malloc + c：207)by 0x80485007 main Invalid write of ize 1at CSB04S537： mai

28、n badmactcpp：16)Address 0x4286029 i某 1 bytes.inside a bloc of ize 10 freedat 0x40230BC: operator delete(void*)-g_replace_malloc+ c；342)by 0x8048530: main / delete / deletedat .fx402342C： Free (g_repl ace_m al 1 dc c : 323)by QxS04S544； main (badmaccpp：17?Address 0x42S602S is 0 bytes inside a block o

29、F size 10 Freedat 0x40230BC i operator del ete (,v oi d*). (.v g_repl ace_m al 1 oc + c ： 342)by 0xB04S530: main badmactcpp：14)输出结果显示，第14行分配和释放函数不一致；第16行发生非法写操作，也就是往释放后 的内存地址写值；第17行释放内存函数无效。准确地发现了上述三个问题。内存泄露问题描述: 内存泄露(Memory leak)指的是，在程序中动态申请的内存，在使用完后既没有释放，又 无法被程序的其他部分访问。内存泄露是在开发大型程序中最令人头疼的问题，以至于有人

30、说，内存泄露是无法避免的。其实不然，防止内存泄露要从良好的编程习惯做起，另外重要 的一点就是要加强单元测试(Unit Test)，而memcheck就是这样一款优秀的工具。下面是一个比较典型的内存泄露案例。main函数调用了 mk函数生成树结点，可是在调用完 成之后，却没有相应的函数：nodefr释放内存，这样内存中的这个树结构就无法被其他部 分访问，造成了内存泄露。在一个单独的函数中，每个人的内存泄露意识都是比较强的。但很多情况下，我们都会对 malloc/free或new/delete做一些包装，以符合我们特定的需要，无法做到在一个函数中 既使用又释放。这个例子也说明了内存泄露最容易发生的

31、地方：即两个部分的接口部分， 一个函数申请内存，一个函数释放内存。并且这些函数由不同的人开发、使用，这样造成内 存泄露的可能性就比较大了。这需要养成良好的单元测试习惯，将内存泄露消灭在初始阶 段。清单11#ifndefineBADLEAK_BADLEAK4 日 typedefstruct struct struct uhar , vnode node *1node10111Z1Gendif1 node;node ( node *L. node char val)； void nodefr (node 宙 n)清单11.21#include -z #include rrtree . hrrW4

32、node ( node *1, node , char val)5日:enode = (node inalloc (sizeof(*f)7 f -l = 1;8f-r = r;9f-v-val;10return f;11)1Z13void nodefr(node * n)14 015if (n)16 017nodefr;18nodefr(n-r);19free (n);Z0Z1)清单11.3L#include2 #include3 #includerrtree . h,r5 int main( FT(7node * treel,*treeS,*tree3;9treel=nik(itik(nik

33、(O,O, 1 3 1 ) , 0, 1 2 1 ) , 11 )1011tree2nik(0,itik(0,nik(0,0,，、吁门玲1)1Z13tree3=ink (ink (treel, treeZ, 1 8 1 ) f Qr 1 7 1 );1415 return 0;16 结果分析：假设上述文件名位tree.h, tree.cpp, badleak.cpp,生成的可执行程序为badleak,用 memcheck对其进行测试，输出如下。清单12 bytes iri 1 blocks are definitely lost in loss record 2 of at 0x4023886

34、 i nailoc (v g_repl acer回页首 总结本文介绍了 valgrind的体系结构，并重点介绍了其应用最广泛的工具：memcheck。阐述了 memcheck发现内存问题的基本原理，基本使用方法，以及利用memcheck如何发现目前开 发中最广泛的五大类内存问题。在项目中尽早的发现内存问题，能够极大地提高开发效率， valgrind就是能够帮助你实现这一目标的出色工具。参考资料 Valgrind 官方网站：http:/www.valgrind.org/内存调试技巧： l 如何在linux下检测内存泄漏：关于作者al loc. c: 207)I by 0xBO4850F: nkG

35、node*, -nod巴七 char LEAK SLMHY;definitely lost： 12 bytes in 1 bilocks,indireELly last： 酗 bytes in 7 blaeks.possibly Last： 0 bytes in 0 blocks+still reachable： 0 bytes in C blocks+suspressed： 0 butas in 0 bleeks.该示例程序是生成一棵树的过程，每个树节点的大小为12 (考虑内存对齐)，共8个节点。 从上述输出可以看出，所有的内存泄露都被发现。Memcheck将内存泄露分为两种，一种是 可能的

36、内存泄露(Possibly lost)，另外一种是确定的内存泄露(Definitely lost)oPossibly lost是指仍然存在某个指针能够访问某块内存，但该指针指向的已经不是该内存首地址。Definitely lost是指已经不能够访问这块内存。而Definitely lost又分为两种：直接的 (direct)和间接的(indirect)。直接和间接的区别就是，直接是没有任何指针指向该内 存，间接是指指向该内存的指针都位于内存泄露处。在上述的例子中，根节点是directly lost，而其他节点是 indirectly lost。杨经，他的技术兴趣包括自动化测试与linux系统管理。目前是IBM中国系统与技术实验室 (CSTL)的软件工程师，从事中小型企业(SME)服务器的测试工作，可以通过 cdlyangj 与他联系。