24小时热门版块排行榜    

查看: 4008  |  回复: 10

astringent

铜虫 (著名写手)


[交流] 【求助】请问如何解决insufficient virtual memory

最近写了一个程序,里面用了一个大的三维数组p(8800,758,5000),但是在运行时出现了这个错误insufficient virtual memory。我在网上查,说这个错误是虚拟内存不够,但是没找到解决方法,请大家指点?
program get_projection
implicit none
integer i,j,k
integer,allocatable::p(:,:,
allocate(p(8800,758,5000))


p=0
do i=1,8800
   do j=1,758
       do k=1,5000
              if(i==j.and.j==k) then
                     p(i,j,k)=1
                         write(*,*)'test',p,i,j,k
           endif
        enddo
    enddo
enddo

end
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

» 抢金币啦!回帖就可以得到:

查看全部散金贴

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

sudo

木虫 (正式写手)


★ ★
cenwanglai(金币+2): 谢谢回复! 2011-03-23 23:26:44
astringent(金币+5): 2011-04-01 01:58:03
引用回帖:
Originally posted by astringent at 2011-03-22 05:37:27:
最近写了一个程序,里面用了一个大的三维数组p(8800,758,5000),但是在运行时出现了这个错误insufficient virtual memory。我在网上查,说这个错误是虚拟内存不够,但是没找到解决方法,请大家指点?
program ge ...

不会fortran,网上搜到:

WinNT/9x上运行的Visual Fortran动态内存分配受一些因素的限制,包括交换文件的大小和其它同时运行的应用程序所需的内存大小。如果动态分配的内存太大或试图使用其它应用程序的保护内存会产生一般内存保护错误。碰到这类问题可以通过控制面板来改变虚拟内存的大小或交换文件的大小,还有一些编程技术可以降低内存需要。

虚拟内存的调整:
右击“我的电脑”,属性->高级->“性能”设置->高级->这个时候就能看到虚拟内存更改了

[ Last edited by sudo on 2011-3-22 at 08:48 ]
2楼2011-03-22 08:42:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)


★ ★
cenwanglai(金币+2): 谢谢回复! 2011-03-23 23:27:03
astringent(金币+5): 2011-04-01 01:58:17
8800*758*5000*4/1024/1024/1024=124G

显然就算你有足够的虚拟内存,这个程序也会慢死的。
解决方法是不用这样的数组。修改你的算法,使每次计算的格点保持在你内存允许的范围内,然后,将结果写入文件,并重复这种读文件,计算,写入文件的过程。
3楼2011-03-22 09:25:56
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

astringent

铜虫 (著名写手)


引用回帖:
Originally posted by holmescn at 2011-03-22 09:25:56:
8800*758*5000*4/1024/1024/1024=124G

显然就算你有足够的虚拟内存,这个程序也会慢死的。
解决方法是不用这样的数组。修改你的算法,使每次计算的格点保持在你内存允许的范围内,然后,将结果写入文件,并重 ...

首先感谢您的解答。因为是新手,所以不是特别理解你说的,能不能给个可以实现你的说法的小程序的例子,先多谢了。
4楼2011-03-22 15:54:08
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)


主要看你要算啥。
5楼2011-03-22 18:40:52
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

astringent

铜虫 (著名写手)


引用回帖:
Originally posted by holmescn at 2011-03-22 18:40:52:
主要看你要算啥。

我的想法是:有两组数,第一组是a1,a2----a30000,第二组b1,b2---b800分别存在数组A,B中,一共5000步的循环。假如第一步时,数组A中的数与数组B中的数是否满足一定的条件condition,如果满足,就检查在之后循环中这种关系是否仍然存在,如果存在就用一个函数标记。其实我要实现的就是找出这个标记函数。我用了一个三维数组h标记,程序如下:
h=0
do istep=1,5000
    do i=1,30000
         do j=1,800
             if(a(i)*b(j)==1) then
               h(j,i,istep)=1
               endif
          enddo
     enddo
enddo
现在的问题是这个三维数组h太大,应该怎样写这个程序才能实现我的想法。
6楼2011-03-22 20:08:24
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

magic7004

金虫 (职业作家)


★ ★
cenwanglai(金币+2): 好办法,谢谢回复! 2011-03-23 23:27:37
把数据放在硬盘上,用一点读一点,不要全部加载到内存中。

参考windows内存映射文件
7楼2011-03-22 20:17:30
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

sudo

木虫 (正式写手)


★ ★ ★
cenwanglai(金币+3): 谢谢回复,sudo给力! 2011-03-23 23:28:11
astringent(金币+5): 2011-04-01 01:59:30
引用回帖:
Originally posted by astringent at 2011-03-22 20:08:24:
我的想法是:有两组数,第一组是a1,a2----a30000,第二组b1,b2---b800分别存在数组A,B中,一共5000步的循环。假如第一步时,数组A中的数与数组B中的数是否满足一定的条件condition,如果满足,就检查在之后循环 ...

不知道fortran有没有位运算......你那个标记仅仅是0和1的话,用一个整型数存储实在是太浪费了....

另外,你可以预先估计一下h是不是稀疏矩阵.....

呃,其实从你程序的片段中看不出来那个step起到了什么作用,也没看出你之后想如何处理h(h的信息有什么用?)

---------------------------------------------------------
以上都是技巧上的建议,但,在算法上改进一小步,你的程序就进步一大步,最终的解决之道还是得找好算法
8楼2011-03-22 21:14:10
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

holmescn

金虫 (正式写手)


★ ★
cenwanglai(金币+2): 谢谢holmescn专家 2011-03-23 23:28:38
astringent(金币+5): 2011-04-01 01:59:02
显然你想记录的就是 i j step 这三个数,而且还有一个条件限制,我想h 应该是一个稀疏矩阵,所以不如把 i j step 都写入文件,判断的时候再读入
CODE:
open(10, "h.txt")
lines = 0
do istep=1,5000
    do i=1,30000
         do j=1,800
             if(a(i)*b(j)==1) then
               write(10,'(3A7)'), i, j, istep
                lines = lines + 1
               endif
          enddo
     enddo
enddo
close(10)
open(20, 'h.txt')
do k = 1, lines
     read(20, '(3A7)'), i,j,istep
     ! do something
enddo
close(20)

9楼2011-03-23 08:34:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

astringent

铜虫 (著名写手)


引用回帖:
Originally posted by holmescn at 2011-03-23 08:34:17:
显然你想记录的就是 i j step 这三个数,而且还有一个条件限制,我想h 应该是一个稀疏矩阵,所以不如把 i j step 都写入文件,判断的时候再读入

[code]
open(10, "h.txt"
lines = 0
do istep=1, ...

我已经把i,j,istep都输出到文件了,但是我需要计算相关函数,也就是说如果第一步出现120,,30,istep(分别对应i,j,istep),看看在istep=2,3,4-----3000时是否依然存在,所以我就将这种存在关系写在了三位矩阵h(i,j,istep)中,因为在后面的程序中,我使用了h作为判断条件,下面的程序就是我想要做的,应该如何该,才能避免使用这个大的三位数组h??
h=0
open (10,file='test.out')
do i=1,99999999
     read(10,*,end=2,err=2) istep,ia,ib
     h(istep,ia,ib)=1
enddo
2 continue
close(10)
do ia=1,30000
    do ib=1,800
         do istep=1,5000
              h(istep)=h(istep,ia,ib)
          enddo
         do ntel=1,nsteps
              if(h(ntel)/=0) then
                进行后面的程序
                -----------------
               endif
         enddo
         enddo
enddo
11楼2011-03-23 16:05:53
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
简单回复
tjtj44010楼
2011-03-23 10:07   回复  
相关版块跳转 我要订阅楼主 astringent 的主题更新
普通表情 高级回复 (可上传附件)
信息提示
请填处理意见