最好不用管他,这可能是.net自身的机制:
http://www.cnblogs.com/amylis_chen/p/3913435.html
http://www.cnblogs.com/kex1n/archive/2011/01/26/2286427.html
如果在意,可以做个计划,每两个小时执行一次:
System.Diagnostics.Process.GetCurrentProcess().MinWorkingSet = new System.IntPtr(5)