以文本方式查看主题

-  Foxtable(狐表)  (http://foxtable.net/bbs/index.asp)
--  专家坐堂  (http://foxtable.net/bbs/list.asp?boardid=2)
----  大TXT怎么查重  (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=91036)

--  作者:colink
--  发布时间:2016/9/28 8:59:00
--  大TXT怎么查重
有个TXT文件,数据行数1000万左右,里面第二列有重复的,怎么样用代码快速找出来删掉,并把删掉的行记录下来。
我用两个循环读出来逐行比较,程序直接死掉,TXT内容如下。请大侠们帮忙,谢谢!
www.colkk.com/qo?=00000104046056504342,00000038348460690694,00000032207730073384,00000056102832732818
www.colkk.com/qo?=00000016152537962392,00000071343732838345,00000031202869148615,00000093438909019163
www.colkk.com/qo?=00000021437280373083,00000091941273535478,00000077771077331309,00000041103144690347
www.colkk.com/qo?=00000075567264841681,00000052214304080263,00000003088238807968,00000007841904284267
www.colkk.com/qo?=00000010659202048540,00000067311034859210,00000045877741520182,00000044580318971656
www.colkk.com/qo?=00000015743616702688,00000050627851855767,00000017497487642976,00000061800123092055
www.colkk.com/qo?=00000059416589874475,00000098308073066879,00000084648360640178,00000074847699146248
www.colkk.com/qo?=00000034362985397400,00000093266532698963,00000066729878847121,00000066447904780048
www.colkk.com/qo?=00000042043198079303,00000102547553355418,00000078863539317161,00000025487073460156
www.colkk.com/qo?=00000023195284909706,00000067311034859210,00000009275457958355,00000054892188460954
www.colkk.com/qo?=00000038080197843687,00000082659571424270,00000035618712109824,00000016305389658500
www.colkk.com/qo?=00000099697178946829,00000031384061725960,00000058046364173028,00000056436233335074
www.colkk.com/qo?=00000062656654081631,00000067348089845506,00000098450350262442,00000036590220138109
www.colkk.com/qo?=00000032503562437021,00000047281102669180,00000087374324096763,00000032292151661194

--  作者:李睿涵
--  发布时间:2016/9/28 9:24:00
--  

狐表有个显示重复的菜单按钮  你试试


--  作者:有点蓝
--  发布时间:2016/9/28 9:34:00
--  
1、导入狐表,处理重复数据,再导出。

2、用文件流来处理,分批读取,而不是一次性读取

方便把文件挂到网盘我测试一下

--  作者:colink
--  发布时间:2016/9/28 12:06:00
--  
我没有云盘,用附件上传不了,有Q吗?


--  作者:有点蓝
--  发布时间:2016/9/28 12:08:00
--  
联系客服:800014337
--  作者:colink
--  发布时间:2016/9/28 12:12:00
--  
已发


--  作者:colink
--  发布时间:2016/9/29 18:36:00
--  
本人为菜鸟,折腾了一天,还是搞不定,不知哪位大侠可以帮忙写好,可以付费,联系qq:2850137528