Foxtable(狐表)用户栏目专家坐堂 → 大TXT怎么查重


  共有2322人关注过本帖树形打印复制链接

主题:大TXT怎么查重

帅哥哟,离线,有人找我吗?
colink
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:208 积分:1872 威望:0 精华:0 注册:2015/6/22 11:24:00
大TXT怎么查重  发帖心情 Post By:2016/9/28 8:59:00 [只看该作者]

有个TXT文件,数据行数1000万左右,里面第二列有重复的,怎么样用代码快速找出来删掉,并把删掉的行记录下来。
我用两个循环读出来逐行比较,程序直接死掉,TXT内容如下。请大侠们帮忙,谢谢!
www.colkk.com/qo?=00000104046056504342,00000038348460690694,00000032207730073384,00000056102832732818
www.colkk.com/qo?=00000016152537962392,00000071343732838345,00000031202869148615,00000093438909019163
www.colkk.com/qo?=00000021437280373083,00000091941273535478,00000077771077331309,00000041103144690347
www.colkk.com/qo?=00000075567264841681,00000052214304080263,00000003088238807968,00000007841904284267
www.colkk.com/qo?=00000010659202048540,00000067311034859210,00000045877741520182,00000044580318971656
www.colkk.com/qo?=00000015743616702688,00000050627851855767,00000017497487642976,00000061800123092055
www.colkk.com/qo?=00000059416589874475,00000098308073066879,00000084648360640178,00000074847699146248
www.colkk.com/qo?=00000034362985397400,00000093266532698963,00000066729878847121,00000066447904780048
www.colkk.com/qo?=00000042043198079303,00000102547553355418,00000078863539317161,00000025487073460156
www.colkk.com/qo?=00000023195284909706,00000067311034859210,00000009275457958355,00000054892188460954
www.colkk.com/qo?=00000038080197843687,00000082659571424270,00000035618712109824,00000016305389658500
www.colkk.com/qo?=00000099697178946829,00000031384061725960,00000058046364173028,00000056436233335074
www.colkk.com/qo?=00000062656654081631,00000067348089845506,00000098450350262442,00000036590220138109
www.colkk.com/qo?=00000032503562437021,00000047281102669180,00000087374324096763,00000032292151661194

 回到顶部
帅哥哟,离线,有人找我吗?
李睿涵
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:三尾狐 帖子:780 积分:5756 威望:0 精华:0 注册:2012/10/21 7:57:00
  发帖心情 Post By:2016/9/28 9:24:00 [只看该作者]

狐表有个显示重复的菜单按钮  你试试


 回到顶部
帅哥,在线噢!
有点蓝
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:110528 积分:562524 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2016/9/28 9:34:00 [只看该作者]

1、导入狐表,处理重复数据,再导出。

2、用文件流来处理,分批读取,而不是一次性读取

方便把文件挂到网盘我测试一下

 回到顶部
帅哥哟,离线,有人找我吗?
colink
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:208 积分:1872 威望:0 精华:0 注册:2015/6/22 11:24:00
  发帖心情 Post By:2016/9/28 12:06:00 [只看该作者]

我没有云盘,用附件上传不了,有Q吗?


 回到顶部
帅哥,在线噢!
有点蓝
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:110528 积分:562524 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2016/9/28 12:08:00 [只看该作者]

联系客服:800014337

 回到顶部
帅哥哟,离线,有人找我吗?
colink
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:208 积分:1872 威望:0 精华:0 注册:2015/6/22 11:24:00
  发帖心情 Post By:2016/9/28 12:12:00 [只看该作者]

已发


 回到顶部
帅哥哟,离线,有人找我吗?
colink
  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:童狐 帖子:208 积分:1872 威望:0 精华:0 注册:2015/6/22 11:24:00
  发帖心情 Post By:2016/9/29 18:36:00 [只看该作者]

本人为菜鸟,折腾了一天,还是搞不定,不知哪位大侠可以帮忙写好,可以付费,联系qq:2850137528


 回到顶部