以文本方式查看主题

-  Foxtable(狐表)  (http://foxtable.net/bbs/index.asp)
--  专家坐堂  (http://foxtable.net/bbs/list.asp?boardid=2)
----  超过百万行数据,去除重复行,有什么好办法吗?  (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=28095)

--  作者:localhost
--  发布时间:2013/1/18 15:29:00
--  超过百万行数据,去除重复行,有什么好办法吗?
我的表格里现有记录一百多万行,(注:是一百万哦!),现想将重复的行去除,请位有没有什么有效的方法?我用狐表尝试去除重复,数据太大了处理不了。
--  作者:jspta
--  发布时间:2013/1/18 16:02:00
--  

直接用VBA 在EXCEL 处理,有很多VBA插件的,可以去找找。你也可以上传例子


--  作者:lin_hailun
--  发布时间:2013/1/18 16:15:00
--  
 删除重复的语句。不知道大数据效率如何。楼主测试一下。

delete from {xxx} where [_Identify] not in (SELECT MAX([_Identify]) AS id FROM {xxx} GROUP BY 重复的列)

--  作者:小猪鑫鑫
--  发布时间:2013/1/18 21:13:00
--  
LIN SIR:又跟你学习了一招