以文本方式查看主题 - Foxtable(狐表) (http://foxtable.net/bbs/index.asp) -- 专家坐堂 (http://foxtable.net/bbs/list.asp?boardid=2) ---- 超过百万行数据,去除重复行,有什么好办法吗? (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=28095) |
-- 作者:localhost -- 发布时间:2013/1/18 15:29:00 -- 超过百万行数据,去除重复行,有什么好办法吗? 我的表格里现有记录一百多万行,(注:是一百万哦!),现想将重复的行去除,请位有没有什么有效的方法?我用狐表尝试去除重复,数据太大了处理不了。 |
-- 作者:jspta -- 发布时间:2013/1/18 16:02:00 -- 直接用VBA 在EXCEL 处理,有很多VBA插件的,可以去找找。你也可以上传例子 |
-- 作者:lin_hailun -- 发布时间:2013/1/18 16:15:00 -- 删除重复的语句。不知道大数据效率如何。楼主测试一下。 delete from {xxx} where [_Identify] not in (SELECT MAX([_Identify]) AS id FROM {xxx} GROUP BY 重复的列) |
-- 作者:小猪鑫鑫 -- 发布时间:2013/1/18 21:13:00 -- LIN SIR:又跟你学习了一招 |