主题：有100万数据记录如何加载进来

100多万条记录中有重复数据，需要加载进狐表进行去掉重复操作，如何才能全部加载进来呢？谢谢！

为什么不直接在数据库那里处理重复？

 

https://blog.csdn.net/boiled_water123/article/details/81916513

 

https://www.cnblogs.com/kayvanguo/p/5851015.html

 

https://www.cnblogs.com/luodengxiong/p/4997471.html