| 以文本方式查看主题 - Foxtable(狐表) (http://foxtable.net/bbs/index.asp) -- 专家坐堂 (http://foxtable.net/bbs/list.asp?boardid=2) ---- 大数据如何保存？？？ (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=43773) |
| -- 作者：bhh -- 发布时间：2013/12/14 21:40:00 -- 大数据如何保存？？？ 我每天需要导入的数据量大约20万条左右，在导入狐表的速度还可以接受大概6分钟左右，但是“保存”的时候非常慢，20分钟了 还没有保存完。我用的是外部数据库sql server 数据库，哪位高手有好办法，提高保存速度，谢谢！！ |
| -- 作者：y2287958 -- 发布时间：2013/12/14 21:52:00 -- 直接用sql语句会快很多 |
| -- 作者：有点甜 -- 发布时间：2013/12/14 22:26:00 -- 不建议导入foxtable，建议直接用foxtable关联你的sql数据库。然后在foxtable里，加载部分数据就行了。 |
| -- 作者：horseroom -- 发布时间：2013/12/14 22:36:00 -- 我觉得两个办法，但是逻辑是一样的，就是把数据直接写到SQL server数据库，比如用fill，或者SQL的append（我记得SQL有这个命令），不要用系统提供的那个导入、保存方案，我感觉那个效率不高。而且你最好一段一段写，万一错了，而且也能知道错在哪个地方，可以显示进度，容易维护。 |
| -- 作者：bhh -- 发布时间：2013/12/14 22:50:00 -- sql 直接导入的语句怎么先？ 谢谢 |
| -- 作者：有点甜 -- 发布时间：2013/12/14 22:58:00 -- sql直接导入，就是动态加载，fill，楼主先把帮助的 网络数据源 一章看完。 |
| -- 作者：jspta -- 发布时间：2013/12/14 22:59:00 -- 狐爸应该提供一种无条件更新，现在是判断更新，在低数据量时效率非常好，但是面对大数据量，就有很慢了，甚至卡死。 楼主的数据有点多，应该考虑下导入数据库前去重复，如果只有少量重复，那么建议分批导入。
|
| -- 作者：horseroom -- 发布时间：2013/12/14 23:06:00 -- 语法：INSERT INTO <表名> [（<字段名1> [,<字段名2>, ...])] 子查询 很多年没搞这个东西了，我就查到这个命令，我记得有APPEND命令，但是没查到。我用foxtable测试下再回复你。
|
| -- 作者：horseroom -- 发布时间：2013/12/15 0:01:00 -- 不行，好像真的没有这种命令，经验害死人。甚至insert into 命令都不行。 你只能使用fill的办法，快慢就不清楚了，没试过，我没那么大数据。 |
| -- 作者：bhh -- 发布时间：2013/12/15 15:56:00 -- 大数据的处理 狐表需要好好考虑一下！！！ 问题还不知道怎么解决，哎！！！！！ 求高手。。 |