以文本方式查看主题

-  Foxtable(狐表)  (http://foxtable.net/bbs/index.asp)
--  专家坐堂  (http://foxtable.net/bbs/list.asp?boardid=2)
----  大数据如何保存???  (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=43773)

--  作者:bhh
--  发布时间:2013/12/14 21:40:00
--  大数据如何保存???
我每天需要导入的数据量大约20万条左右,在导入狐表的速度还可以接受大概6分钟左右,但是“保存”的时候非常慢,20分钟了 还没有保存完。我用的是外部数据库sql server 数据库,哪位高手有好办法,提高保存速度,谢谢!!
--  作者:y2287958
--  发布时间:2013/12/14 21:52:00
--  
直接用sql语句会快很多


--  作者:有点甜
--  发布时间:2013/12/14 22:26:00
--  
 不建议导入foxtable,建议直接用foxtable关联你的sql数据库。然后在foxtable里,加载部分数据就行了。


--  作者:horseroom
--  发布时间:2013/12/14 22:36:00
--  
我觉得两个办法,但是逻辑是一样的,就是把数据直接写到SQL server数据库,比如用fill,或者SQL的append(我记得SQL有这个命令),不要用系统提供的那个导入、保存方案,我感觉那个效率不高。而且你最好一段一段写,万一错了,而且也能知道错在哪个地方,可以显示进度,容易维护。
--  作者:bhh
--  发布时间:2013/12/14 22:50:00
--  
sql 直接导入的语句怎么先? 谢谢
--  作者:有点甜
--  发布时间:2013/12/14 22:58:00
--  
 sql直接导入,就是动态加载,fill,楼主先把帮助的 网络数据源 一章看完。
--  作者:jspta
--  发布时间:2013/12/14 22:59:00
--  
狐爸应该提供一种无条件更新,现在是判断更新,在低数据量时效率非常好,但是面对大数据量,就有很慢了,甚至卡死。

楼主的数据有点多,应该考虑下导入数据库前去重复,如果只有少量重复,那么建议分批导入。

--  作者:horseroom
--  发布时间:2013/12/14 23:06:00
--  
语法:INSERT INTO <表名> [(<字段名1> [,<字段名2>, ...])] 子查询 
很多年没搞这个东西了,我就查到这个命令,我记得有APPEND命令,但是没查到。我用foxtable测试下再回复你。

--  作者:horseroom
--  发布时间:2013/12/15 0:01:00
--  
不行,好像真的没有这种命令,经验害死人。甚至insert into 命令都不行。

你只能使用fill的办法,快慢就不清楚了,没试过,我没那么大数据。

--  作者:bhh
--  发布时间:2013/12/15 15:56:00
--  
大数据的处理  狐表需要好好考虑一下!!! 问题还不知道怎么解决,哎!!!!! 求高手。。