以文本方式查看主题

-  Foxtable(狐表)  (http://foxtable.net/bbs/index.asp)
--  专家坐堂  (http://foxtable.net/bbs/list.asp?boardid=2)
----  FoxTable链接SQL SERVER2008 保存数据效率太低!!  (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=47865)

--  作者:chinalw
--  发布时间:2014/3/18 20:42:00
--  FoxTable链接SQL SERVER2008 保存数据效率太低!!
用FoxTable保存一个20多M,15万条的数据表竟然要近40分钟,是外部数据源,SQL SERVER2008,打开表很快,不知道是SQL数据保存慢还是FOXTABLE慢。
--  作者:bohe
--  发布时间:2014/3/18 21:27:00
--  

一次性保存15万条?恐怖,分批吧


--  作者:bhh
--  发布时间:2014/3/18 21:58:00
--  是狐表慢!!
是狐表的问题,如果将这么大的数据导入到狐表里,那几乎就不能处理,如果直接在后台数据库里统计、查询还可以,我也有同样的经历,如果用SQL自带的导入工具会很快,也就几秒的事!!
--  作者:jspta
--  发布时间:2014/3/19 0:33:00
--  
2012版本可以处理,2013版本,狐爸优化了存储模式后,对于大数据的存储就会出现严重卡死现象。
不建议一次保存如此多的数据,狐表不擅长。这种事对算法的一种挑战。

--  作者:lsy
--  发布时间:2014/3/19 7:35:00
--  
一次就要保存15万条,这样的设计,不太合理吧。
--  作者:狐狸爸爸
--  发布时间:2014/3/19 8:26:00
--  

任何软件保存15万行数据到SQL Server,都不会比foxtable快到哪里去,因为这个和foxtable没有任何关系的,foxtable一样是用sql语句保存数据,保存15万新增行,就是执行15万此update命令保存,再执行15万次select命令提取后台生成的主键,合计30万次。

 

你在论坛发帖15万个,想想保存会要多长时间?

 

从设计思路入手,一次保存15万行,绝对不是一个合理的设计,如果是偶尔的导入操作,就忍着,要不直接在服务器端导入,或者用SQL Server自己的导入功能。

[此贴子已经被作者于2014-3-19 8:26:16编辑过]

--  作者:包头123
--  发布时间:2014/3/19 8:30:00
--  
狐表的做法是一次性导入15万条记录(当然狐表是可以按照条件导入的),但数据库改为SQL SERVER时,狐表的做法就不对了。只能说需要什么就导入什么。所以,同一个软件,使用狐表自己的数据库与使用外部数据库截然不同。不知道这种想法对否?
--  作者:狐狸爸爸
--  发布时间:2014/3/19 8:52:00
--  

道理都一样,只是采用SQL Server的时候,多数是网络环境,速度比数据库在本机更慢,就像你在本机复制一个10M的文件,远远快过从互联网下载一个10M的文件一样。

所以基于网络开发的系统,需要考虑动态加载,后台统计等等。

实际上Foxtable基于网络的时候,性能比一般的管理软件开发平台要好不少。

[此贴子已经被作者于2014-3-19 8:57:59编辑过]

--  作者:jspta
--  发布时间:2014/3/19 11:47:00
--  
以下是引用狐狸爸爸在2014-3-19 8:26:00的发言:

任何软件保存15万行数据到SQL Server,都不会比foxtable快到哪里去,因为这个和foxtable没有任何关系的,foxtable一样是用sql语句保存数据,保存15万新增行,就是执行15万此update命令保存,再执行15万次select命令提取后台生成的主键,合计30万次。

 

这个设计有点不合理吧,那效率是很低的,有个sqlbulkcopy 类,对大数据处理效率高很多,狐爸可以考虑下。

我记得2013的版本保存2万多行,就直接卡死了,2012版本还是2011版本反而不会这样?

[此贴子已经被作者于2014-3-19 8:26:16编辑过]


--  作者:blackzhu
--  发布时间:2014/3/19 12:18:00
--  
 不是设计的问题,有些基础数据有人从其他系统内导出后需要导入到新的系统内(比如狐表开发的,那你叫他不要导入,那人家还用狐表吗?)  有些大数量的基础数量导入到新的系统内这个是很正常的.
[此贴子已经被作者于2014-3-19 12:19:14编辑过]