以文本方式查看主题 - Foxtable(狐表) (http://foxtable.net/bbs/index.asp) -- 专家坐堂 (http://foxtable.net/bbs/list.asp?boardid=2) ---- FoxTable链接SQL SERVER2008 保存数据效率太低!! (http://foxtable.net/bbs/dispbbs.asp?boardid=2&id=47865) |
-- 作者:chinalw -- 发布时间:2014/3/18 20:42:00 -- FoxTable链接SQL SERVER2008 保存数据效率太低!! 用FoxTable保存一个20多M,15万条的数据表竟然要近40分钟,是外部数据源,SQL SERVER2008,打开表很快,不知道是SQL数据保存慢还是FOXTABLE慢。 |
-- 作者:bohe -- 发布时间:2014/3/18 21:27:00 -- 一次性保存15万条?恐怖,分批吧 |
-- 作者:bhh -- 发布时间:2014/3/18 21:58:00 -- 是狐表慢!! 是狐表的问题,如果将这么大的数据导入到狐表里,那几乎就不能处理,如果直接在后台数据库里统计、查询还可以,我也有同样的经历,如果用SQL自带的导入工具会很快,也就几秒的事!! |
-- 作者:jspta -- 发布时间:2014/3/19 0:33:00 -- 2012版本可以处理,2013版本,狐爸优化了存储模式后,对于大数据的存储就会出现严重卡死现象。 不建议一次保存如此多的数据,狐表不擅长。这种事对算法的一种挑战。
|
-- 作者:lsy -- 发布时间:2014/3/19 7:35:00 -- 一次就要保存15万条,这样的设计,不太合理吧。 |
-- 作者:狐狸爸爸 -- 发布时间:2014/3/19 8:26:00 -- 任何软件保存15万行数据到SQL Server,都不会比foxtable快到哪里去,因为这个和foxtable没有任何关系的,foxtable一样是用sql语句保存数据,保存15万新增行,就是执行15万此update命令保存,再执行15万次select命令提取后台生成的主键,合计30万次。
你在论坛发帖15万个,想想保存会要多长时间?
从设计思路入手,一次保存15万行,绝对不是一个合理的设计,如果是偶尔的导入操作,就忍着,要不直接在服务器端导入,或者用SQL Server自己的导入功能。 [此贴子已经被作者于2014-3-19 8:26:16编辑过]
|
-- 作者:包头123 -- 发布时间:2014/3/19 8:30:00 -- 狐表的做法是一次性导入15万条记录(当然狐表是可以按照条件导入的),但数据库改为SQL SERVER时,狐表的做法就不对了。只能说需要什么就导入什么。所以,同一个软件,使用狐表自己的数据库与使用外部数据库截然不同。不知道这种想法对否? |
-- 作者:狐狸爸爸 -- 发布时间:2014/3/19 8:52:00 -- 道理都一样,只是采用SQL Server的时候,多数是网络环境,速度比数据库在本机更慢,就像你在本机复制一个10M的文件,远远快过从互联网下载一个10M的文件一样。 所以基于网络开发的系统,需要考虑动态加载,后台统计等等。 实际上Foxtable基于网络的时候,性能比一般的管理软件开发平台要好不少。 [此贴子已经被作者于2014-3-19 8:57:59编辑过]
|
-- 作者:jspta -- 发布时间:2014/3/19 11:47:00 -- 以下是引用狐狸爸爸在2014-3-19 8:26:00的发言:
任何软件保存15万行数据到SQL Server,都不会比foxtable快到哪里去,因为这个和foxtable没有任何关系的,foxtable一样是用sql语句保存数据,保存15万新增行,就是执行15万此update命令保存,再执行15万次select命令提取后台生成的主键,合计30万次。
这个设计有点不合理吧,那效率是很低的,有个sqlbulkcopy 类,对大数据处理效率高很多,狐爸可以考虑下。 我记得2013的版本保存2万多行,就直接卡死了,2012版本还是2011版本反而不会这样? [此贴子已经被作者于2014-3-19 8:26:16编辑过]
|
-- 作者:blackzhu -- 发布时间:2014/3/19 12:18:00 -- 不是设计的问题,有些基础数据有人从其他系统内导出后需要导入到新的系统内(比如狐表开发的,那你叫他不要导入,那人家还用狐表吗?) 有些大数量的基础数量导入到新的系统内这个是很正常的. [此贴子已经被作者于2014-3-19 12:19:14编辑过]
|