Foxtable(狐表)用户栏目专家坐堂 → FoxTable链接SQL SERVER2008 保存数据效率太低!!


  共有7873人关注过本帖树形打印复制链接

主题:FoxTable链接SQL SERVER2008 保存数据效率太低!!

帅哥哟,离线,有人找我吗?
chinalw
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:10 积分:280 威望:0 精华:0 注册:2013/3/23 21:38:00
FoxTable链接SQL SERVER2008 保存数据效率太低!!  发帖心情 Post By:2014/3/18 20:42:00 [只看该作者]

用FoxTable保存一个20多M,15万条的数据表竟然要近40分钟,是外部数据源,SQL SERVER2008,打开表很快,不知道是SQL数据保存慢还是FOXTABLE慢。

 回到顶部
帅哥哟,离线,有人找我吗?
bohe
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:五尾狐 帖子:1077 积分:9923 威望:0 精华:0 注册:2008/9/2 11:34:00
  发帖心情 Post By:2014/3/18 21:27:00 [只看该作者]

一次性保存15万条?恐怖,分批吧


 回到顶部
帅哥哟,离线,有人找我吗?
bhh
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:婴狐 帖子:26 积分:265 威望:0 精华:0 注册:2013/2/15 15:53:00
是狐表慢!!  发帖心情 Post By:2014/3/18 21:58:00 [只看该作者]

是狐表的问题,如果将这么大的数据导入到狐表里,那几乎就不能处理,如果直接在后台数据库里统计、查询还可以,我也有同样的经历,如果用SQL自带的导入工具会很快,也就几秒的事!!

 回到顶部
帅哥哟,离线,有人找我吗?
jspta
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1732 积分:11266 威望:0 精华:0 注册:2011/12/15 22:06:00
  发帖心情 Post By:2014/3/19 0:33:00 [只看该作者]

2012版本可以处理,2013版本,狐爸优化了存储模式后,对于大数据的存储就会出现严重卡死现象。
不建议一次保存如此多的数据,狐表不擅长。这种事对算法的一种挑战。

 回到顶部
帅哥哟,离线,有人找我吗?
lsy
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:版主 帖子:5246 积分:33163 威望:0 精华:8 注册:2013/1/17 21:28:00
  发帖心情 Post By:2014/3/19 7:35:00 [只看该作者]

一次就要保存15万条,这样的设计,不太合理吧。

 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47497 积分:251403 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2014/3/19 8:26:00 [只看该作者]

任何软件保存15万行数据到SQL Server,都不会比foxtable快到哪里去,因为这个和foxtable没有任何关系的,foxtable一样是用sql语句保存数据,保存15万新增行,就是执行15万此update命令保存,再执行15万次select命令提取后台生成的主键,合计30万次。

 

你在论坛发帖15万个,想想保存会要多长时间?

 

从设计思路入手,一次保存15万行,绝对不是一个合理的设计,如果是偶尔的导入操作,就忍着,要不直接在服务器端导入,或者用SQL Server自己的导入功能。

[此贴子已经被作者于2014-3-19 8:26:16编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
包头123
  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:五尾狐 帖子:1049 积分:8150 威望:0 精华:0 注册:2011/10/11 11:13:00
  发帖心情 Post By:2014/3/19 8:30:00 [只看该作者]

狐表的做法是一次性导入15万条记录(当然狐表是可以按照条件导入的),但数据库改为SQL SERVER时,狐表的做法就不对了。只能说需要什么就导入什么。所以,同一个软件,使用狐表自己的数据库与使用外部数据库截然不同。不知道这种想法对否?

 回到顶部
帅哥哟,离线,有人找我吗?
狐狸爸爸
  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:管理员 帖子:47497 积分:251403 威望:0 精华:91 注册:2008/6/17 17:14:00
  发帖心情 Post By:2014/3/19 8:52:00 [只看该作者]

道理都一样,只是采用SQL Server的时候,多数是网络环境,速度比数据库在本机更慢,就像你在本机复制一个10M的文件,远远快过从互联网下载一个10M的文件一样。

所以基于网络开发的系统,需要考虑动态加载,后台统计等等。

实际上Foxtable基于网络的时候,性能比一般的管理软件开发平台要好不少。

[此贴子已经被作者于2014-3-19 8:57:59编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
jspta
  9楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1732 积分:11266 威望:0 精华:0 注册:2011/12/15 22:06:00
  发帖心情 Post By:2014/3/19 11:47:00 [只看该作者]

以下是引用狐狸爸爸在2014-3-19 8:26:00的发言:

任何软件保存15万行数据到SQL Server,都不会比foxtable快到哪里去,因为这个和foxtable没有任何关系的,foxtable一样是用sql语句保存数据,保存15万新增行,就是执行15万此update命令保存,再执行15万次select命令提取后台生成的主键,合计30万次。

 

这个设计有点不合理吧,那效率是很低的,有个sqlbulkcopy 类,对大数据处理效率高很多,狐爸可以考虑下。

我记得2013的版本保存2万多行,就直接卡死了,2012版本还是2011版本反而不会这样?

[此贴子已经被作者于2014-3-19 8:26:16编辑过]


 回到顶部
帅哥哟,离线,有人找我吗?
blackzhu
  10楼 | QQ | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信 一级勋章
等级:狐仙 帖子:9879 积分:57634 威望:0 精华:15 注册:2008/9/1 9:45:00
  发帖心情 Post By:2014/3/19 12:18:00 [只看该作者]

 不是设计的问题,有些基础数据有人从其他系统内导出后需要导入到新的系统内(比如狐表开发的,那你叫他不要导入,那人家还用狐表吗?)  有些大数量的基础数量导入到新的系统内这个是很正常的.
[此贴子已经被作者于2014-3-19 12:19:14编辑过]

 回到顶部
总数 12 1 2 下一页