Foxtable(狐表) → 用户栏目 → 专家坐堂 → [求助] 数据加载速度优化--甜版请进


  共有6799人关注过本帖树形打印复制链接

主题：[求助] 数据加载速度优化--甜版请进
帅哥哟，离线，有人找我吗？
Gryvip
 小大  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：一尾狐 帖子：479 积分：4505 威望：0 精华：0 注册：2008/9/4 14:40:00 		[求助] 数据加载速度优化--甜版请进  发帖心情 Post By：2015/1/1 1:33:00 [显示全部帖子]

甜版，你好，有个问题想请教你；

本地外部数据源Access，有约600万条记录，加载其中约7万行数据，用时75秒，正常吗，可以以提升速度吗，请抽空赐教，谢谢。

Access数据文件450MB，就不上传文件了，代码如下：

初始加载表不加载数据，加载按钮代码如下：（其中变量内容：sh000001,sh600489,……,由30多个不同的股piao代码组成）

DataTables("历史数据").LoadFilter = "[股piao代码] in ("& Functions.Execute("HS加载股piao") &")"

DataTables("历史数据").Load
[此贴子已经被作者于2015-1-1 1:34:34编辑过]
 回到顶部
帅哥哟，离线，有人找我吗？
Gryvip
 小大  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：一尾狐 帖子：479 积分：4505 威望：0 精华：0 注册：2008/9/4 14:40:00 		  发帖心情 Post By：2015/1/1 14:41:00 [显示全部帖子]

列数不多，只有9列，如果不用in ，还有其他更好的方法吗？或把你7秒的代码贴上来，谢谢！

Access数据文件压缩后129MB，已上传网盘（提取码：e340）：http://yunpan.cn/cyj26pk7j4tz4

[此贴子已经被作者于2015-1-1 15:15:26编辑过]
 回到顶部
帅哥哟，离线，有人找我吗？
Gryvip
 小大  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：一尾狐 帖子：479 积分：4505 威望：0 精华：0 注册：2008/9/4 14:40:00 		  发帖心情 Post By：2015/1/2 12:15:00 [显示全部帖子]

1、在数据库中 给 历史数据的 股piao代码 设置重复索引

2、加载时关闭表刷新和自动列宽


你好，没安装Access，且不懂设置重复索引，另外关闭表刷新和自动列宽，在帮助里没找到，请贴出代码，谢谢。
 回到顶部
帅哥哟，离线，有人找我吗？
Gryvip
 小大  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：一尾狐 帖子：479 积分：4505 威望：0 精华：0 注册：2008/9/4 14:40:00 		  发帖心情 Post By：2015/1/3 16:24:00 [显示全部帖子]

以下是引用逛逛在2015-1-2 12:47:00的发言：

在命令窗口执行

 

Dim cmd As New SQLCommand
cmd.Connection Name = 数据源名称    ‘记得把Name前面的空格去掉
cmd.CommandText = "Create Index iDate ON 历史数据 ([股piao代码])"
cmd.ExecuteNonQuery()

 

 

再用你自己的方法加载测试

 

关闭表刷新用

StopRedraw

ResumeRedraw
 回到顶部
帅哥哟，离线，有人找我吗？
Gryvip
 小大  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：一尾狐 帖子：479 积分：4505 威望：0 精华：0 注册：2008/9/4 14:40:00 		  发帖心情 Post By：2015/1/3 16:33:00 [显示全部帖子]

以下是引用逛逛在2015-1-2 12:47:00的发言：

在命令窗口执行

 

Dim cmd As New SQLCommand
cmd.Connection Name = 数据源名称    ‘记得把Name前面的空格去掉
cmd.CommandText = "Create Index iDate ON 历史数据 ([股piao代码])"
cmd.ExecuteNonQuery()

 

 

再用你自己的方法加载测试

 

关闭表刷新用

StopRedraw

ResumeRedraw

谢谢逛逛，命令窗口执行的是为（历史数据的[股piao代码]列）创建索引，是吗，执行代码后速度提升到了22万行用时6秒（原来没索引是7万行用时75秒），速度提升了约30倍，太感谢你啦，逛逛，在此建议狐爸要把你这个“创建索引”的代码写进帮助里，因为索引对加载速度影响太大了，现时帮助里面没找到这个。

另外关闭表刷新对加载的速度不明显。
[此贴子已经被作者于2015-1-3 16:41:42编辑过]
 回到顶部
帅哥哟，离线，有人找我吗？
Gryvip
 小大  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级：一尾狐 帖子：479 积分：4505 威望：0 精华：0 注册：2008/9/4 14:40:00 		  发帖心情 Post By：2015/1/3 16:38:00 [显示全部帖子]

以下是引用lsy在2015-1-3 8:54:00的发言：
惊人的速度差：

4秒
144秒

分页加载，每页30行，分页只需1秒多的时间，全部加载完毕，也仅需数秒。

索引用的恰当，效率太可观。

以前不太重视索引，因为一直没有大数据测试，顶多是几万行，用不用索引，速度上没感觉。

[此贴子已经被作者于2015-1-3 9:00:56编辑过]





LSY版主，你好，确实是创建了索引后速度提升了约30倍，但是跟你的速度还有有距离，可否贴出代码给大伙学习，谢谢。

 回到顶部
RSS2.0 | Xhtml无图版 | Xslt无图版 Copyright © 2000 - 2018 foxtable.com Tel: 4000-810-820 粤ICP备11091905号
   Powered By Dvbbs Version 8.3.0
页面执行时间 0.04395 秒, 5 次数据查询