Foxtable(狐表)用户栏目专家坐堂 → 数据有二十万行以上,如何设计统计计算的思路?


  共有5856人关注过本帖树形打印复制链接

主题:数据有二十万行以上,如何设计统计计算的思路?

帅哥哟,离线,有人找我吗?
kgdce
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:三尾狐 帖子:629 积分:6927 威望:0 精华:0 注册:2013/12/17 1:00:00
数据有二十万行以上,如何设计统计计算的思路?  发帖心情 Post By:2015/2/28 14:43:00 [只看该作者]

  现在想利用FOXTABLE设计一程序,具体内容:有五千多学生参加测试,通过阅卷系统产生数据,现要设计一程序,要将每科试卷每个小题分数导入到数据库,若一科有5000人,每张试卷有100个小题,就有5000*100=500000共五十万个数据,对这些数据既有整体的也有分类的统计分析。具体计算指标有每个小题的平均分,标准差,区分度等。统计的结果根据需要是动态计算生成的,每个客户端需要不同的统计数据,举例说明,可能有全体的平均分,标准差,区分度报表,也可能有部分数据构成的新样本的平均分,标准差,区分度报表,而且这些新样本的数量与每次考试参加的单位多少有关系,是动态变化的。也就是说客户端可能达到1000人之多,有可能同时对服务器提出统计计算的要求。可以说,这个程序更多是客户端根据自已的需求,提出计算统计的请求同时下载需要的数据,最后在本地机呈现出自已想要的统计结果。

  设计程序思路:1、在远程服务器上导入数据到mssql数据库

         2、各客户端访问时,利用后台统计功能直接在本地机形成报表,因为统计的数据和全部数据有一定的关系。

  困惑:1、各客户端每次加载自已需要的数据要花费时间,如何设计才能提高速度,是否建立本地的ACCESS数据库配合mssql数据库使用?

     2、后台统计是否有“标准差”、“区分度”的统计?所谓“区分度”是指[(一组数据前27%的数据的平均分)-(这组数据后27%的平均分)]/固定一常数;

     3、全部用后台统计,多个客户端并发请求计算(因为每个客户都想第一时间看到统计结果),服务器是否能承受,这种设计是否合理?若是将数据都加载到本地机,在本地机进行统计计算是否可行?。在帮助中也提到,要将这么多数据加载到本地机,速度慢,不合理,有没有其它办法?

     说明:我用VBA编程,在excel上实现过400人的计算,比较可行。具体情况见图:

  
图片点击可在新窗口打开查看此主题相关图片如下:截图00.jpg
图片点击可在新窗口打开查看

 回到顶部
帅哥哟,离线,有人找我吗?
Bin
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:贵宾 帖子:35433 积分:178530 威望:0 精华:3 注册:2013/3/30 16:36:00
  发帖心情 Post By:2015/2/28 14:45:00 [只看该作者]

1.只加载当前需要的,分页加载等.
2.有
3.后台统计没有问题.可以的.

 回到顶部
帅哥哟,离线,有人找我吗?
kgdce
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:三尾狐 帖子:629 积分:6927 威望:0 精华:0 注册:2013/12/17 1:00:00
  发帖心情 Post By:2015/2/28 14:48:00 [只看该作者]

1、区分度、标准差具体代码是什么?

 


 回到顶部
帅哥哟,离线,有人找我吗?
kgdce
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:三尾狐 帖子:629 积分:6927 威望:0 精华:0 注册:2013/12/17 1:00:00
  发帖心情 Post By:2015/2/28 14:50:00 [只看该作者]

我的设计思路是否正确?

 回到顶部
帅哥哟,离线,有人找我吗?
Bin
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:贵宾 帖子:35433 积分:178530 威望:0 精华:3 注册:2013/3/30 16:36:00
  发帖心情 Post By:2015/2/28 14:52:00 [只看该作者]


 回到顶部