[求助] CrossTableBuilder 耗时的问题 - 专家坐堂 - Foxtable(狐表) - 新一代数据库软件，完美融合Access、Foxpro、Excel、vb.net之优势，人人都能掌握的快速软件开发工具!

交叉统计一年（大概几十万行数据）销售数据，交叉统计后得出的统计表有三万多行，如下代码耗时 667 秒这效率实在是快奔溃了请问如何才能优化或提高统计效率？

此主题相关图片如下：qq图片20220105030405.png

'代码如下：--------------------------------------------------------------------------------------------------------------------------------------

Dim st As Date = Date.Now

Dim jb As New SQLJoinTableBuilder("临时测试表1","测试表A")

jb.ConnectionName = _sjymc

jb.AddExp("年份","year(日期)",True)

jb.AddExp("月份","month(日期)",True)

jb.AddExp("客户id","btypeid",True)

jb.AddExp("产品id","PtypeId",True)

'--------------------------------------------------------------------------------------------------------------------------------------

jb.AddExp("金额","sum(金额)")

jb.AddExp("数量","sum(数量)")

jb.AddExp("毛利","sum(金额) - sum(成本)")

'--------------------------------------------------------------------------------------------------------------------------------------

jb.Filter = "日期 >= '2021-01-01' and 日期 <= '2021-12-31' and 编号 in ('11','26','45') and 类型 = '2'"

'--------------------------------------------------------------------------------------------------------------------------------------

Dim cb As new CrossTableBuilder("临时测试表",jb.BuildSQL,_sjymc)

cb.HGroups.AddDef("年份")

cb.HGroups.AddDef("月份")

cb.HGroups.AddDef("产品id")

cb.VGroups.AddDef("客户id")

cb.Totals.Adddef("数量")

cb.Totals.AddDef("实销")

cb.Totals.AddDef("毛利")

cb.Totals.AddDef("毛利率")

cb.Build()

'--------------------------------------------------------------------------------------------------------------------------------------

output.show("耗时: " & (Date.Now - st).TotalSeconds & "秒")

'--------------------------------------------------------------------------------------------------------------------------------------

MainTable = Tables("临时测试表")

[此贴子已经被作者于2022/1/5 3:07:16编辑过]

1、减少统计的数据量

2、使用sql直接后台统计

建议直接用SQLGroupTableBuilder统计，可能会省点时间。

以下是引用狐狸爸爸在2022/1/5 10:55:00的发言：
建议直接用SQLGroupTableBuilder统计，可能会省点时间。

测试过了，效率没什么差异

这个问题搞了好几天能想到的方法都测试过了实在是奔溃吖

1、首先测试查询花了多少时间：

Sel ect * Fr om 表名日期 >= '2021-01-01' and 日期 <= '2021-12-31' and 编号 in ('11','26','45') and 类型 = '2'

2、其次不单单是数据量(行数)，还要看分组数，假如有100个产品，1万个用户，1年12个月，统计一年的数据，就要进行1200万次汇总，可能要几个小时甚至几天才能完成。

可以将数据库和代码发上来，我看看是不是还有别的原因。

如下：直接用查询表生成分组统计表，仅花了 7秒多时间 30多万行数据

分组统计行数:313,803

客户id数量:283

产品id数量:4,437

数据库发不上来，我是直接链接客户云服务器数据库的

此主题相关图片如下：qq图片20220105161849.png

[此贴子已经被作者于2022/1/5 16:26:39编辑过]

把查询表数据导入access，做个项目例子发上来测试

由于论坛上传附件大小限制，仅能将压缩包分压成 3个了

Access数据库里明细表我添加了 50万数据超级慢

下载信息 [文件大小：下载次数： ]
点击浏览该文件:测试.part01.rar

下载信息 [文件大小：下载次数： ]
点击浏览该文件:测试.part02.rar

下载信息 [文件大小：下载次数： ]
点击浏览该文件:测试.part03.rar

[此贴子已经被作者于2022/1/5 20:41:10编辑过]

我这边测试340秒完成，我看看能否优化，提高一下速度，也许可以，也许不行。

但不管最后是否提速，你这个文件都不应该用交叉统计了，垂直分组列1250个左右，水平分组接近25000个，等于生成了一个1250列25000行的表，系统会随时崩溃，而其中超过90%的单元格是空（冗余）的。

建议采用分组统计，用折叠模式浏览统计结果，我们会改进一下普通数据的折叠模式，之前一列一个分组，改为可以将多列作为一个分组，方便查阅此类数据。

[此贴子已经被作者于2022/1/6 8:28:18编辑过]

里面的数据我是随意添加的

但生成报表格式就是这样的

横向分组为商品资料

垂直分组为客户名称

统计销售

这种格式很普遍的

主题：[求助] CrossTableBuilder 耗时的问题