Foxtable(狐表)用户栏目专家坐堂 → 大数据如何保存???


  共有6406人关注过本帖树形打印复制链接

主题:大数据如何保存???

帅哥哟,离线,有人找我吗?
jspta
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1731 积分:11255 威望:0 精华:0 注册:2011/12/15 22:06:00
  发帖心情 Post By:2013/12/14 22:59:00 [显示全部帖子]

狐爸应该提供一种无条件更新,现在是判断更新,在低数据量时效率非常好,但是面对大数据量,就有很慢了,甚至卡死。

楼主的数据有点多,应该考虑下导入数据库前去重复,如果只有少量重复,那么建议分批导入。

 回到顶部
帅哥哟,离线,有人找我吗?
jspta
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1731 积分:11255 威望:0 精华:0 注册:2011/12/15 22:06:00
  发帖心情 Post By:2013/12/16 10:06:00 [显示全部帖子]

以下是引用狐狸爸爸在2013-12-16 9:52:00的发言:

 

1、任何软件,导入20万行文本数据并保存,都快不了的,你试试直接用C#或者VB编码,逐行读取文本文件然后用sql语句写入数据库,一样很慢的。

2、foxtable可以直接统计后台数据,通常不需要将数据导入到foxtable,而是将foxtable连接到sql server或oralce等数据库。

3、大量数据的导入,不应该是一个经常型的操作,如果你经常要导入20万行,就得想想自己的设计思路问题了。

4、foxtable怎么就做不成真正的管理软件呢,一些企业一年数千万甚至过亿行的数据,一样用foxtable管理得好好的。

 

用合适的工具,做合适的事情。

[此贴子已经被作者于2013-12-16 9:55:37编辑过]

狐爸应该提供一种无条件更新,现在是判断更新,在低数据量时效率非常好,但是面对大数据量,就有很慢了,甚至卡死。

 

加载对于狐表来说非常快,几万行也很快!

但是我在2013版中遇到过,加载几万条数据,没有任何问题,但是只要一点击同步,软件就卡死了,MSSQL2005。

现在狐表一次保存一两万新增行,十几列的时候,很容易卡死。可能是保存时间有点长。

 

所以狐爸应该考虑下对大数据的保存机制和同步问题。当然楼主这种是少数,应该考虑数据来源归整问题

 


 回到顶部
帅哥哟,离线,有人找我吗?
jspta
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:七尾狐 帖子:1731 积分:11255 威望:0 精华:0 注册:2011/12/15 22:06:00
  发帖心情 Post By:2013/12/16 13:56:00 [显示全部帖子]

20W行的txt要多大那?最好的方案是先预处理这个txt,如果有办法接到上级那是最好的了

 回到顶部