Foxtable(狐表)用户栏目专家坐堂 → 数据库过大,数据量过大问题


  共有2394人关注过本帖树形打印复制链接

主题:数据库过大,数据量过大问题

帅哥哟,离线,有人找我吗?
zhenghangbo
  1楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:一尾狐 帖子:477 积分:4569 威望:0 精华:0 注册:2018/2/7 14:30:00
数据库过大,数据量过大问题  发帖心情 Post By:2018/8/22 9:20:00 [只看该作者]

之前看过论坛里的帖子,关于归档问题的。大红袍好像回复现在有加载树,不需要建立归档表来做数据归档,所有数据都在一张表上好了。
我想问如果这样,一张表日积月累数据达到几千万条甚至上亿条了,要是想检索数据或者查找某条记录,那不是要遍历整张大表,这样的耗时数据库应该受不了,甚至会死锁吧?
还有一个关于数据库的问题,哪位大侠经验。如果一个数据库数据一直不清理,积累了几年的数据导致数据库到达几百个G,做个数据库备份还原都得10个小时了,怎么解决好?

 回到顶部
帅哥哟,离线,有人找我吗?
zhenghangbo
  2楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:一尾狐 帖子:477 积分:4569 威望:0 精华:0 注册:2018/2/7 14:30:00
  发帖心情 Post By:2018/8/22 9:22:00 [只看该作者]

http://www.foxtable.com/bbs/dispbbs.asp?BoardID=2&replyID=72068&ID=9883&skin=1
是狐狸爸爸的回复

 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  3楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:110648 积分:563148 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2018/8/22 9:44:00 [只看该作者]

几亿条数据不是问题,索引使用的好,查一条数据也是不到1秒的事。不过还是有影响的,常见的做法是做历史库,几乎很少用的数据,比如5年/10年前的数据单独放到一个数据库,5年/10年~1年前的可能是不常用,都是偶尔还是需要查询统计的,单独放到一个数据库。这种历史库基本上只用来查询,很少会更新数据了。所以历史库基本上几个月或者一年备份一次就可以了。

然后近1年的数据(或者根据报表年度保留最近2年的数据)保留在当前使用的数据库中。

另外还可以把过往报表年度的数据经常使用的统计分析结果也保存起来,因为这部分数据也几乎不会更新了。

其他方法可以网上搜搜......
[此贴子已经被作者于2018/8/22 13:44:36编辑过]

 回到顶部
帅哥哟,离线,有人找我吗?
zhenghangbo
  4楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:一尾狐 帖子:477 积分:4569 威望:0 精华:0 注册:2018/2/7 14:30:00
  发帖心情 Post By:2018/8/22 9:49:00 [只看该作者]

索引虽然是数据库的知识,foxtable很少介绍索引的,唯一的关键在也是数组跟集合里面有。foxtable基于数据的应该有这方面的介绍

 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  5楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:110648 积分:563148 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2018/8/22 10:05:00 [只看该作者]

大数据的管理不是狐表的课题。只有接触过大型项目的人才会积累这种经验

 回到顶部
帅哥哟,离线,有人找我吗?
zhenghangbo
  6楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:一尾狐 帖子:477 积分:4569 威望:0 精华:0 注册:2018/2/7 14:30:00
  发帖心情 Post By:2018/8/22 10:19:00 [只看该作者]

图片点击可在新窗口打开查看,大数据是几年前就开始的未来趋势啊。

 回到顶部
帅哥哟,离线,有人找我吗?
有点蓝
  7楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:超级版主 帖子:110648 积分:563148 威望:0 精华:9 注册:2015/6/24 9:21:00
  发帖心情 Post By:2018/8/22 10:38:00 [只看该作者]

术有专攻。

 回到顶部
帅哥哟,离线,有人找我吗?
xndd
  8楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:二尾狐 帖子:537 积分:4465 威望:0 精华:0 注册:2014/11/26 15:23:00
  发帖心情 Post By:2018/8/22 13:35:00 [只看该作者]

 一般我们这样处理数据量过大问题:
1. 增加硬件设备,提升硬件速度
2. 升级数据库软件
3. 优化索引
4. 分表分库(垂直水平或按业务模块、业务逻辑)
5. 分布式
6. 升级网络
7. 优化sql代码
8. 部分业务切换至KV库
9. 读写分离
10. 忘记了,还有1点

 回到顶部
帅哥哟,离线,有人找我吗?
zhenghangbo
  9楼 | 信息 | 搜索 | 邮箱 | 主页 | UC


加好友 发短信
等级:一尾狐 帖子:477 积分:4569 威望:0 精华:0 注册:2018/2/7 14:30:00
  发帖心情 Post By:2018/8/22 14:23:00 [只看该作者]

谢谢

 回到顶部