现在产品升级,数据库要重新设计,像全省的数据量太大了,数据库总是出问题,有几张表里面,一年的数据量大概有700到1000万条记录的样子,所以在这里面操作起来很慢,然后系统的并发量也很大,平均下来,大概70个请求/s,原来的老系统不怎么稳定,但是在这表里面的数据,有个特点,就是最近一个月的数据才会看,那些比较老的数据,在做年度报表,决策分析的时候,才会用到,所以想把那几个数据量很大的表的物理存储重新设计。
目前想到的第一种就是按照月来分,每个月让系统自动建一张表,然后把这个月的数据放在这个表里面,这样,每个月这个表的数据量大概只有几十万条,比以前就少多了,但是这样在做年度报表和决策分析的时候,就麻烦了,一年下来,就会有12表,要在这12张表里面,还要和其他的表的关联,这样做起来,也会很麻烦,数据库也未必受的了,第二种,就是用一个备份的数据服务器,把每个月的数据都导出到那个备份服务器上去,在备份服务器上面数据的存储不按月来分,按照年来分,每年建一张新表,做报表的时候,就到备份服务器上面操作。第三种,就是对这几张表用对象数据库,来存储一个月的数据,这数据是在内存的,操作起来,比操作关系数据库快,前段时间的数据还是放在关系数据库里面,这样就可以不用数据备份服务器了
分享到:
相关推荐
oracle大数据量的系统的数据库结构如何设计
诉求 •100亿的数据量 •10万的幵发 •1万属性 •任意字段都可能进行组合查询
mysql数据库大数据量导入导出多种方法,该文档详述SELECT * INTO和mysqldump导出方法。导入方法中包括导入sql,txt文件和load data三种方法
大数据量的系统的数据库结构如何设计,经验之谈啊
表格 1 数据来源描述 数据来源描述 业务单位 数据项 数据量 采集方式 采集频率 市交换平台数据 市流动人口和出租屋综管办 20 2691485 增量 每天 市交换平台数据 市规划国土委 3 76216 增量 每天 市交换平台数据 市...
这样保证每张表数据量很小,操作速度会快,而且可以搭配缓存,把内容根据情况进行缓存,可以尽量很少访问表数据 对于高访问量,不能只依赖于数据库,还要配合缓存的使用,我在上述例子中使用的缓存只是做法一种,...
数据库设计是指对于一个给定的应用环境,构造最优的数据库模式,建立数据库及其应用系统,使之能够有效地存储数据,满足各种用户的应用需求(信息要求和处理要求)。 数据库设计通常是在一个通用的DBMS支持下进行,...
完整代码,思路清晰也不难,适合新手哦~最好的是还有注释~。~
从性能角度来说,冗余数据库可以分散数据库压 力,冗余表可以分散数据量大的表的并发压力,也可以加快特殊查询的速度,冗余字段可以有效减少数据库表的连接, 提高效率。 1.3.3 主键的设计 主键是必要的,SQL SERVER...
7 7 优化 7 8 数据库管理与维护说明 7 引言 编写目的 本文档是时代集团产品跟踪平台 概要设计文档的组成部分,编写数据库设计文档的目的是:明确数据库的表名、字段名等数据信息,用来指导后期的数据库脚本的开发,...
6 数据字典 6 数据项 6 数据结构 7 数据流表 8 数据存储 8 处理过程 9 第四章 概念结构设计 9 图书销售管理系统数据库设计全文共23页,当前为第2页。 用户管理模块 9 图书销售管理系统数据库设计全文共23页,当前为...
其次是纵向扩展的维度,国内首次详细讲解了内存数据库TimesTen的基本使用、高可用架构设计、缓存应用、监控方法、数据备份与恢复、数据迁移以及高并发场景;最后是横向扩展的维度,详细讲解了如何使用GoldenGate构建...
5 3结构设计 10 3.1概念结构设计 10 3.2逻辑结构设计 11 3.3物理结构设计 12 4运用设计 12 4.1安全保密设计 12 4.2系统运行与维护 12 投票系统数据库设计说明书 1.引言 1.1编写目的 在积极建立科学管理机制的今天,...
本书是一本介绍数据库设计技术的著作,数据库设计是开发一个好的数据库应用系统的基础,本书运用大量实例对数据库设计过程中所涉及到的技术和知识进行了详细的介绍。本书的内容包括:数据库的基本原理、常用的数据库...
2.3 物理结构设计 3数据库的实施 根据数据库设计中的逻辑结构建立数据库,录入部分数据(附结果截图)。 4. 应用程序设计* 4.1选用一门应用程序开发语言,解决数据库连接问题,阐述你使用的数据库连接技 术,附图:...
汽车租赁系统 一 课程设计的目的和意义 随着汽车租赁领域的繁荣和飞速发展,租车行业的信息量越来越大,越来越复杂。传 统的管理方式无法适应当前迅速发展的市场,计算机和计算机网络技术迅速发展和普及 ,使用汽车...
中北大学 课程设计任务书 2014-2015 学年第 二 学期 "学 院: "软件学院 " "专 业: "软件工程 " "学 生 班 级: " " "学 生 姓 名: " "学号: " " "设 计 题 目: "银行储蓄系统数据库设计 " "起 迄 日 期: "6月8...
数据库设计说明书 版本:V1.0 文 档 编 号 保 密 等 级 作 者 最后修改日期 审 核 人 最后审批日期 批 准 人 最后批准日期 修订记录 日期 版本 修订说明 修订人 目 ...
(4)有效性 物理设计需综合考虑,根据业务规则,确定关联表的数据量大小,对数据项的访问频 度。 索引可提供快速访问表中数据的策略。建立索引时设置较小的填充因子,以便在各数 据页中留下较多的自由空间,减少页...
在实际的任何一个系统中,查询都是必不可少的一个功能,而查询设计的好坏又影响到系统的响应时间和性能这两个关键指标,尤其是当数据量变得越来越大时,于是如何处理大数据量的查询成了每个系统架构设计时都必须面对...