• http://www.sobaowang.com
  • ITPUB论坛-中国最专业的IT技术社区

     找回密码
     注册
    查看: 1168|回复: 10

    如何快速截取一张大表数据?

    [复制链接]
    论坛徽章:
    3
    授权会员
日期:2018-07-21 23:52:20ITPUB新首页上线纪念徽章
日期:2018-07-21 08:38:44优秀写手
日期:2018-07-21 05:59:55
    跳转到指定楼层
    1#
    发表于 2018-1-2 21:52 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    现在有一张大表,大概几千万条记录,这张表的数据会一直变动,比如类似账户余额表,但在某个时点想截取当前值供其它系统使用,想让表锁定的时间越短越好,有什么方法比较有效呢?
    认证徽章
    论坛徽章:
    1
    目光如炬
日期:2018-07-21 22:00:01
    2#
    发表于 2018-1-4 15:45 | 只看该作者
    你的意思是几千万的数据要复制到另一个表里供其它系统使用?不明白为啥要这么做呢
    论坛徽章:
    3
    授权会员
日期:2018-07-21 23:52:20ITPUB新首页上线纪念徽章
日期:2018-07-21 08:38:44优秀写手
日期:2018-07-21 05:59:55
    3#
     楼主| 发表于 2018-1-4 21:33 | 只看该作者
    相当于我要做一个表的快照数据,表里的数据一直在变,我要每天某个时点拿出当时的数据出来进行分析
    认证徽章
    论坛徽章:
    37
    秀才
日期:2018-07-21 11:23:27秀才
日期:2018-07-21 12:14:26白羊座
日期:2018-07-21 14:49:24秀才
日期:2018-07-21 13:37:04秀才
日期:2018-07-21 15:02:04狮子座
日期:2018-07-21 09:45:47摩羯座
日期:2018-07-21 10:09:40弗兰奇
日期:2018-07-21 14:37:00奥运会纪念徽章:网球
日期:2018-07-21 15:05:12ITPUB15周年纪念
日期:2018-07-21 13:15:34
    4#
    发表于 2018-1-5 09:09 | 只看该作者
    使用DG吧,想要该表数据的时候,就把redo传输停掉,再去备库慢慢操作
    认证徽章
    论坛徽章:
    36
    数据库板块每日发贴之星
日期:2018-07-21 01:01:58奥运会纪念徽章:足球
日期:2018-07-21 19:26:212013年新春福章
日期:2018-07-21 14:51:24蜘蛛蛋
日期:2018-07-21 17:38:25一汽
日期:2018-07-21 16:12:56保时捷
日期:2018-07-21 23:41:21阿斯顿马丁
日期:2018-07-21 14:17:47大众
日期:2018-07-21 16:50:19问答徽章
日期:2018-07-21 00:25:10马上有车
日期:2018-07-21 11:06:20
    5#
    发表于 2018-1-5 14:10 | 只看该作者
    mysql主从复制哟
    论坛徽章:
    3
    授权会员
日期:2018-07-21 23:52:20ITPUB新首页上线纪念徽章
日期:2018-07-21 08:38:44优秀写手
日期:2018-07-21 05:59:55
    6#
     楼主| 发表于 2018-1-6 09:48 | 只看该作者
    DG不是ORACLE的吗?主从复制我要在那个时刻把主从复制停掉,等我把数据拿过来后再恢复?这中间如果出问题了不是导致数据丢失?有人说用表dump的方式,再到另一个环境恢复这个表处理,大家觉得还有比这更好更有效率的方式吗?
    论坛徽章:
    70
    ITPUB元老
日期:2018-07-21 15:55:11授权会员
日期:2018-07-21 11:36:17ITPUB季度 技术新星
日期:2018-07-21 10:47:25优秀写手
日期:2018-07-21 06:00:14ITPUB8周年纪念徽章
日期:2018-07-21 10:21:20祖国60周年纪念徽章
日期:2018-07-21 08:28:00奔驰
日期:2018-07-21 13:32:09数据库板块每日发贴之星
日期:2018-07-21 01:02:14数据库板块每日发贴之星
日期:2018-07-21 01:01:02数据库板块每日发贴之星
日期:2018-07-21 01:01:03
    7#
    发表于 2018-1-8 10:31 | 只看该作者
    用mysqldump导出加上--single-transaction参数,这样就是一致的。
    论坛徽章:
    3
    授权会员
日期:2018-07-21 23:52:20ITPUB新首页上线纪念徽章
日期:2018-07-21 08:38:44优秀写手
日期:2018-07-21 05:59:55
    8#
     楼主| 发表于 2018-1-9 22:30 | 只看该作者
    有比导出效率更高的方式吗?毕竟导出后还原数据需要不少时间。
    认证徽章
    论坛徽章:
    11
    优秀写手
日期:2018-07-21 06:00:15秀才
日期:2018-07-21 13:13:32秀才
日期:2018-07-21 13:55:212014数据库大会纪念章
日期:2018-07-21 10:16:212013数据库大会纪念章
日期:2018-07-21 10:16:212012数据库大会纪念章
日期:2018-07-21 10:16:212011数据库大会纪念章
日期:2018-07-21 10:16:212010数据库技术大会纪念徽章
日期:2018-07-21 10:16:21知识
日期:2018-07-21 11:53:27秀才
日期:2018-07-21 10:47:08
    9#
    发表于 2018-1-10 13:37 | 只看该作者
    主从本来就是可以停的,不管mysql还是oracle,操作完了,再启动主从,日志会继续拉的,不影响。
    论坛徽章:
    2
    ITPUB15周年纪念
日期:2018-07-21 10:50:44罗罗诺亚·索隆
日期:2018-07-21 13:28:33
    10#
    发表于 2018-1-11 16:32 | 只看该作者
    可以停掉从库,直接select
    也可以参照mysql MVCC的原理,单开一个会话在select之前start transaction下,这样select生成一个一致性快照,占用undo较多 慎用

    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    -黄营乡论坛,黄营乡社区 - www-bbs-yxj.gf718.com
    DTCC2018购票6.8折优惠进行时

    中国数据库技术大会是国内数据库及大数据领域规模最大、最受欢迎的技术交流盛会。 2018年5月10-12日,第九届中国数据库技术大会将如约而至。本届大会以“数领先机•智赢未来”为主题,设定2大主会场及20个技术专场,邀请来自国内外互联网、金融、教育等行业百余位技术专家,共同探讨Oracle、MySQL、NoSQL、大数据等领域的前瞻性热点话题与技术。
    ----------------------------------------
    优惠时间:2018-07-21前

    报名链接>>
    嘉鱼县论坛 河东论坛 甘南县论坛 叙永县论坛 区论坛
    洑水镇论坛 镇平县论坛 锡林郭勒盟论坛 留早论坛 十月初五街论坛
    电子杂志 虎吧 老博客 读书频道 积分竞拍 文本模式 帮助
      IT博客
      ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
    CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
    京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
      
    快速回复 返回顶部 返回列表
    兴和县论坛 吉隆县论坛 晋源区论坛 扶余县论坛 凤城镇论坛
    大丰市论坛 扫管军营论坛 番禺区论坛 延边朝鲜族自治州论坛 新金论坛