点标签看更多好帖
开启左侧

[学习借鉴] 用 BigDump 工具导入超大 MySQL 数据库备份文件

[复制链接]
发表于 2016-6-17 02:06 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?注册

x
最近发现网站数据库备份出现问题:
. K& z7 q) H& @3 S) e经过联系虚拟空间技术支持: 我们的数据库太大( 将近400MB), 远远超过了普通MySQL的数据库容量。使用一般的Cpanel已经无法备份。
2 P: w( X" t" I" X
; Y) Q3 y- D9 L$ r$ R学习下面文章, 备用:http://www.discuz.net/thread-2881375-1-1.html
8 P: h+ y2 e* P- f$ p4 x8 t2 ~
6 w6 o8 ]* F" L) @; v, t# }
! e- |3 X+ m7 q5 w* |0 X  f1 X' F) J7 a7 T1 |. R5 i& p* Q
常用的 MySQL 数据库恢复工具(也能进行备份操作)是 phpMyAdmin,这是一个开源、免费的工具,大多数主机商(例如 Hawkhost)都会免费提供 。相信很多站长也用过 phpMyAdmin 来进行网站数据库的备份和恢复,确实很方便,并且有多国语言界面。不过,有一种情况可能你还没碰到,就是当你的数据库体积比较大时,例如 SQL 备份文件大于 2MB,甚至大于 10MB,这个时候如果你通过 phpMyAdmin 来进行数据库的恢复,就会出错,显示如下的提示:
) z. g$ H! G' k: T: ^. c+ r
1056340.png
这是因为你的 SQL 文件体积太大,超过了 phpMyAdmin 的处理能力,这种情况在网络速度比较慢的情况下尤为突出,例如站长在周末晚上8点这个网络拥挤的时段尝试使用 phpMyAdmin 来恢复大型 MySQL 数据库备份,就容易遇到这种问题。" s7 `5 _5 H  G& R1 G( Y/ N
很显然 phpMyAdmin 只适用于恢复比较小的 SQL 文件备份。对于超大 MySQL 数据库备份的恢复,你必须换一个专用的恢复工具,那就是:BigDump!- g' `1 q6 M) `! O& ~
BigDump 数据库导入工具简介
; r" I3 A! j: I. S8 sBigDump 是由德国人 Alexey Ozerov 用 PHP 语言开发的一个工具脚本,它只有一个文件,名为 bigdump.php(你可以改名运行)。这个文件是独立运行的,因此与你的网站核心程序无关,不管是 WordPress,Drupal 还是 Joomla,只要你使用的是 MySQL 数据库,都可以用 BigDump 来恢复超大的 .sql 格式备份文件。
/ b6 N& W& N. S* M( l% s6 A7 a% J7 j* HBigDump 工作的原理也很简单:切割分段导入。它在读取 SQL 文件时,每次只读取一小部分,将其导入,然后重新开始一次恢复进程,再读取一小部分…… 周而复始,直到将整个 SQL 文件全部导入。  r, m$ c3 x; x" D! k3 I/ Q
BigDump 数据库恢复工具用法演示
9 Q* T+ |5 ]1 S. n假设我们已经有了一个 MySQL 数据库的备份文件,名为 gate2.sql,文件大小约 150MB(这么大的文件别指望通过 phpMyAdmin 来恢复了)。数据库字符编码为 utf-8。我们演示一下如何通过 bigdump.php 工具将这个备份文件恢复到在线数据库中去。3 n$ @4 O) @$ T% ~- r
1、获取 BigDump 文件并设置. ?1 R! W; Z; Q4 d- d! r
我们下载 BidDump 工具并解压,得到一个 bigdump.php 文件。毫无疑问,bigdump.php 文件需要设置一些参数,否则它怎么知道要导入的数据库的连接帐号?* g& ^+ r& o% P: T
用文本编辑器打开 bigdump.php 文件,在大约第 38 行开始,我们设置要导入的 MySQL 数据库连接参数。如下图所示:* ]. t" ]! G& M! o0 h
1056341.png
一般来说,设置好这几项就可以了。对于某些特殊数据库,还需要在下面第66行左右设置数据库字符编码。bigdump.php 文件中没有预设这个参数,原文是:* A3 e* N# p; B0 D" Y1 L6 w, p: D

* L, }8 @% s4 q9 S; s" _6 y" J6 @
$db_connection_charset = '';
如果你的数据库是 UTF-8 编码,那么此处就要修改为:
6 r: P# m2 [" ~  {- D, b
3 I3 Q' |4 |# i+ t4 Y* b. Z/ L
$db_connection_charset = 'utf8';
注意那个连字符要去掉。如下图所示:
3 F, i4 U8 t/ T1 T: _" W. w
1056342.png
接下来将设置好的 bigdump.php 文件上传到 Joomla 网站上,推荐上传到 /tmp 这个临时目录。
7 V. n( H7 P; L. `2、上传 MySQL 数据库备份文件
7 e6 ^: J1 W1 `* f" q1 `3 U现在需要将数据库备份文件上传到 bigdump.php 所在的 /tmp 目录中。考虑到文件较大,我们通过FTP 软件 FileZilla 上传zip 格式的文件,然后借助 Joomla 后台安装的 eXtplorer 资源管理器组件将其远程解压,在 /tmp 目录中得到 gate2.sql 文件。: I; j! |( R! ~! t& k& U
5 x. f# A6 Z2 ]. B
3、启动 BigDump 工具
' |3 y' n& @: m/ [) g  f  {( S* L5 x5 [在浏览器地址栏输入 bigdump.php 所在 URL 并回车,运行这个文件。例如本次演示是在本地测试服务器上进行,那么对应的运行网址是:+ x4 I9 ]& A* y9 a
http://localhost/gate/tmp/bigdump.php
" a/ w* m5 T. Q/ S$ `' j, o0 ~如果你输入的 URL 正确,就应该看到如下画面:
, s, J0 G' Y' ?& |& b& n: A% U) a3 W
1056343.png
这就表示 BigDump 工具已经成功启动,它在启动时就自动扫描所在目录中的全部文件和子目录。如果找到 SQL 格式或者 gzip/zip 格式文件,就假设这是数据库文件,在这些文件后面,就会显示出相应的操作链接。例如在上图中,它探测到所在目录中有一个 gate2.sql 文件,那么针对该文件就在表格右侧同一行中显示了两条操作链接,分别是“Start Import”(开始导入)和“Delete file”(删除文件)。上图的表格中也显示了 SQL 文件的大小,可以看到这个备份文件接近 150MB。
2 v) u3 D; G- E; ]7 U  f9 B3 q+ g在上图中,还可以看到一个文件上传功能,点击那个“浏览”按钮,你就可以上传一个 SQL 文件(或其压缩包)来进行导入。但是我们不推荐使用此功能。对于大型文件,FTP 上传是最佳选择。4 R$ r- ]6 j* `1 p9 B, {( H8 k
4、运行 BigDump 导入功能
4 J" m  b% ]3 a4 I0 r9 G点击上图中的“Start Import”链接,就看到如下画面:
  m* y3 H) A) C0 @; I. A4 c
1056344.png
上面这个截图是导入开始一段时间之后所截取的,可以看出 BigDump 正在顺利进行 SQL 文件的导入。表格中不仅显示了文件大小,还显示了已经导入的字节数及总体进度。
! N( D# U! L" w! z经过一段时间后(大约20分钟),这个 150MB 大小的 SQL 文件终于导入结束,看到如下画面:
# }/ s' [( Y& `6 A
1056345.png
原来显示进度条的地方,现在显示了一条消息:, t) q, f( {3 d7 l
Congratulations: End of file reached, assuming OK' x. P3 i% z' A$ [3 G$ [( B' P
意思是说:已经到达文件末尾,想必应该成功了。看到这条消息,你就可以完全放心了。BigDump 已经成功地将你的 SQL 备份文件导入到你所指定的 MySQL 数据库里面了。/ |0 Y4 |. m: u! t8 \
注意:数据库恢复成功结束后,不要忘记删除 bigdump.php 备份工具和你的 SQL 文件!使用 BigDump 数据库导入工具的注意事项
) ^8 D2 {+ m6 E8 }
$ V2 B% t* u+ A3 _6 U
8 F2 e/ z* y# I1、在开始导入之前,目标数据库必须清空/ g& R9 q5 A; j+ d. j$ `
如果目标数据库里面含有记录,那么 BigDump 就无法导入,会报错停止。因此请在开始运行 bigdump.php 文件之前,将目标数据库清空(最好删除全部内容)。
5 r: A/ D9 ~; l* n7 A# a$ g8 ?2、所用的 SQL 文件不能含有 Extended Inserts
# @4 ]! q' c( G! r+ z# @, j  {或许很多第一次使用 BigDump 的用户都会遭遇这个问题。这是因为 phpMyAdmin 在导出数据库时,已经默认勾选了“使用扩展插入”。( k$ p, ^& |/ Z5 A+ [5 m+ S# N
这里的“扩展插入”就是 Extended Inserts,而 BigDump 是不能处理带有 Extended Inserts 的 SQL 文件的。所以,在你制作数据库备份时,必须在 phpMyAdmin 的面板上去掉“扩展插入”的勾选。如下图所示:
8 ?9 {" ]% N; _( M! `$ k' h, W) k& P
1056346.png
3、如何使 Akeeba Backup 与 BigDump 配合工作?7 C) j$ [- d8 P4 _1 S, A3 i. X
我们前面推荐大家使用 Akeeba Backup 来制作备份文件。那么,可否使用 Akeeba Backup 来制作数据库备份,然后通过 BigDump 导入?当然是可以的。不过,这里面需要一些特殊技巧。我们将在 Akeeba Backup 使用详解 这篇教程中介绍。
2 Z: m9 m/ {3 u5 L8 B* y" `4、使用 BigDump 导入仍然发生超时错误
" K& P3 [8 _  t/ w8 v这种问题多见于配置比较低的服务器,或者服务器繁忙时段。那么,你可以尝试修改 bigdump.php 文件中的“Other settings (optional)” 这部分的 $linespersession 参数,将默认值 3000 修改得更小一些。(不过,我认为你还是换一个更好的服务器吧,例如 Hawkhost)。
* G; o- E  i0 j# p5、发生 MySQL 服务器超载怎么办?
: r2 o  n( s. H+ R如果服务器性能较差,在运行 bigdump.php 过程中可能会发生 MySQL 服务器超载(overrun)故障。你可以修改 bigdump.php 文件中的 $delaypersession 参数来解决。该参数让 bigdump.php 文件在结束一个片段的导入之后,休息一段时间(你设定的数值就是暂停的时间,单位:毫秒),然后再开始下一个片段的导入,这样服务器就不会太累了。
8 W) C- z! @1 w6、直接把 .sql 格式文件交给 BigDump
+ @' z- r2 M/ N3 U- J9 @5 ?; I在本次演示中,我们先将 zip 格式的备份包上传到服务器上,然后又将它解压成 .sql 格式的文件,再通过 BigDump 来导入。为什么不直接用 BigDump 来导入压缩格式的备份文件?1 `( R( \2 r, K
没错,BigDump 具有导入压缩格式 SQL 备份文件(zip/gzip)的能力,但是在处理压缩文件时,它需要先在临时目录中将其解压,再读取。请注意:这个解压并不是一次性的,而是每导入一个小片段,就要将整个压缩包重新解压一次。因此,直接导入压缩格式文件,反而使 bigdump.php 运行变慢。/ e# B) _% `) C* S# j
7、我还有更奇怪的问题……
( T7 Q7 L( ^6 A) a' @一般来说,运行 bigdump.php 导入一个 SQL 备份文件非常容易。如果你参照上述注意事项及操作过程,仍然不能顺利完成数据库备份文件的导入,那么请到http://www.ozerov.de/bigdump.php阅读更多 FAQ,查找原因。  i( D, w5 n; v; o$ n- s
工具下载地址:http://www.ozerov.de/bigdump.zip (10 KB ZIP archive) 8 s7 A5 {+ }+ `! Y: O0 K. w: w& Y

* a* K$ U0 d+ q* D) A$ }- i' [* A- D7 A; \9 @4 o
- `" \7 v$ ?9 _2 c, A* n4 E( u0 d


转载请保留当前帖子的链接:https://www.beimeilife.com/thread-16511-1-1.html 谢谢
发表于 2016-6-17 02:11 | 显示全部楼层
当前我们使用PHPMYADMIN进行手工备份, 同时利用Discuz后台备份作为补充。
发表于 2016-6-17 03:31 | 显示全部楼层
百万记录级MySQL数据库及Discuz!论坛优化+ @7 P9 w& H% D& @& q2 n$ w7 L
2 M  G# ^0 u, N, h9 V; @& c
http://chenyipeng.lofter.com/post/7f475_9a47c38
* e+ t7 X( i: Y8 c( V* Y7 o$ ]
. l! F4 S4 p! V9 I! Q

使用高级回帖 (可批量传图、插入视频等)快速回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则   Ctrl + Enter 快速发布  

发帖时请遵守我国法律,网站会将有关你发帖内容、时间以及发帖IP地址等记录保留,只要接到合法请求,即会将信息提供给有关政府机构。
快速回复 返回顶部 返回列表