MySQLデータの復元とCSV変換方法に関するコンサルティング

1階層からみんなで進めてくMMOとか面白そう。 だれかが100層のボス撃破で次の世界線(ALO)がオープン 1年くらいでクリアされる計算で1年後には膨大なデータ量を持った1つのサーバーになればいいんだよ。 SEGAならそれくらいできる
新学期一日目、全学のサーバーがダウンしたのは、なんとデータセンターで火災報知器が作動したからだそうな 企業じゃないから、数時間ネット使えなかったから何百万何千万損失したとかいうことはないだろうけど、関係者は冷や汗かいてるだろうな
私だけサーバーアクセスできやんとか何事。 2時間残業申請できやんし、 データ入力できやんから、 明日追加で仕事増えるし、 もう外明るし、 ふぁ🤗🤗🤗
彼らのリークによればその機密データは 広島県福山市幕山台4-11-24のサーバーに厳重に保管されているそうだ。

■背景
数億レコード(サイズ:120GB)を格納しているMySQLサーバーがあります。

定期的にDUMPデータのバックアップを取得しているのですが、このDUMPデータを他のサーバー上で復元しようとすると非常に時間がかかっております。

前回は実施した際は2週間経過しても復元が完了されず、途中で停止しました。

▼復元方法イメージ

mysql -u root -D 中身を入れたいDB < ~/落としてきたダンプファイル名

■想定
特殊なINDEXの組み方をしているためか、データインサートと合わせてインデックス構築に時間がかかっているのだと思います。
又、CPUやメモリの利用率を見ても、30%を超えていない為か、マシンリソースを100%利用できてはいないことも確認しています。

■お願いしたい事
1)このケースに於いてMySQLデータを高速で復元する方法をご教示ください
 └復元先にサーバーはWindowsになり、復元用なのでCPU利用率が100%になっても構いません。
  イレギュラーな使い方で高速に復元できる方法があればご教示ください

2)復元した先のDBサーバーで膨大なデータをCSV形式で出力する方法を教えてください
 └数億レコードありますので、出来る限り早く尚且つ途中で止まらない方法論をご教示ください

■注意
今回の依頼は膨大なデータを復元する事にあります。
数億レコードのDBやテーブルをDUMPから復元された事がある方からのご提案をお願い致します。
通常(数千万レコード)の復元では対処できない場合もありますので、一定のご経験がある方にお願いしたく考えております。

■仕事のやり取り・成果点
・基本的にはクラウドワークスのチャットにてやり取りさせて頂ければと考えております。
基本DBの内容は開示できませんが、ある程度ご提示できるかと思います。
また、質問などもさせていただきますので、1日内にお答え頂けると助かります。

・成果点は、復元が約数日(できれば2~3日)で完了し、尚且つCSV出力も数時間~1日でできるようになった
という状況を指します。
それに必要なマシンスペックなどはご提示頂ければと存じます。

求めるスキル : MySQL / サーバー / Windows / コンサルティング
支払い方式 : 固定報酬制
予算 : 10,000円 〜 50,000円
納品希望日 : 2017年07月28日

  • コメント

    1. 匿名希望
      2017/08/22(火) 05:33:45

      私だけサーバーアクセスできやんとか何事。
      2時間残業申請できやんし、
      データ入力できやんから、
      明日追加で仕事増えるし、
      もう外明るし、
      ふぁ🤗🤗🤗

    2. 匿名希望
      2017/08/22(火) 05:33:45

      新学期一日目、全学のサーバーがダウンしたのは、なんとデータセンターで火災報知器が作動したからだそうな
      企業じゃないから、数時間ネット使えなかったから何百万何千万損失したとかいうことはないだろうけど、関係者は冷や汗かいてるだろうな

    3. 匿名希望
      2017/08/22(火) 05:33:45

      1階層からみんなで進めてくMMOとか面白そう。
      だれかが100層のボス撃破で次の世界線(ALO)がオープン
      1年くらいでクリアされる計算で1年後には膨大なデータ量を持った1つのサーバーになればいいんだよ。

      SEGAならそれくらいできる

    4. 匿名希望
      2017/08/23(水) 00:02:00

      彼らのリークによればその機密データは
      広島県福山市幕山台4-11-24のサーバーに厳重に保管されているそうだ。

    記事に戻る

関連記事