MySQLで日付単位に分割したテーブルを作成するシェルスクリプト

MySQLで日付単位に分割したテーブルを作成するシェルスクリプト

記事一覧MySQLで日付単位に分割したテーブルを作成するシェルスクリプト

一般ユーザ相手のサービスをする場合、ユーザ数がどこまで増えるか読みにくいので 1 つのテーブルに格納されるレコード数が気になるところです。そこで、パーティショニングやシャーディングなどの手法が候補としてあがるわけですが、どちらも運用面でメリット・デメリットがあります。また、よくある手法で、事前に物理的にテーブルを分けてしまうという方法もあります。

テーブル名にサフィックスとして 0 から 9 までの連番を振って 10 個に分けたり、サフィックスを日付にして 1 日分を 1 テーブルでまかなう方法もあります。実際には、ユーザのアカウント ID(数値の場合)を 10 で割った余りをサフィックスとして使うとか、100 で割った余りを使うとか様々です。日付を使う場合は、いつまでサービスが続くかで変わってきますが、ある程度未来の分までテーブルを用意しておかないと 0 時を境にエラー連発という事態もありますので要注意です。

シェルスクリプトで実現してみる

っと、ダラダラと書きましたが、今回は純粋に日付でサフィックスを用意して、テーブルを指定の数作ることを想定してみます。そこで、今日から何日分のテーブルを作るという感じでスクリプトを書いてみましたが、実際には指定の日付から何日分作りたいとか出てくると思うので、それは最後に補足しておきたいと思います。

また、今回のように日付単位でテーブルを用意する場合は、最初に一気に作るのもアリですが、終了日が決まっていないサービスだと厄介なので、毎日のバッチで翌日分を作るとか、月次で翌月分のテーブルを作るなど自動化と処理完了のチェックをしておけると安心ですね。翌日分はさすがに休日絡むと確認したくないので、もっと運用が楽になる方向で検討したいですね。

さて、スクリプトの説明です。hoge というテーブルと同じ定義のテーブルを別名で作成していく。CentOS6 で動作確認しています。

#!/bin/sh

DAYS=30

DB_USER="db_user"
DB_PASS="db_pass"
DB_NAME="db_name"
DB_HOST="db_host"
MYSQL="mysql -u${DB_USER} -p${DB_PASS} -h${DB_HOST} ${DB_NAME}"

((DAYS--))
for day in `seq 0 ${DAYS}`; do
  DATE=`date +"%Y%m%d" --date "${day} day"`
  ${MYSQL} -e "CREATE TABLE hoge_${DATE} LIKE hoge;"
done

exit 0;

応用としては、基点の日付を指定しておいて、そこから 1 日ずつ足していく方法でしょうか。まあ、ダサイですが即席スクリプトってことで。

#!/bin/sh

START_DAY="2016-03-02"
DAYS=30

DB_USER="db_user"
DB_PASS="db_pass"
DB_NAME="db_name"
DB_HOST="db_host"
MYSQL="mysql -u${DB_USER} -p${DB_PASS} -h${DB_HOST} ${DB_NAME}"

((DAYS--))
for day in `seq 0 ${DAYS}`; do
  DATE=`date +"%Y%m%d" --date "${START_DAY} + ${day} day"`
  ${MYSQL} -e "CREATE TABLE hoge_${DATE} LIKE hoge;"
done

exit 0;

参考カテゴリ

オススメ記事

最新の投稿やよく見られているのオススメ記事一覧です。

標準出力と標準エラー出力をパイプに渡す

よく、標準出力先をファイルにリダイレクトすることはありますが、意外に標準エラー出力は使う機会がありません。しかし、やはりツールやパッケージ製品になると標準エラー出力も活用されているようです。でも、...

Linux(FreeBSD)

>>記事を確認する

主要無料ブログ5つに対する自動投稿PHPプログラム

アメブロへ楽天APIなどの情報を自動で投稿する の反響が良かったので、どうせならアメブロ以外の無料ブログの XML-RPC を使った自動投稿も紹介したいと思います。これには FC2BlogManager.php というライブ...

PHP

>>記事を確認する

snmpでデバイスの情報を取得

snmpでデバイスの情報を取得するコマンドです。これを元に、ディスクIOなどのMIB値を探します。 $ snmpwalk -v 2c -c {SNMPGROUPNAME} localhost 1.3.6.1.4.1.2021.13.15.1.1.2 (結果の一部) UCD-DIS...

Linux(FreeBSD)

>>記事を確認する

awkで指定したカラム以降をprint表示する

前回、awk で最後のカラム以外を表示してみましたが、今回は指定したカラム以降のカラムを全部表示したいと思います。 例えば、7 個の文字列がカンマで区切られているファイルがあるとしたら、3 番目のカラム...

awk / シェル

>>記事を確認する

CentOSでRedisサーバを使う

冗長化した Web サーバなどで、セッションの管理や、セッションや特定のユーザーに紐付く一時データを管理するのに memcache を使う場面は多いと思います。 その memcache の中でも主流なのが memcached です...

Linux(FreeBSD) / CentOS / Redis

>>記事を確認する

新しいぐるなびAPIで飲食店の店舗情報取得

過去に作成した「ぐるなびAPI」のプログラムや、ぐるなびの Web Service が新しくなったこともあり、API からの情報取得プログラムを書き換えてみました。 以前の記事は下記になります。 ・ ぐるなびAPIで...

WebAPI

>>記事を確認する

NginxのFastCGIキャッシュで白い画面がキャッシュされる

以前から、トップページにアクセスすると、レスポンスステータスは 200 で返ってくるのに、画面に何も表示されない現象が稀に見受けられたので調査してみました。 さすがに機会損失にも繋がるということで、...

Nginx

>>記事を確認する

Laravel5.4の認証ユーザーのパスワードハッシュについて

Laravel で用意されている認証モジュールを利用する際、ユーザーモデル(User.php)経由で登録されるパスワードのハッシュ方法について調べてみました。 Laravel 上ではパスワード文字列を bcrypt() のヘルパー...

PHP / Laravel

>>記事を確認する

Laravel5.4のコントローラコンストラクタでAuth::user()が取得できない

Laravel5.4 で認証を通したアクセスに対して、コントローラのコンストラクタでユーザモデルの値を取得しようと思ったら、なぜか Auth::user() の値が取得できなくて悩みました。 public function __construc...

PHP / PHPフレームワーク / Laravel

>>記事を確認する

NginxのHSTS(HTTP Strict-Transport-Security)の設定

「Let's Encrypt」のおかげで、全サイト SSL 化していますが、これまで nginx の設定では、http のアクセスがあった場合に https に 301 リダイレクトさせていました。 この場合、Googlebot に http のアク...

セキュリティ / Nginx / SSL

>>記事を確認する