MySQLで日付単位に分割したテーブルを作成するシェルスクリプト

MySQLで日付単位に分割したテーブルを作成するシェルスクリプト

記事一覧MySQLで日付単位に分割したテーブルを作成するシェルスクリプト

一般ユーザ相手のサービスをする場合、ユーザ数がどこまで増えるか読みにくいので 1 つのテーブルに格納されるレコード数が気になるところです。そこで、パーティショニングやシャーディングなどの手法が候補としてあがるわけですが、どちらも運用面でメリット・デメリットがあります。また、よくある手法で、事前に物理的にテーブルを分けてしまうという方法もあります。

テーブル名にサフィックスとして 0 から 9 までの連番を振って 10 個に分けたり、サフィックスを日付にして 1 日分を 1 テーブルでまかなう方法もあります。実際には、ユーザのアカウント ID(数値の場合)を 10 で割った余りをサフィックスとして使うとか、100 で割った余りを使うとか様々です。日付を使う場合は、いつまでサービスが続くかで変わってきますが、ある程度未来の分までテーブルを用意しておかないと 0 時を境にエラー連発という事態もありますので要注意です。

シェルスクリプトで実現してみる

っと、ダラダラと書きましたが、今回は純粋に日付でサフィックスを用意して、テーブルを指定の数作ることを想定してみます。そこで、今日から何日分のテーブルを作るという感じでスクリプトを書いてみましたが、実際には指定の日付から何日分作りたいとか出てくると思うので、それは最後に補足しておきたいと思います。

また、今回のように日付単位でテーブルを用意する場合は、最初に一気に作るのもアリですが、終了日が決まっていないサービスだと厄介なので、毎日のバッチで翌日分を作るとか、月次で翌月分のテーブルを作るなど自動化と処理完了のチェックをしておけると安心ですね。翌日分はさすがに休日絡むと確認したくないので、もっと運用が楽になる方向で検討したいですね。

さて、スクリプトの説明です。hoge というテーブルと同じ定義のテーブルを別名で作成していく。CentOS6 で動作確認しています。

#!/bin/sh

DAYS=30

DB_USER="db_user"
DB_PASS="db_pass"
DB_NAME="db_name"
DB_HOST="db_host"
MYSQL="mysql -u${DB_USER} -p${DB_PASS} -h${DB_HOST} ${DB_NAME}"

((DAYS--))
for day in `seq 0 ${DAYS}`; do
  DATE=`date +"%Y%m%d" --date "${day} day"`
  ${MYSQL} -e "CREATE TABLE hoge_${DATE} LIKE hoge;"
done

exit 0;

応用としては、基点の日付を指定しておいて、そこから 1 日ずつ足していく方法でしょうか。まあ、ダサイですが即席スクリプトってことで。

#!/bin/sh

START_DAY="2016-03-02"
DAYS=30

DB_USER="db_user"
DB_PASS="db_pass"
DB_NAME="db_name"
DB_HOST="db_host"
MYSQL="mysql -u${DB_USER} -p${DB_PASS} -h${DB_HOST} ${DB_NAME}"

((DAYS--))
for day in `seq 0 ${DAYS}`; do
  DATE=`date +"%Y%m%d" --date "${START_DAY} + ${day} day"`
  ${MYSQL} -e "CREATE TABLE hoge_${DATE} LIKE hoge;"
done

exit 0;

参考カテゴリ

オススメ記事

最新の投稿やよく見られているのオススメ記事一覧です。

AmazonLinuxでEC2起動時にスワップ領域の割り当てに失敗

EC2 起動時のスワップ領域割り当てですが、これまでは以下の記事を参考に、/etc/rc.local を使って行っていました。 ・ Amazon EC2(Linux)のswap領域ベストプラクティス しかし、最近になって、EC2 イン...

>>記事を確認する

【5分でできる】Laravel5.4から5.5へバージョンアップ

Laravel5.5 がついにリリースされたので、5.4 ベースで作っていたものをバージョンアップしてみました。 composer.json の以下の部分を 5.5.* に変更するだけですが、依存関係のパッケージも問題なくアップデ...

>>記事を確認する

【30分でできる】AWSのEC2にgoofysを入れてS3をマウント

過去に携わったプロジェクトで、S3FS の通信状態が悪い時があるので、アプリ側のプログラムを AWS SDK を使ったものに置き換えていこうという施策がありました。 S3FS の導入には関わっていなかったので、導...

>>記事を確認する

【30分でできる】ぐるなびAPIで飲食店の店舗情報取得

過去に作成した「ぐるなびAPI」のプログラムや、ぐるなびの Web Service が新しくなったこともあり、API からの情報取得プログラムを書き換えてみました。 以前の記事は下記になります。 ・ ぐるなびAPIで...

>>記事を確認する

NginxのFastCGIキャッシュで白い画面がキャッシュされる

以前から、トップページにアクセスすると、レスポンスステータスは 200 で返ってくるのに、画面に何も表示されない現象が稀に見受けられたので調査してみました。 さすがに機会損失にも繋がるということで、...

>>記事を確認する

Laravel5.4の認証ユーザーのパスワードハッシュについて

Laravel で用意されている認証モジュールを利用する際、ユーザーモデル(User.php)経由で登録されるパスワードのハッシュ方法について調べてみました。 Laravel 上ではパスワード文字列を bcrypt() のヘルパー...

>>記事を確認する

Laravel5.4のコントローラコンストラクタでAuth::user()が取得できない

Laravel5.4 で認証を通したアクセスに対して、コントローラのコンストラクタでユーザモデルの値を取得しようと思ったら、なぜか Auth::user() の値が取得できなくて悩みました。 public function __construc...

>>記事を確認する

NginxのHSTS(HTTP Strict-Transport-Security)の設定

「Let's Encrypt」のおかげで、全サイト SSL 化していますが、これまで nginx の設定では、http のアクセスがあった場合に https に 301 リダイレクトさせていました。 この場合、Googlebot に http のアク...

>>記事を確認する

GoogleMapのAPIキーの認証情報にリファラURL設定

昔は API キーを指定することで、JavaScript で GoogleMap が表示できていましたが、何年か前に、そのキーに対して認証情報の追加が推奨されました。 新規で発行する場合は必須になっているかもしれませんが...

>>記事を確認する

【30分でできる】AmazonLinuxでApache2.4+php7.1+Laravel5.5

先日、「 VagrantでCentOS6.9のイメージを使う 」の通り、CentOS6.9 には Apache2.4 と PHP7.1 で Laravel のフレームワークが使える環境を構築しました。 ただ、将来的には AWS かつ Amazon Linux 上で動か...

>>記事を確認する