株式会社インフィニットループ PHPとスマホアプリ開発を行う札幌のシステム会社

技術ブログ

  1. トップ>
  2. 技術ブログ>
  3. Linuxの記事一覧

2016年11月11日 (金)

著者 : 

MySQL を無料で使える db4free.net で MySQL 8.0 DMR を体験する

db4free.net で MySQL 8.0

こんにちは、みなさん MySQL チューニングしてますか! nobuh です。
今回は MySQL 8.0 DMR(開発マイルストーン版)がリリースされことを記念しまして、早速 8.0 を触ってみようというお話です。

DMR版の MySQL を入れる方法はいろいろあります。VirtualBox に立てたサーバーに yum/apt で入れたり、Vagrant, Docker を使ったりなど、みなさんも日常的に行われていると思います。今回はちょっと趣向を変えまして db4free.net というテスト向けに最新の MySQL を無料でホスティングしているサービスがありますので、そちらを使ってみました。

db4freetop

(続きを読む…)

2016年05月16日 (月)

著者 : 

ユーザー名ベースで接続先を切り替えるSSHリバースプロキシ「SSH Piper」を使ってみた

こんにちは、mizuno_asです。みなさんの(社|家庭)内にも、たくさんの開発環境やテスト環境が動作していることだと思います。もちろん弊(社|宅)も例外ではありません。

LXDのようなシステムコンテナを使い、複数の開発環境を1台のホストに集約することも、もはや珍しくありませんよね。一般的に、各コンテナにはローカルなIPアドレスが振られ、コンテナ用のブリッジに接続されていることでしょう。このような場合、コンテナホスト上にNGINX等のリバースプロキシを用意して、HTTP接続は名前ベースで各コンテナにプロキシするのが定番です。


Photo by NOAA’s National Ocean ServiceCC BY 2.0

(続きを読む…)

2016年02月26日 (金)

著者 : 

sedがシンボリックリンクを破壊する話

こんにちは、mizuno_asです。
sedは便利ですよね。自動化する際や手順書を作る際、人間が対話的にやらなければならない操作をコマンドで自動化できるのはすばらしいです。
sedには入力元ファイルを上書きする-iオプションが存在します。みなさんも設定ファイルをコマンドラインから書き換えるような際に、よく使うのではないでしょうか。ところがsedの-iオプションはノーケアで使うと、シンボリックリンクを破壊することはご存知でしょうか?

hammer-sledgehammer-mallet-tool-striking-hitting
Photo via Visualhunt

(続きを読む…)

2016年01月25日 (月)

著者 : 

第六回札幌MySQL(+PostgreSQL)勉強会開催のお知らせ

インフラ担当 & 札幌MySQL勉強会の nobuh です。

posgresmysql

久しぶりの開催となってしまいましたが第六回札幌MySQL勉強会が開催されます。

日時: 2016/01/30 15:00-18:00
場所: 株式会社インフィニットループ(札幌市中央区北1条東4丁目1-1サッポロファクトリー1条館3階)

(続きを読む…)

2015年09月11日 (金)

著者 : 

クラウド時代の新常識はこれだ!「MySQL クラウド向け InnoDB チューニング」

こんにちは。インフラエンジニアの nobuh です。

株式会社インサイトテクノロジー様主催の db tech showcase sapporo 2015  が 9月10日、11日の2日間にわたって開催されました 。

今回、弊社も発表する機会を頂きましたので、インフラエンジニアとして日々 MySQL と格闘して培ったノウハウについてお話させて頂きました。その発表で使ったスライドがこちらです。

(続きを読む…)

2015年06月23日 (火)

著者 : 

boot2docker を使って Windows で docker を体験する

docker というと Linux の世界の出来事のようなイメージがありますが、Windows でも boot2docker というソフトをインストールする事で docker の世界を体験することが出来ます。そんな docker の面白い世界の入り口を紹介して行きたいと思います。

インストール編

  1. VirutalBox インストール
    64ビットの VirutalBox を Windows にインストールします。VT-x が使えるプロセッサで 64 ビット Windows のマシンが必要です。 今となっては敷居高くないと思いますが、持ってない人はごめんなさい。ノートPCで Windoes 8 64bit を使っているのに VirtualBox で仮想サーバー作ったら 32 bit のサーバーしか作れない!という方は BIOS 設定の方をご確認してみてください。エントリーレベルのノートPCですと、たまに AMD の SVM (AMD-V) や Intel の VT-x が BIOS で OFF になっているケースがあります。
  2. Git for Windows https://msysgit.github.io/ のインストール
    cygwin をインストールし既に Windows を Linux 風サーバーとして使っている方もそのまま msysgit を追加でインストール可能です。ここまでの2つはboot2dockerに必要なソフトですが、単独でそれぞれの用途に使えるものですので、事前にインストールして簡単な操作には慣れておくことが望ましいです。
  3. boot2docker http://boot2docker.io/ インストール
    サイトからダウンロードしてインストールし、最初に boot2dockerのアイコンをクリックします。すると VirtualBox のゲストである docker ホストマシンに ssh で入ることになります。この画面が出れば完了です。
                            ##        .
                  ## ## ##       ==
               ## ## ## ##      ===
           /""""""""""""""""\___/ ===
      ~~~ {~~ ~~~~ ~~~ ~~~~ ~~ ~ /  ===- ~~~
           \______ o          __/
             \    \        __/
              \____\______/
 _                 _   ____     _            _
| |__   ___   ___ | |_|___ \ __| | ___   ___| | _____ _ __
| '_ \ / _ \ / _ \| __| __) / _` |/ _ \ / __| |/ / _ \ '__|
| |_) | (_) | (_) | |_ / __/ (_| | (_) | (__|   <  __/ |
|_.__/ \___/ \___/ \__|_____\__,_|\___/ \___|_|\_\___|_|
Boot2Docker version 1.5.0, build master : a66bce5 - Tue Feb 10 23:31:27 UTC 2015
Docker version 1.5.0, build a8a31ef
docker@boot2docker:~$

(続きを読む…)

2015年05月14日 (木)

著者 : 

Ubuntu 15.04とLXDではじめるコンテナ型仮想化

こんにちは、mizuno_asです。
2015年4月23日、UbuntuチームはUbuntu 15.04 Vivid Vervetをリリースしました。このリリースから、UniverseリポジトリにコンテナハイパーバイザーであるLinux Container Daemon(LXD)が含まれるようになりました。それではさっそくUbuntu 15.04とLXD 0.7を使って、お手軽なコンテナ環境の構築を試してみましょう。


Photo by Philippe PutCC BY 2.0

(続きを読む…)

2013年08月20日 (火)

著者 : 

これだけ見れば大丈夫!ーMySQLパフォーマンス監視のツボ(システム編)

こんにちは nob です。
前編 これだけ見れば大丈夫!ーMySQLパフォーマンス監視のツボ(クエリ編) の記事から1年半が経過してしまいました。ちょっと長いお休みでしたが、その間に蓄えた MySQL パフォーマンス監視の実戦経験を(システム編)としてお届けいたします!

今回の(システム編)で紹介するツボは 4 つです。(クエリ編)のツボに加えて、この4つに注目して頂ければ MySQL のパフォーマンス監視もバッチリです。

  • (ツボ1)Load Average < (1 + (cpu数-1)/3) 
  • (ツボ2)Checkpoint Age が水平線になったら要注意
  • (ツボ3)MyISAM は無いよね監視
  • (ツボ4)万能選手スローログ

なお前編と同様この記事では監視ツールとして CactiPercona MySQL Monitoring Template for Cacti (前編で紹介した better-cacti-templates の後継プロジェクト)を前提にしていますが、Munin やコマンドラインの mysql など、他のツールでも見るべき点は同じですので応用してください。

(ツボ1)Load Average < (1 + (cpu数-1)/3) 

右側の式は後ほど説明するとして、Load Average 監視って当たり前?ですよね。でも実際には Load Average にもいろいろなケースがあります。

  • Disk I/O が増えた場合に Linux カーネルのフラッシュのプロセスが CPU を使ったり、あるいはコンテキストスイッチでLA増加
  • アクセスしているテーブルのデータが殆どバッファープールに乗っている場合には相対的に I/O 負荷が低くなるため、クエリが増えた場合にその分ロック機構で使われるスピンロックなどの排他制御やソート処理で LA 増加
  • インデックスが使われず広範囲に読み込みスキャンするようなクエリを誤ってリリースしたような場合にも LA増加
  • クラウドのインスタンスがホスト側の障害で不良だった場合にも、アクセス数は変わって無いのに LA増加

などがあります。このように CPU, Disk I/O, クエリ負荷、クラウドの不良インスタンスまで、あらゆる状況を総合的に把握出来るのがやっぱり CPU のビジーで、その代表的なグラフが  Load Average です。

load_average_example

このグラフはあるシステムの2日間の Load Average のグラフです。左のグラフの 13:00 付近から Load Average が急上昇しました。これは新しく使われ初めたある機能により、実行回数も多いクエリのジョインやソートの行数が急に増加したため Load Average が上昇したものです。探索行数が多いと I/O が増加するイメージがありますが、実際には OS のキャッシュや MySQL のバッファプールに乗るため I/O は増えずに CPU だけ負荷が増える事があります。この場合も Load Average の上昇で兆候を発見し、まだ問題ない程度のうちに原因クエリを特定し改善することで、夜のピーク時間帯には通常ピーク値(青線)に戻す事が出来ました。

このように監視項目として有効な Load Average ですが、さてしきい値はいくつにしたらよいでしょうか? Linux カーネルのマルチコアでは

  • キャッシュのヒット率やメモリ一貫性維持のオーバーヘッドを考慮し、プロセッサのコアはある程度偏らせて使う
  • プロセス起動時は空いているコアを選択するが、MySQL はプロセス起動はあまり発生しないのでこの分散の恩恵は受けない
  • かなり負荷が高くなるとプロセスを動かしたままコアを移動するマイグレーションがおきるが、滅多に発生しない

という CPU を偏って使う特徴があるので、ググってよく出てくる 「Load Average < CPU数」は適正値にはなりません。とは言えしきい値も必要です。そこで、完全な経験則だけで理論の裏付けはありませんが、MySQL のインスタンスの Load Average のしきい値を出しました。

  • MySQL では Load Average  <  (1 + (cpu数 -1) /3)

です!よくある8コアのマシンですと、LA < 3.3 までが適正値です。ハイ言っちゃいました!

(ツボ2)Checkpoint Age が水平線になったら要注意

Redis や MySQL Cluster など多くのデータ永続化インメモリDBはデータはメモリ上で、HDDのシーケンシャル書き込みは速いのでログはディスク上で、という構造になっています。InnoDB もデータをメモリ上だけに持てるサイズがあり、このサイズまではインメモリDBと同じようにログだけディスクに書いた状態で動作します。このメモリ上に持ったままでよいサイズというのが  innodb_log_file_size です。そしてまだディスクにフラッシュされていないデータのサイズが Checkpoint Age になります。漢のコンピュータ道 でも128M程度までというアドバイスがありますが、一方で、ログファイルサイズを大きくすることで、高い性能を引き出そうというチューニング手法もあります。

Checkpoing Age が成長すると緩やかにディスクへのランダム書き込み(チェックポイント)が始まります。チェックポイントと、シーケンシャルなログ書き込みの量のバランスが取れていれば、 Checkpoint Age もバランスが取れ、上がったり下がったりしつつアクセス量と同じようなグラフの形になります。

checkpoing_age_low

使用ディスクが RAID などでシーケンシャル書き込みがランダム書き込みに比べてかなり速い場合は、ログの書き込みの方が多くなりCheckpoing Age が成長します。そして一定の割合(バージョンによる。90%等)を超えると今度は強いチェックポイントが始まります。この強いランダム書き込みとログのシーケンシャル書き込みでバランスが採れていれば、Checkpoing Age は高止まりした波グラフ(下のグラフの青い部分)になります。全力でディスクを使っている状態です。

checkpoint_age_middle

ここからさらにログ書き込み量が上回りCheckpoint Age が上限に達すると、全てのトランザクションを停止してチェックポイントを行うようになります。そして Checkpoint Age が下がりトランザクションが再開されますが、更新が多いのでまたすぐ上限に達します。この動作を繰り返し続けるので Checkpoint Age は下のグラフの様に上限値でほぼ水平線になります。このグラフの形でも全トランザクション停止時間が1秒未満など微視的であれば、上の例と同じく全力運転状態と言えます。

checkpoint_age_high

一方、高速動作を狙って innodb_log_file_size を〜GBというようにバッファプール並みに大きくしてると、全トランザクションをブロックして書き込む量も多くなりますので、停止時間が数分間にも達し大きな問題となる事があります。こうしたトランザクション停止時間は Checkpoint Age のグラフでは読み取ることが難しいですから、Checkpoing Age が水平線になったらトランザクション全停止が発生していないかアプリのログなどで確認するようにしましょう。

ドリコムさんで体験された「ちゅどる」もこの現象になります。(ソーシャルゲーム スケールアウトの歴史 p81 参照)またPercona の Adaptive Checkpointing  はこの「ちゅどる」にならないようにチェックポイントの強さを自動的に調節する機構です。

(ツボ3)MyISAM は無いよね監視

現在は MySQL = InnoDB といっても過言ではないと思います。MyISAM のテーブルは作成していません。それなのに突然 MyISAM Indexes のグラフが急上昇することがあります。大抵はシステムも高負荷になっています。

myisam_indexes

これはジョインやソートのために MySQL 内部に作成されるテンポラリテーブルが、メモリ上には乗り切らず MyISAM テーブルとして作成され使用されている為発生します。MyISAM Indexes のグラフを監視して、発見したら

  • max_heap_table_size  と tmp_table_size をさらに大きな値に変更してメモリから溢れない様にする
  • クエリを見直してテンポラリテーブルの使用量を下げる

などの対応が必要です。

(ツボ4)万能選手スローログ

MySQL パフォーマンスチューニングや監視で、もっとも有効なのがスローログです。理由は単純明快で、あらゆるDBの問題は「遅い」という症状につながるからです。そんな万能選手のスローログですが、完全無欠ではなく注意すべき点が2点あります。

  1. 完了したクエリだけが記録される。デッドロックなどロールバックされたクエリは完了していないため記録されません。記録されているスローログは被害を受け遅延したクエリで、原因となった加害者のクエリが最終的にはロールバックされ記録されていないというケースもあります。あくまでも完了したクエリなんだという前提で読みましょう。
  2. クエリが原因だと先入観を持たない。あるクエリの実行時間が想定以上に長い場合、ついそのクエリの書き方に注意が向きがちですが、先入観を持たずに調査しましょう。例をあげますと、 SELECT MASTER_POS_WAIT(logname, position, 2) という、本来2秒で応答すべきスレーブのマスター追いつき確認関数 MASTER_POS_WAIT の実行に何十秒もかかっていて、 実はインスタンス自体がハングアップしていたのが原因でクエリも MySQL も原因では無かった、というケースなどがあります。

最後に

MySQL パフォーマンス監視のツボ(システム編)としてサーバー運用管理での経験を共有させて頂きました。是非ご活用ください!

  • このブログについて

    このブログは、札幌市の「株式会社インフィニットループ」が運営する技術ブログです。
    お仕事で使えるITネタを社員たちが発信します!

    最新の記事