「amazon クラウド」一覧

[AWS] S3のバケットをリージョンをまたいでマウント　

2015/7/15 2015/7/20 amazon クラウド, 技術報告

S３を活用するにあたり、複数のEC2から同一のバケットにアクセスできる仕組みを

作りたいというのは、誰しも想定するかと思いますが。

実際にどこまでできるかというところですね。

以下の手順で検証してみましょう。

１．バケットを作成する（リージョンはオレゴン）

２．EC2を作成する。（リージョンは東京）

３．フリーツールS3fsをインストール。

$ sudo yum -y update
$ sudo yum -y install gcc-c++ fuse fuse-devel libcurl-devel libxml2-devel openssl-devel
$ wget https://s3fs.googlecode.com/files/s3fs-1.74.tar.gz
$ tar zxvf s3fs-1.74.tar.gz
$ cd s3fs-1.74
$ ./configure –prefix=/usr/local
$ make
$ sudo make install

インストールされてか確認
$ find /usr/local -type f
/usr/local/bin/s3fs
/usr/local/share/man/man1/s3fs.1

４．バケットをマウント

IAMユーザーの作成

試しに作成作成してみました。
↓
testuser
アクセスキー ID:
AKIAJYLWLPAAAZWC2TSA
シークレットアクセスキー:
+djZ2c/WIjnDdKzoRUtF+P1xoAAAAFe53RGlH2os0

※参考URL
http://qiita.com/monry/items/fa3bebd69e04a08ae12f

ディレクトリの作成（SSHでログインできないので未確認）
$ su –
mkdir /upload/600
chmod 777 /upload/600

※参考URL
http://hivecolor.com/id/49

s3fs の設定（SSHでログインできないので未確認）
echo “AKIAILFEAAAYLXKBOEQ:Fg8iwL6UALujjAeeGAAAEkvhbV2+mPL8QkFLyFpP” > /etc/passwd-s3fs

S3のマウントコマンド

sudo /usr/local/bin/s3fs s3folder1 /mnt/s3fs/ -o rw,allow_other,iam_role=”rolebucket”

５．EC2を作成する（リージョンはシンガポール）

６．フリーツールS3fsをインストール。

上記３と同様

７．バケットをマウント

上記４と同様

８．テキストを作成し保存する。

９．東京リージョンのEC2でバケットにアクセス。

１０．先ほどシンガポールリージョンで作成したテキストにアクセス。

１１・テキストを更新する。

１２．リージョンをまたいだテキストの編集ができました。

ここに立証致します。

ざっとこんな手順です。

しかし上記試してみると、テキスト編集の際、レーテンシー（遅延）が気になりますね。

メルマガ登録をお願いします。

素敵な？情報がいつもあなたに届くようになります。（itmnewsの記事が届きます。）お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。

[amazon クラウド]　RDS上のMySQLでリージョン間のレプリケーションを構築する

2015/6/20 2015/7/12 amazon クラウド, mySQL, データベース, 技術報告

2015-07-12前回、前々回とRDS内でのレプリケーションの仕組み、MySQLでのレプリケーションの仕組みををまとめましたが

それを踏まえて

リージョン間でレプリケーションしたらどうなるかをまとめてみました。

つまり更新系はマスターでないと他のスレーブに配ってくれないので、データは

マスターに行く。参照系は、各リージョンにあるRDSに繋げば、データ量が多いクエリも

マスターを見に行くより早いのは間違いない。

この方法による構築での課題点は

・参照系と更新系でデータベースの接続先が違う。

・MySQLのレプリケーションは非同期レプリケーションなので、タイミングによっては、
整合性がとれていないクエリー結果になってしまう。
上記の図の例で言いますと、海外１と海外２はタイミングによっては、結果がずれる。
東京は、マスターを参照するので、ずれはない。
因みに、リージョン内での参照系レプリケーションであればRDS側のReadReprication機能で対応できます。

具体的な手順を以下に記載します。

１．まず、マスターのＥＣ２を立ち上げます。

２．MySQLをインストールしましょう。

３．マスターのリージョンにＲＤＳインスタンスをmySQLで起動します。

•MySQL5.6.13のRDS

•Publicly AccessibleをON

•Mullti-AZオプションはOFF

•セキュリティグループではお互いの通信を許可

ポートの開放

インバウンド、アウトバウンド両方

４．ＥＣ２からＲＤＳのmySQLに接続

mysql -h m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com -P 3306 -u root  -p test_db

1	mysql -h m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com -P 3306 -u root -p test_db

５．ここでレプリケーション用のユーザーを作成しておく

GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%' IDENTIFIED BY 'password';

1	GRANT REPLICATION SLAVE ON . TO 'repl'@'%' IDENTIFIED BY 'password';

６．テスト用のテーブルを作成する。

create table  test_table (id int, name varchar(128), tel char(10), mail char(100)) character set utf8; 
insert into test_table values (1, 'tanaka', '090-111-5555','tanama@exsample.com'); 
insert into test_table values (2, 'sato', '090-222-6666','sato@exsample.com');

create table test_table (id int, name varchar(128), tel char(10), mail char(100)) character set utf8;

insert into test_table values (1, 'tanaka', '090-111-5555','tanama@exsample.com');

insert into test_table values (2, 'sato', '090-222-6666','sato@exsample.com');

７．バイナリ―のログにアクセスできるようにストアドプロシージャーを実行する。

call mysql.rds_set_configuration('binlog retention hours', 72);

1	call mysql.rds_set_configuration('binlog retention hours', 72);

８．内容を控えておく

show master status; 
+----------------------------+----------+--------------+------------------+-------------------+ | File                       | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +----------------------------+----------+--------------+------------------+-------------------+ | 
mysql-bin-changelog.000333 |      954|              |                  |                   | 
+----------------------------+----------+--------------+------------------+-------------------+

show master status;

mysql-bin-changelog.000333 | 954| | | |

+----------------------------+----------+--------------+------------------+-------------------+

８．次に、スレーブ用のリージョンのＲＤＳのインスタンスを起動します。

同じようにポートを解放してください。

９．スレーブのデータベースに接続します。

mysql -h m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com -P 3306 -u root -p test_db

1	mysql -h m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com -P 3306 -u root -p test_db

１０．レプリケーション用のユーザーを作成します。

GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%' IDENTIFIED BY 'passward';

1	GRANT REPLICATION SLAVE ON . TO 'repl'@'%' IDENTIFIED BY 'passward';

１１．マスターのデータベースをそのままスレーブにコピーします。

最初にマスターをダンプします。

$ mysqldump -h m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com 　-u root -p --databases test_db > dumpfile

1	$ mysqldump -h m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com 　-u root -p --databases test_db > dumpfile

次にスレーブ側でダンプファイルをインポートします。

mysql -h m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com -u root -p　test_db < dumpfile

1	mysql -h m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com -u root -p　test_db < dumpfile

１２．スレーブ側　mySQLにて以下ストアドプロシージャ―を実行します。

先程の内容をセットします。

call mysql.rds_set_external_master('master.xxxxxxxxxxxx.ap-northeast-1.rds.amazonaws.com',3306,'repl','password','mysql-bin-changelog.000333',954,0);

1	call mysql.rds_set_external_master('master.xxxxxxxxxxxx.ap-northeast-1.rds.amazonaws.com',3306,'repl','password','mysql-bin-changelog.000333',954,0);

１３．スレーブ側でレプリケーションを開始します。

CALL mysql.rds_start_replication;

1	CALL mysql.rds_start_replication;

１４．状況確認します。

show slave status\G 
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin-changelog.000408
          Read_Master_Log_Pos: 422
               Relay_Log_File: relaylog.000203
                Relay_Log_Pos: 595
        Relay_Master_Log_File: mysql-bin-changelog.000408
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table: mysql.plugin,innodb_memcache.cache_policies,mysql       .rds_sysinfo,mysql.rds_replication_status,mysql.rds_history,innodb_memcache.conf       ig_options
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 422
              Relay_Log_Space: 818
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 17714962
                  Master_UUID: 030d3d6b-26c6-11e5-8a5c-064062dd903b
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for the sla       ve I/O thread to update it
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
1 row in set (0.22 sec)

show slave status\G

*************************** 1. row ***************************

Slave_IO_State: Waiting for master to send event

Master_Host: m1.cyxgcupsoi5z.ap-southeast-1.rds.amazonaws.com

Master_User: repl

Master_Port: 3306

Connect_Retry: 60

Master_Log_File: mysql-bin-changelog.000408

Read_Master_Log_Pos: 422

Relay_Log_File: relaylog.000203

Relay_Log_Pos: 595

Relay_Master_Log_File: mysql-bin-changelog.000408

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

Replicate_Do_DB:

Replicate_Ignore_DB:

Replicate_Do_Table:

Replicate_Ignore_Table: mysql.plugin,innodb_memcache.cache_policies,mysql .rds_sysinfo,mysql.rds_replication_status,mysql.rds_history,innodb_memcache.conf ig_options

Replicate_Wild_Do_Table:

Replicate_Wild_Ignore_Table:

Last_Errno: 0

Last_Error:

Skip_Counter: 0

Exec_Master_Log_Pos: 422

Relay_Log_Space: 818

Until_Condition: None

Until_Log_File:

Until_Log_Pos: 0

Master_SSL_Allowed: No

Master_SSL_CA_File:

Master_SSL_CA_Path:

Master_SSL_Cert:

Master_SSL_Cipher:

Master_SSL_Key:

Seconds_Behind_Master: 0

Master_SSL_Verify_Server_Cert: No

Last_IO_Errno: 0

Last_IO_Error:

Last_SQL_Errno: 0

Last_SQL_Error:

Replicate_Ignore_Server_Ids:

Master_Server_Id: 17714962

Master_UUID: 030d3d6b-26c6-11e5-8a5c-064062dd903b

Master_Info_File: mysql.slave_master_info

SQL_Delay: 0

SQL_Remaining_Delay: NULL

Slave_SQL_Running_State: Slave has read all relay log; waiting for the sla ve I/O thread to update it

Master_Retry_Count: 86400

Master_Bind:

Last_IO_Error_Timestamp:

Last_SQL_Error_Timestamp:

Master_SSL_Crl:

Master_SSL_Crlpath:

Retrieved_Gtid_Set:

Executed_Gtid_Set:

Auto_Position: 0

1 row in set (0.22 sec)

１３．マスター側で

データを登録

insert into test_table  values (3, ’takahashi’, '999-999-999', 'takahashi@example.com');

1	insert into test_table values (3, ’takahashi’, '999-999-999', 'takahashi@example.com');

１４．スレーブ側でレコードが増えているか確認　レコードが1件増えていれば

同期確認完了。

select * from test_table  ; 
+------+------+-------+--------------+ | id   | name| tel | mail| +------+------+-------+--------------+ 
|    1 |    tanaka| 090-111-5555| tanama@exsample.com| 
|    2 |    sato | 090-222-6666| sato@exsample.com| 
|    3 |    takahashi | 999-999-999| takahashi@example.com| 
+------+------+-------+--------------+

select * from test_table ;

+------+------+-------+--------------+ | id | name| tel | mail| +------+------+-------+--------------+

| 1 | tanaka| 090-111-5555| tanama@exsample.com|

| 2 | sato | 090-222-6666| sato@exsample.com|

| 3 | takahashi | 999-999-999| takahashi@example.com|

+------+------+-------+--------------+

メルマガ登録をお願いします。

[Amazon クラウド] RDSのレプリケーションについて

2015/6/20 2015/7/1 amazon クラウド, 技術報告

レプリケーションはとは、データベースの中身を複製することによって、以下の役割を満たすこと。

・壊れたときの予備

・分散しておくことで、スピードアップ

RDSにもレプリケーション機能が備わっています。

MultiAZ構成

マスターとスレーブ　（メインとサブ）に分けて２つのデータベースを作成する機能

同期レプリケーションであり、物理レプリケーションである。

同期レプリケーションとは

ひとつのデータベースを作ったあと、次をつくる

非同期レプリケーション

データベースの作成を待たずに、次のデータベースを作る。（分散）

論理レプリケーションとは

トランザクション単位でレプリケーション（複製する）

ひとつのトランザクションが終わったら次みたいな。

物理レプリケーションとは

マスターのトランザクションを待たずスレーブが平行して動き出して

それが終わって一式で、決定される。（全体で整合性を取る）

リードレプリカ

参照するときは、マスター、とスレーブ両方見に行く機能。

参照なので、更新系とちがい、どちらか

早く取得できるほうを選んで取得する（分散）