AWS NewsBlog New –Create anAmazonAurora Read Replica from an RDSMySQLDB Instance Migrating from onedatabase engine to another can be tricky when thedatabase is supporting an application or a web site that is running 24×7. Without the option to take thedatabase offline, an approach that is based on replication is generally the best solution. Today we are launching a new feature that allows
クラウドネイティブに開発されたデータベース「AmazonAurora」は、クラウドだけでなくオンプレミスも含めた既存のデータベース市場の破壊的存在であるというレポート「AmazonAurora DisruptsDBMS Market With Cloud-Native Offering」を、米調査会社のガートナーが8月3日付で公開しています。AmazonAuroraは、Amazonクラウドが2014年11月のイベント「AWS re:Invent 2014」で発表した、MySQL互換のデータベースサービスです。クラウドに最適化したクラウドネイティブなデータベースとして、商用リレーショナルデータベース並の性能と機能を低価格で提供するものとされています。 発表後、プレビュー版を経て先月末から正式版としての提供が始まりました。 ガートナーのレポートは、次のようなサマリで始まっています。

MySQL 5.6のパラレルレプリケーションの効用はいかほど?(The Percona PerformanceBlogより) 高負荷時のリードレプリカ遅延に対する改善方法の1つとしてパラレルレプリケーションが考えられる。どの程度改善するのかはMySQL 5.6では、スキーマ間の書込み負荷の分布に依存しこれを大雑把に見積もる方法をご紹介する。 この質問を今までとても良く受けてきた。"負荷が高い時には、リードレプリカがしばしば遅延し始める。N個のスキーマを利用しているが、MySQL 5.6のパラレルレプリケーションを使うとどのくらい性能が改善するのだろうか?"ここでは潜在的な効果を、素早く大雑把に見積もる方法をご紹介する。 基本的な考え方MySQL 5.6では、スキーマレベルで並列処理が行われる。従って理論上は、N個のスキーマがあり、N個の並列スレッドを利用すれば、レプリケーションは最大N
New — File Release forAmazon FSx for LustreAmazon FSx for Lustre provides fully managed shared storage with thescalability and high performance of the open-source Lustre file systems to support yourLinux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
インフラストラクチャー部の菅原(@sgwr_dts)です。 インフラストラクチャー部のメンバーはオペレーションのため強力な権限のMySQLアカウントを使用していますが、サービス開発をするエンジニアも業務のためにサービスのDBの参照・更新権限を持ったアカウントが必要になることがあります。セキュリティやオペレーションミスのことを考えると、すべてのエンジニアのアカウントをスーパーユーザーにするわけにはいかないため、都度適切な権限を付与していますが、手動での作業は地味に手間がかかります。 そこでクックパッドではMySQLのアカウント情報をコード化し、リポジトリで管理するようにしています。 gratanによるコード化MySQLのアカウント管理はgratanという自作のツールを使って行っています。 gratanを使うとMySQLのアカウントをRubyのDSLで記述することができるようになります。
気づかなかったけど、これ5.7.2から入ってたのか。 フツーに扱うDATETIME型(やその親戚)は time_zone 変数に支配されるけど、ログに出力される時刻はlog_timestamps 変数に支配される。 この変数の取りうる値は UTC または SYSTEM で、暗黙のデフォルトはUTC 。。mysql57> SELECT @@version; +---------------+ | @@version | +---------------+ | 5.7.5-m15-log | +---------------+ 1 row in set (0.00 sec)mysql57> SHOW GLOBAL VARIABLES LIKE '%time_zone'; -- タイムゾーンはフツーにJST +------------------+--------+ | Variable_
To explain these changes in more details: The slow querylog remains disabled by default, but when enabled our hope is that we can makeit immediately useful. A query exceeding 2 seconds will now be considered slow, and since queries that do not use indexes have the highest chance of causing future problems, they will also belogged unless they examine fewer than 1000 rows. The number of 1000 was
SELECT @QCACHE_FREE_BLOCKS := VARIABLE_VALUE FROM information_schema.`GLOBAL_STATUS` where VARIABLE_NAME = 'QCACHE_FREE_BLOCKS'; SELECT @QCACHE_FREE_MEMORY := VARIABLE_VALUE FROM information_schema.`GLOBAL_STATUS` where VARIABLE_NAME = 'QCACHE_FREE_MEMORY'; SELECT @QCACHE_HITS := VARIABLE_VALUE FROM information_schema.`GLOBAL_STATUS` where VARIABLE_NAME = 'QCACHE_HITS'; SELECT @QCACHE_INSERTS := V

来る2月27日、データベースの新書籍を発売させて頂くことになった。タイトルは「理論から学ぶデータベース実践入門 ~リレーショナルモデルによる効率的なSQL」となっている。単に「データベース」と書いてあるが、RDBがメインのテーマの書籍である。 多くの人が未だにRDBを使いこなせていないのではないか。RDBの使い方をマスターするには何が必要なのか。それがここ数年私が追ってきたテーマであり、この書籍を出すことになった動機である。 あまりにも酷いDB設計、あまりにもスパゲティなクエリ、あまりにも希薄なデータモデルへの理解。そういった問題はどこから生み出されるのか。そのひとつの結論としてたどり着いたのが、「そもそもRDBの使い方があまり理解されていないのではないか」ということだった。名著、SQLアンチパターンでは「やってはいけないケース」について学ぶことができるが、その反対のテーマ、つまり本来どの

RDSのログファイルを取得出来るようになったAmazon Web Services ブログ: 【AWS発表】Amazon RDS - より簡単にログファイルにアクセス可能に ということで、RDS(MySQL )のログを取得する手順。 注意点として、RDS(MySQL)では4種類のログ(エラーログ、エラーランニングログ、ジェネラルログ、スローログ)にアクセスできるが、デフォルトではエラーログのみ有効となっている。 Working withMySQLDatabaseLog Files -Amazon RelationalDatabase Service 他のログを有効にするためには、Parameter Groupの以下を設定変更する必要がある。 パラメータ名デフォルト値変更値 general_log (null) 1log_output TABLE FILE slow_quer
Amazon SageMaker Geospatial Capabilities Now Generally Available withSecurity Updates and More Use Case Samples AtAWS re:Invent2022, we previewedAmazon SageMaker geospatial capabilities, allowing data scientists andmachine learning (ML) engineers tobuild, train, and deploy ML models using geospatial data. Geospatial ML withAmazon SageMaker supports access to readily available geospatial dat
AMIが公開されたのでもう一度やってみた。 AMIについてはこちらのエントリに書かれています ISUCON4 予選問題の解説と講評 & AMIの公開 : ISUCON公式Blog まず ami-e3577fe2 を m3.xlargeで起動します。CPUは model name : Intel(R) Xeon(R)CPU E5-2670 v2 @ 2.50GHz でした。 とりあえず、MySQLのindexを追加する。init.shに追加 $ cat init.sh cat <<'EOF' |mysql -h ${myhost} -P ${myport} -u ${myuser} ${mydb} alter tablelogin_log add index ip (ip), add index user_id (user_id); EOF ベンチマークツールのhttp keepal
最近発売された技術評論社のムック「データベース徹底攻略」に寄稿しました。 この本は、データベースのための本ということで、データベース設計、SQL、MySQL、Redis、MongoDB、Redshiftという代表的な要素技術についてのまとめとなっています。各プロダクト(MySQL、Redis、MongoDB、Redshift)については、現場で実際に本格的に使われている方々による記事なので大いに参考になると思います。 私は冒頭のまとめ記事を寄稿しました。詳細はぜひお手に取って読んでくださればと思います。ここでも自分が各技術を現時点でどのようにとらえているか、本ではいささか書きづらい内容について、最近流行りの言葉でもある「技術的負債」という観点も踏まえて書いておこうと思います。 ・MySQL (RDBMS) 私はMySQLの中の人でもありましたし、これまで至るところで話してきたので省略します
忘れないうちにもう1つ。 最近のサーバはスペックがとてもよろしいので、ついつい待機FCGIの数を増やしたくなってしまうのですが、これでハマるところを直近2回ほど見たのでメモ。 FCGIを増やしたのに全然さばけなくてなんかこんなエラー出るし!みたいなときは Can't connect toMySQL server on 'hostname' (99)接続先のMySQLに対するlocalportが枯渇してた、なんてことがあります。netstat -na | grep tcp | wc -l これが3万近かったら以下を打ってみましょう。 > cat /proc/sys/net/ipv4/ip_local_port_range 32768 61000 こうなってたらlocalport枯渇してるのかもしれません。 どんくらいの数字を入れるのがいいかは人それぞれあるみたいですが、そのときは > e
Page: 1MySQLのプロトコル解説 とみたまさひろ 日本MySQLユーザ会 MyNA会 2013/07/29MySQLのプロトコル解説 Powered by Rabbit 2.1.1 Page: 2 自己紹介 とみた まさひろMySQLユーザ会(名ばかり代表) 長野県北部在住プログラマー (Ruby & C) http://tmtms.hatenablog.com http://twitter.com/tmtms https://github.com/tmtm/ruby-mysqlMySQLのプロトコル解説 Powered by Rabbit 2.1.1 Page: 3趣味 誰も使わないRubyライブラリを作ったりMySQL の yacc ファイル読んだり マンガ読んだり 聖悠紀 / 佐々木淳子 / 岡崎二郎 / 星野之宣 / 長谷川裕一 / 島本和彦 / 桑田乃梨子

はじめに下記の記事をみたら分かりやすいかもしれませんが、英語なので、実際にやった方法も交えてメモしておこうと思います。(似てるところもありますが、翻訳ではありません。) Writing aGo (“golang”) Web App withnginx, FastCGI,MySQL, JSON 前提として、Go言語でWebサーバーをつくって動かすと言うと2種類の方法があります。 1つは、Go言語の“net/http”パッケージというのがありますので、これを使ってGo自体でWebサーバーを作ってしまうことができます。 もう1つは、ApacheやNginxなどのWebサーバー上で、CGI(正確にはFastCGI)としてGo言語を動かす方法です。これはNginx+PHP-FPMのようなもに近いイメージだと思います。Nginxを使うか使わないかは、こちらのStackoverflowをみると、
インデックスは特定のカラム値のある行をすばやく見つけるために使用されます。 インデックスがないと、MySQL は関連する行を見つけるために、先頭行から始めてテーブル全体を読み取る必要があります。 テーブルが大きいほど、このコストが大きくなります。 テーブルに問題のカラムのインデックスが含まれている場合、MySQL はすべてのデータを調べる必要なく、データファイルの途中のシークする位置をすばやく特定できます。 これはすべての行を順次読み取るよりはるかに高速です。 ほとんどのMySQL インデックス (PRIMARY KEY、UNIQUE、INDEX、および FULLTEXT) は B ツリーに格納されます。 例外: 空間データ型のインデックスは R ツリーを使用します。MEMORY テーブルはハッシュインデックスもサポートします。InnoDB は FULLTEXT インデックスの逆のリスト
以前、MySQLを高速化する10の方法という投稿で「EXPLAINの見方についてはいずれ解説しようと思う」と書いてしまったので、今日はその公約?を果たそうと思う。MySQLのチューニングで最も大切なのは、クエリとスキーマの最適化である。スキーマの設計は一度決めてしまうとそのテーブルを利用する全てのクエリに影響してしまうためなかなか変更することは出来ないが、クエリはそのクエリだけを書き直せば良いので変更の敷居は低い。そして遅いクエリをなくすことは、性能を大幅に向上させるための最も有効な手段である。従って、アプリケーションの性能を向上させたいなら、まず最初にクエリのチューニングを検討するべきなのである。 最適化するべきクエリはスロークエリログやクエリアナライザで見付けられるが、ではそのようなクエリが見つかった場合にはどのように最適化すればいいのか?そのためにはまず現在どのようにクエリが実行さ

リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く