この記事はエムスリー Advent Calendar2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめにAI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
Adds a JSON document to the specified data stream or index and makesit searchable. If the target is an index and the document already exists, the request updates the document and incrementsits version. You cannot use the indexAPI to send updaterequests for existing documents to a data stream. See Update documents in a data stream by query and Update or delete documents in a backing index.
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?mysqlのInnoDBではclustered indexというのを採用していて、indexを貼る際に注意が必要ということでメモ 結論から言うと InnoDBでは... Primary Key(以下PK)はできるかぎり設定して、できるかぎりauto_incrementの整数型が良い PKの検索は速いが、secondary indexやcount(*)での検索は若干遅い PKのupdateは避ける 無闇やたらとsecondary indexを付けない covering indexを狙えると速い かんたんに解説 図とか用意したかったけど気力
► 2018 (1) ► 1月 (1) ► 2017 (4) ► 6月 (3) ► 5月 (1) ► 2016 (15) ► 12月 (4) ► 11月 (1) ► 10月 (2) ► 7月 (3) ► 6月 (1) ► 5月 (3) ► 1月 (1) ► 2015 (13) ► 12月 (1) ► 10月 (1) ► 9月 (1) ► 6月 (1) ► 5月 (1) ► 3月 (2) ► 2月 (3) ► 1月 (3) ► 2014 (11) ► 12月 (1) ► 9月 (2) ► 8月 (2) ► 6月 (1) ► 4月 (4) ► 2月 (1) ► 2013 (15) ► 12月 (3) ► 11月 (3) ► 8月 (2) ► 7月 (4) ► 5月 (1) ► 4月 (2) ► 2012 (7) ► 10月 (1) ► 7月 (1) ► 4月 (3) ► 1月 (2) ► 20
2015 年 3 月吉日 アストロラボ株式会社(本社:東京都世田谷区、代表取締役CEO:日下 ヤスユキ、以下、「アストロラボ」)は、INDEX 株式会社(本社:東京都台東区、代表取締役:塚本 学、以下、「INDEX」)と資本提携及び株式譲渡契約を締結いたしましたので、下記の通りお知らせいたします。 ■アストロラボ株式会社 代表取締役CEO 日下 ヤスユキのコメント アストロラボは、大手企業向けエンタープライズ・ソリューションであるAstroBlasterシリーズの提供を増やすとともに、製品の信頼度を向上させることを目指しております。今回のINDEXとの提携は、アストロラボのビジネススピードを増幅する上でも非常に重要な布石です。INDEXの有する人材と弊社ソリューションとを掛け合わせることで、クライアント様に提供するサービスの質を高めていきます。 ■INDEX株式会社 代表取締役 塚本 学
TDB企業コード:986753504 「東京」 既報、(株)インデックス(資本金393億7946万3930円、世田谷区池尻3-21-28、代表落合善美氏)は、4月30日に東京地裁より再生手続き廃止決定を受け、同日保全管理命令を受けた。今後、破産手続きに移行する予定。 保全管理人は長島良成弁護士(千代田区五番町5、電話03-5276-1321)。 当社は、1995年(平成7年)9月に設立。携帯電話などのコンテンツ企画制作を手がけ、2001年3月には店頭市場(現・ジャスダック)に株式を公開。その後は積極的なM&Aで業容を急拡大し、2005年8月期の年収入高は約107億600万円を計上。2006年には会社分割で新設した子会社に事業を移管して、(株)インデックス・ホールディングスへ商号を変更。グループ持ち株会社となり、2008年8月期の連結年収入高は約1235億3500万円を計上していた。
先日のエントリーで、WordPressのカテゴリページをindexするべきかno indexするべきか? って話題がタイムライン上で少し賑わっています。 知らないと逆効果!WordPressプラグインでSEO対策したつもりの結果 僕の曖昧な記憶では確かGoogleのマットカッツ氏はWordPressのアーカイブは適切に処理するから気にしなくていいってコメントをどこかで見たのですが探しても見つかりません。知ってる方いませんか? 先のエントリーではカテゴリをindexした方がSEO的に良いというニュアンスが誤解を与えたかもしれません。言いたかったのは「カテゴリーページ」自体がリンクの構築の仕方次第では強力なコンテンツになりうるので「no index」にしちゃうのは勿体ない。そしてそれを目指していた僕のアーカイブが「no index」になってた!という事が言いたかったのですが、どうもカテゴリ
For another use, seeBlockchain. Not to be confused with Data type or Data model. A data structure known as a hash table. In computer science, a data structure is a data organization and storage format that is usually chosen for efficient access to data.[1][2][3] More precisely, a data structure is a collection of data values, the relationships among them, and the functions or operations that can
SAVEPOINT、ROLLBACK TO SAVEPOINT および RELEASE SAVEPOINT ステートメント
結論: MEMORY ストレージエンジンの index_type はデフォルトで HASH なので = or <=>演算子を使用する等価比較にのみ使用される。 >, >=, <, <=, BTWEEN を使うクエリでインデックスを使いたいときは USING BTREE をつけてインデックスを作ること。MySQL 5.0.75 (やや古めかしい?)を使っていて、 MEMORY ストレージエンジンのテーブルに対して、 SELECT * FROM tbl WHERE col1 = 'val1' AND col2 <= 'val2';なんてクエリを実行したら妙に遅かった。 col1, col2 の順番で複合インデックスをはっているにもかかわらず。マニュアル読んだらちゃんと書いてありました。あんまり使う機会もないだろうけど(だからこそ?)メモ。 その名前からもわかるように、MEMORY テーブルは
■ インデックスとは データベースの世界で、インデックス(索引)とはテーブルに格納されているデータを 高速に取り出す為の仕組みを意味します。 インデックスを適切に使用することによってSQL文の応答時間が劇的に改善 される可能性があります。 インデックスにはB-Treeインデックスをはじめ、ビットマップインデックス、 関数インデックスなどの種類がありますが、ここでは最も一般的に使われ、かつ ほとんどのDBMSでサポートされているB-Treeインデックスについて解説します。 ※CREATE INDEX文でオプションを指定しない場合は通常B-Treeインデックスが 作成されます。 ■ B-Treeインデックスのしくみ B-Tree(Balanced Tree)インデックスは次のようなツリー状の構造になっています。 ツリーの先頭はヘッダブロックと呼ばれています。ヘッダブロックでは、キー値の 範囲
転置インデックス(てんちインデックス、Inverted index)とは、全文検索を行う対象となる文書群から単語の位置情報を格納するための索引構造をいう。転置索引、転置ファイル、逆引き索引などとも呼ばれる。 情報処理テクノロジにおける転置インデックスとは、単語や数字といった内容から、それが含まれているデータベースやドキュメント群へのマッピングを保持するという、インデックス型データ構造である。ドキュメント群へのマッピングの場合、検索エンジンが実現される。転置インデックスファイルは、インデックスというよりはデータベースと呼んだほうがふさわしい場合もある。また、検索キーが単語(文字列)であり、連想配列の値が位置情報である場合、ハッシュテーブルの形態を取ることもある。 転置インデックスには大きく分けて2通りの手法がある。レコード単位転置インデックス(record level inverted in
2次元矩形のR木の例 R木(英: R-tree)は、B木に似た木構造のデータ構造であり、多次元情報(例えば、二次元座標データなど)のインデックス付け、すなわち空間インデックスに使われる。それは例えば、「現在位置から2km以内の全ての美術館を探す」といった用途に使われる。 R木は、階層的に入れ子になった相互に重なり合う最小外接矩形 (MBR) で空間を分割する。R木のRは矩形 (Rectangle) を意味する。 R木の各ノードのエントリ数は可変である(事前に定義された上限がある)。葉ノード以外の各エントリには2つのデータが格納される。1つは子ノードへの参照であり、もう1つはその子ノードの全エントリを囲む外接矩形のデータである。 挿入および削除のアルゴリズムはこれらの外接矩形を使い、近い要素が同じ葉ノードに属するようにする(特に、新たな要素を挿入する際に、どの最下層の外接矩形にも収まらない場
索引(さくいん)とは、百科事典・学術書などの書籍や雑誌[1][2]・新聞[2]などの記事、統計[3]、コンピュータのデータやインターネット上のWorld Wide Webにおいて、特定の項目を素早く参照できるよう、見出し語を特定の配列に並べ、その所在をまとめたもの。(加えて凡例や相互参照、限定詞のあることもある。)コンピュータで用いられる際にはインデックス (index (pl. indice))と呼ばれることもある。 インターネット上のWorld Wide Webの索引集のことを、ウェブディレクトリという。 単一の書籍の索引は、その本の末尾に掲載されることが多い。一方、数十巻におよぶ百科事典や全集の索引は、それだけで1巻分を占めることも多く、総索引あるいは総合索引などと呼ばれる。 その歴史は活版印刷の普及に伴って始まり、目次 (table of contents) を巻頭、索引を巻末に置
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く