ダッシュボードを作っても何も解決しないダッシュボードを作ることが分析であり、データドリブンな意思決定につながる、みたいな話には以前から違和感はあった。 そこで、何が違和感をもたらしているのか、ダッシュボードの位置づけをどうするのがよいのかについて言語化を試みる。 ダッシュボードを作ることと意思決定の間が抜けているダッシュボードで得られるのは基本的には意思決定にそのまま使うことはできない「データ」である。 ダッシュボードを使う際には意識はしていなくても実際にはその「データ」から洞察を行い、特定の問題の意思決定のための「インテリジェンス」を作り出している。 ダッシュボードと意思決定を考える際に間にある洞察が抜け落ちると「ダッシュボードで意思決定」のように直接つながっているように見えてしまう。 ダッシュボードは可視化によるデータの理解を促進するではにダッシュボードの役割は何か言えば、可視化してデ

「食材を活用したおいしい料理」とは言わないのでは「データ活用」というのはデータについて話をする際に「なんとなくデータを使ったこと」を指すことができる便利な言葉だと思う。 便利なので自分で使うこともあるが、そのたびにどうもしっくりこないと感じる。 「データを活用して〇〇する」といった表現がされたことにより、目的なのかが曖昧なままで「データを活用したら何かがうまくいく」という勘違いを大量に生み出してしまったのではないか、なんて考えてしまう。 このもやもやを何とかしたくて、「データ活用」という言葉について考えてみた。 「データを活用したら何かがうまくいく」わけではない「データを活用した〇〇」みたいな言葉はよく聞こえる。これだと「データが〇〇をうまくやってくれる」、「データを使えば〇〇が成功する」と言っているような印象を受ける。 実際にはデータが何かしてくれるわけではない。意思決定するのも実行する

「データ分析に関する組織」もよくわからない近年の「ビックデータ」や「データサイエンティスト」のブームをきっかけとして「データ分析」が広まった。人が増えた結果、自然な成り行きとして「データを扱うことが活動の中心にある組織」も増えてきた。 そしてご多分に漏れず全体像が整理されないまま個々人がそれぞれに定義の違う言葉を使っておりコミュニケーションに支障をきたしているようだ。 そこで「データ分析に関する組織」を題材に思いついたことを書いてみる。 「データ分析に関する組織」何を責任とするのか「データ分析に関する組織」とは「データ分析」を責任とする組織である。ところがこの「データ分析」という言葉そのものが曖昧であり、それが組織について考える時の混乱を招いていると考えられる。 そこで「データ分析」が何をしているのかを考えてみると、 提案 インテリジェンス データ の3つに分けることができる。つまり「デー

「データの民主化」はSQLだけの話ではないのだけれども「データの民主化」という言葉は定期的に聞こえるが、定義がどうもつかめない。考えたところでわからないので具体的にそのうちの一部を構成していると思われる「データ抽出」を取り上げる。一応題名には入れておいたが、以降「データの民主化」は使わない。 「データ抽出」は大きく分けて「入手する」「加工する」の２つに分かれる。前者の代表例が「データベースからSQLを使ってデータを入手する」になる。 「入手する」には他にも「他部署になぜ必要なのかを説明して権限をもらう」などもある。また、入手と加工が同時に行われることもあるのではっきり切り分けることはできない。とはいえ「みんながデータ抽出を全部自分でできるようになったら」だと話が広すぎるし現実的にありえない。 というわけで、SQLを中心に置くのが話が伝わりやすいと思うので今回はここを主語にする。 さて、社員

「みんなSQLが書けるようになる」ことは本当にいいことなのかPdM・PM・営業・デザイナーなど、エンジニアやデータ分析者以外の人でもSQLを書くことを奨励している企業を時折見かける。極端な話ではみんながSQLを書けるなんて話もある。そういう話を見るたびに「本当にそれが一番いい方法なのだろうか」と気になっている。 全ての人が全ての仕事ができる、は理想だがそれが無理だから役割を分担しているはずだ。なのになぜかSQLについては誰でもできる、みたいな話になっているのは不思議でならない。 そんなわけで「みんなでSQLを書くことがいいことなのか」ということを改めて考えてみたら長くなった。そこでまずは「SQLが書けると分析ができるようになるのか」を考えてみよう。 SQLが書けたら分析ができるようになるのか「分析ができる」ということ自体が曖昧なので、「分析」という行為に含まれるだろういくつかの部分に分けて

無駄な抽出で時間を浪費したくないいらないダッシュボードを作らないようにしようは多くの人に読んでもらったようだ。この時は抽出者側としての心がけ、みたいなのを書いたのだがそれだけではいらないデータが作られるのを止めることはできない。 そこで、いらないデータが作られてしまう原因についての全体を考えてみた。ダッシュボードを作ることが活動の中心の人は「いらないダッシュボード」として読んでもらってかまわない。 前提として、抽出担当者が別にいて役割分担とコミュニケーションが発生する場合について考える。依頼者が自分で抽出して分析する場合はいらないデータを作るコストは当人の責任の中で完結するので、それは抽出ではなく「より効率良く分析を行うにはどうしたらいいのか」という別の問題として捉えることにする。 依頼者側の問題目的がないか、あっても正しくない目的がなければただデータを見ているだけであり、無駄である。 目

「仮説」を気軽に使っているけど、大丈夫？データ分析では「仮説」が良く話題にのぼるが、筆者は仮説という言葉があまり好きではない。 なぜならば、「仮説」というのは今そう思うことやすぐに思いつくこと、あるいはそうなって欲しいことになりがちだからだ。 「仮説を証明する」とか「〇〇がうまくいったか調べたい」なんてよく言われるが、これは仮説の間違えた使い方だ。仮説も考えるための道具であり、正しく使わないと事故につながる。 なので仮説は無暗に立てないのが一番いいと思う。しかし、すべてのことにゼロから対処はできないから重要度が低ければ低いほど思考をショートカットするためには必要だ。それに、どんなに仮説を使わないようにしても、先に何か思いついてしまえばそれが時には仮説となってしまう。 そんな「仮説」ひっぱられて間違えないようにどう対処しているか、という話。 「仮説」を使うときに気を付けていること客観的に考え

データ基盤は令和の箱物行政にしないためにどうもデータ基盤を作ったりするのに比べると、データを使う話、特に意思決定のための分析について語られることが少ない。 もちろん単純に比較できるような話ではなく、データ基盤が不要だという話でもない。それにしても偏りすぎであり、この10数年（どころかずっと前から）かわらない。 その理由の1つには「データ基盤を作ってデータを集めておけば、あとはデータが活用できる」という考えがある気がしている。今回は、それは間違いであり、正しく使うためのスキルはデータ基盤を作ることでは養われることはないということを書いた。 データ基盤があっても正しくデータ分析ができるようにはならない「食材と調理器具があれば料理はできる」は間違いではない気がする。しかし「正しく料理ができるか」という点から考えると怪しい。 料理をするにしても、何も教えずに食材と道具を渡すだけだと何が起きるか。例

「データアナリスト」はもはや意味を成していないのでは？最近はデータ活用の意識が高まり始め、ここ数年は「データアナリスト」という職名もよく聞くようになってきた。 ところが、この「データアナリスト」もその定義や使い方が人によって違い混乱が見られる。それも名乗っている当人達を含めて曖昧になっていると見受けられる。 そこで、この記事ではなぜ「データアナリスト」について混乱が生じているのかを考察する。「データアナリスト」について思うところを書き始めたのだが、とても長くなってきたのでいくつかに分割することにした。 なお、「アナリスト」とは「分析する人」なので、「データ分析者」という使われ方もされるが、本記事ではまとめて「データアナリスト」と呼ぶことにする。 また、前提として一般的なビジネスでの状況を想定する。学術研究や学者が政府への政策提言をするような場合や、医者が患者の診断を行うような場合は想定して

まずやってみるのはいいけれども限度はあるはず。それはどこだサッカーに興味があるならば、ルールブックを熟読するよりも先にとにかくサッカーをやってみるのがいい、ということに反対する人はあまりいないと思う。 とはいえ全く何も知らないのではゲームが成立しなくなってしまうので、最低限知っておくべきことはあるはずだ。例えば、どうなったら得点になるのかは必須だろう。あとはゴールキーパー以外は手を使ってはいけないとか、範囲を出たらスローインになるとかだろうか。 では「データ分析」における「最低限知らないといけないこと」は何なのだろうか、と考えた内容をまとめた。 前提として、本記事の「データ分析」は「意思決定のための情報＝インテリジェンスを作ること」に絞る。言い換えると、システムに組み込んで意思決定と行動を自動化するような「データ分析」は対象外とする。 インテリジェンスについての説明は「情報」には「データ」

意思決定に寄与しないならばダッシュボードを見るだけ時間の無駄大前提として、分析を行うためにデータを収集する目的は意思決定にあり、目的無きデータ分析は無駄である。ダッシュボードは収集するデータの一部であるので、やはり意思決定に繋がらないならば意味がない。 いらないダッシュボードを作らないようにしようとするのが一番であるが、必要だと思って作ったダッシュボードも使い方を間違えれば無駄になるどころか機会損失を招く。そこで、今回はダッシュボードの使い方に焦点をあてる。 ダッシュボードを見る時の注意点自分の意思決定に繋がる粒度や単位なのかに注意する全社の売上や全国の感染者数のダッシュボードは、大半の人の意思決定には役に立たない。規模が大きければ多い程、自分の行動には結びつけられない。数兆ある売上が1%変わったことがわかるダッシュボードを見ても今日の仕事の役に立つことはまずない。役に立たないデータを見る

データ分析がプロセスであることが解りづらかったら、料理に例えてみよう意思決定と分析のプロセスは1つの意思決定に関するプロセスだ。しかしこれだけだと抽象的なのでいまいち伝わりづらいかもしれない。 こういう場合は身近な何かで置き換えて考えることで見通しがよくなることもあるので、料理に例えてみる。 意思決定と分析のプロセスと料理のプロセスを比較するまずはそれぞれのプロセスを並べてみる。すると大体同じような並びになっている。 「料理のプロセス」と「意思決定と分析のプロセス」の比較この表では意思決定者と分析者、食べる人と料理人は別にいる想定で書いている。もちろん意思決定する／食べる人自身が分析したり作ることもある。その場合でもコミュニケーションが発生しなくなる以外は全て同じだ。 こうして料理に例えることで意思決定と分析のプロセスについても「分析だけじゃなくてその前後でもいろいろやらないとプロセスはう

なぜいらないダッシュボードを作らないようにしなければならないのかいらないダッシュボードとは、作っても見返りがないか、見返りがあっても非常に少ないダッシュボードのことである。作っても最初から誰も見ていないのは論外であるが、そうでなくてもいらないダッシュボードがたくさんある。 作ったが最初だけで今は誰も見ていない 意思決定の役に立たない 作るのにとても手間がかかる 維持管理にコストがかかりすぎる いらないダッシュボードは作るのにリソースが必要になる。放っておけば邪魔になるので維持管理も必要だし、いらなくなったら後で削除すればいいと思ってもコミュニケーションの手間がかかる。 そしてこのいらないダッシュボードに費やした時間は何の価値も生まず、他にやるべきことに使えた時間を奪う。従って「いらないダッシュボードは作らない」に勝ることは無い。 ではどうしたらいらないダッシュボードを作らないようにできるの

「効果測定」だけが一人歩きしてませんかデータの仕事をしていると、知らないところでいつのまにかに行われた施策について「効果測定をしてほしい」と言われることがたびたびある。 とりあえず施策を行い後で振り返えればいいや、と考えている人が多いようだがこれでは正しい検証はできない。検証ができないから次の施策を決める時もまたとりあえず施策をする、が繰り返される。 これではいくら「効果測定」を行うために動いても施策の向上につながらない。そうなれば「データ」の役割の意味も無い。 そこでよくみかける「効果測定」の何がいけないのかと、どうしたらいいのかを考える。 「効果測定」を後で行ってはいけない理由施策が終わってから「効果測定」を行おうとするといろいろな問題が発生する。 基準がないので判断できない施策を行った後になって効果測定を始めるということは、施策を始める前にどれぐらいの効果が見込めるかを調べていないと

「データ分析」を整理する「データ分析」と言ってもその仕事にはいくつかの種類がある。しかし、その違いが整理されておらず各自に思い思いの「データ分析」があるために認識がずれる。 これだけ頻繁に使われている言葉なのにその内容に大きな違いがあることにあまり意識が向いていないらしい。良い状態だとは思えないので、まずは「データ分析」について整理してみようと思う。 「データ分析」の仕事「データ分析」と呼ばれる行為には、以下のアウトプットがあると考えられる。 提案 インテリジェンス データ まずはそれぞれの違いについて簡単に見てみる。 提案ある課題に対しての具体的な施策の「提案」まで含めて「データ分析」と呼ばれることがある。 与えられた課題に対して唯一の選択肢を提示して意思決定者は「はい／いいえ」を決める えられた課題に対して複数の選択肢を提示して意思決定者がその中から選ぶもしくはすべてを拒否する 「この

データサイエンティストブームを横目で眺めて早数年データサイエンティストのブームはリアルタイムで最初から見てはいるけれども最近第３次ブームとも呼べそうな動きを見せており、これはいったい何なのだろう？というのは最近ちょっと気になっていた。 その中で第１次や第２次ブームとの違いが見えて来たので、概略ながら見聞きして来たことを最初から書いてみることにした。 ちなみに自分はデータサイエンティストブームには直接に関係していることはあまりなければ名乗ってもおらず、名前が残るも消えるも別にどちらでもいいのでわりと客観的に見ているのではないかと思っている。 あと、あまり深く考えずに「データサイエンティストブームってこんな感じだよねー」と雑談している気分で書いたのでそれを踏まえて「こんな感じで思っている人もいるんだな」ぐらいで気軽に読んでもらえるとありがたい。 ２０１２年~第１次データサイエンティストブーム「

自分の思考を文章化してみるSQLを使い始めてちょうど１０年になった。その間には随分たくさんのクエリを書いてきたが、ちゃんとした師匠がいたわけでもなければ同じような仕事を同じレベルでやっている同僚もほとんどいなかったのでほぼ全部独学でやってきた。 これでいいのか未だにわからないので、自分がSQLでデータ抽出をしている際の思考や行動を文章化して公開してみる。是非いろいろと突っ込んでいただけると嬉しい。 何を抽出するかを決める目的無きデータ分析は無駄であるでの話と同じで、とりあえず何かを出そうと手を動かし始めてもどこにもたどり着けない。なので最初に「何を抽出するか」を決める。 この段階ではどういったデータをどう集計する、といった詳細には立ち入らず、「知りたいことのために何があればよいか」だけを考える。 依頼を受けてデータ抽出を行う場合はここにはどうヒアリングするかや正しくない依頼にどう対応するか

何となくデータを見ることで目的など生まれない 何かいいことが見つかるかもしれないからと何の目的も無しにデータを見るのは時間の無駄である。 データ分析は意思決定のために行っているはずだ。であれば何らかの意思決定という目的が無ければどんなに数字をいじくりまわしたところで「それで？」で終わるだけになる。それは時間の無駄としか表現のしようがない。 なおここでいう「データ分析」とは手元にあるデータを何とかするということに限らず「特定の目的の意思決定を支援するための一連のプロセス」を指す。詳しいことは近日中に記事を書く。 まず目的ありき。そして必要だったらデータ分析をする。逆ではない データ分析は手段である。目的を果たすために必要であるから行うのであり、データがあるから、導入したツールがあるから、新しい手法を勉強したからと分析して解決すべき問題への道に繋がっていたとしてもそれは偶然に過ぎない。 中小企

「死ぬじゅんび」というイベントを企画したのは、敢えての決断でした。 死という大抵の人ならあまり向き合いたくない、けれども必ずしも誰もが迎える運命にあるものと、少しだけ近づいてみる時間があってもいいのでは。 私は今年の3月にスキーをしていて転んで、クモ膜下出血と脳しんとうを起こしました。事故直前から2日間の記憶がすっかりありません。初めて「死」を間近に意識しました。 そんな自分だからこそ提供できるコンテンツを。伝えたいのは、「死を考えるということは、あらためて生きることを考えるきっかけになる」ということです。 自分自身がこれからの人生をさらに心地よく生きるためにできることはたくさんあって、それは“死”をベースに考えることもできます。 イベント当日は、クラウドファンディングサービスの中の人がお金で困らない世の中を目指すという話をしたり、60歳の東大生が「自分の余命を知る方法」をプレゼンしたり、

こんにちは、しぬこです。 突然ですが、みなさんは不在票の差出人を見て戦慄が走ったことはありますか？ 私はあります。 ！！！TENGA！！！ まさか差出人TENGAで来るとは思わなかったなぁ…。 戦々恐々としながら再配達をお願いし、届いたのはこちらです。 に、、２個…。 多いなぁ、、、まさか、女一人暮らしの家にTENGA2箱も届けるなんて、SAGAWAさんも思わなかっただろうな、、。 不明なTENGAどころか突っ込むTENGA多すぎる せっかくなので１TEN、１TEN紹介していきます。 ①Ｔシャツ これを室内で着れば私も長澤まさみですね。着ます。（映画

「探索的データ分析」をいきなり初めても何もでてきません「探索的データ分析（解析）」はよく聞く言葉ですが、では何かあるかなと探索してみよう！といきなりデータを見たりツールをいじくっても時間だけ取られてしまうので気を付けないといけない、ということはあまり知られていないようです。 ツールやプログラミングでデータをいじる手段は知っているけれどもどう使うかを知らない、というのはデータ分析を始めたばかりのころの人にありがちですが、そういった人たちがよく陥るのがこの「探索的データ分析と称して何かやった気になる症候群」ではないでしょうか。 そこで今回は、探索データ分析で見かけるよくないパターン２つと、探索的データ分析はどんな時に使うのがよさそうかがテーマです。 目的が無い探索的データ分析 BIツールでもGoogleAnalyticsでもPythonでも何でもいいのですが、「何かわかるかな」とデータをいじく

「データ分析の基本をまとめてみる」の前置き（いくつか書いたら別に目次作ってそちらに移動します） スポーツをするにもシュートの打ち方やバットの振り方といった技術を知らないと何もできませんが、それに加えてサッカーでは「手を使ってはいけない」、野球だったら「打ったら一塁ベースに向かう、ベースから離れている間にタッチされたらアウト」というような基本的なルールについても知っておく必要があります。 データ分析で言うとExcelから統計学や機械学習のような技術の話はあるのですが、きちんとデータ分析を行うためのルールがまとまって整理されていないのでみんな独学や師匠からの一子相伝で行っているわけですが、車輪の再発明になったり知識が共有されなかったりとどうにも効率が悪いと以前から感じています。 で、感じるばかりではしょうがないので自分で書いてみよう、と始めたのがこの「データ分析の基本をまとめてみる」です。 「

初めまして、「しんゆう」といいます。「データ分析とインテリジェンス」というブログを書いています。 ブログはわりとデータ分析で仕事をしている人向けになってますが、Noteではちょっと芸風を変えて、もっとたくさんの人にデータ分析のことが伝わるような話を書こうと思っています。 データ分析って何のためにやるの？第一回は、「データ分析って何のためにやるのか」というお話をしたいと思います。 「データ分析」という言葉は特に最近のデータサイエンティストや人工知能のブームとも合わさってよく聞かれるようになってきた言葉ですが、では何をしているのでしょうか。 結構人によって答えが変わると思います。「データ分析とは」で検索するとたくさんの結果が出てきますが、その中からいくつか拾ってみましょう。 ・データ分析とは価値のある意味を見出すこと ・データ分析とは「仮説思考」を円滑に回すために存在する ・統計学や機械学習を