サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
初めて使ったBIツールはLooker Studioのid:syou6162です。これまでTableau / Looker(≠ Looker Studio) / Metabase /Redash / Connected Sheetsなど色々なBIツールを触ってきましたが、不満は色々ありつつも個人的に一番しっくりきて愛着があるのはLooker Studioです。このエントリでは、その魅力と便利な使い方や注意点について書きます。例によって、社内勉強会向けの内容を外向けに公開しているため、内容の網羅性などは特に担保していないことにご注意ください。 Looker Studioの魅力 利用のハードルが限りなく低い &Google Workspaceとの連携が便利 複雑過ぎることができないので、諦めが付けやすい ちゃんとBIツールになっている Looker Studioの便利な使い方 多様なデータソ
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? わ、去年2023-08-26にこの記事書いたんだね。まる1年だね。2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊書きましたよ。 【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました本記事のめあてIT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。本記事作者の青木はバイオインフォマテ
（『ITText 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
第１週：統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 第２週：データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値～平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 第３週：データの見方と適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①－クロスセクションデータ－ ・比率の見方②－使い方と注意点－ ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 第４週：誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公
naki @naki_mk 同僚からもらった画像だけど、ワイもようやくPythonからExcelに降り始めるフェーズに入ってきた気がする。 pic.twitter.com/iqSgbbhobX2022-09-06 08:11:05 naki @naki_mk 私のツール遍歴 新社会人「Excelの機能たくさん覚えて市場価値アップだ！まずはショートカットっと」 2年目「BIツール超便利じゃん…Excelとか必要なくね…ｽｸｼｮ貼ﾘ付ｹ-」 3年目「BIツールだけだと何かと不便…Python覚えるか…」 6年目「誰でも使えるように設計されてるExcelが便利すぎる…」2022-08-19 09:58:41
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した2022-03-08Google の非公式ブログで、The UnofficialGoogle Data ScienceBlog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られたGoogle DevelopersGuides:Machine LearningGuides >Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。Good Data Analysis の概
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
新型コロナ禍が我が国の政治の深刻な問題をあぶり出しています。一市民としては支持する政治家を本腰入れて検討しなければいけません。 個人的な問題意識は主に「労働」と「財政」にありますので、これらの問題に積極的に取り組んでくれる方がいいです。今回のコロナ禍でこの2つは本当に切実な問題になりました。反対に「脱原発」とか「改憲」はやめてほしいかな……「財政再建」とかも当然ムリ！あ、もちろん国政の話です。 そんな訳でデータの力で問題意識の合う現職国会議員を探してみました。使うのはみんな大好きPython3 onGooglecolab(Jupyternotebook)です。技術的な話を飛ばして結論だけ見たい方はこちらからどうぞ。 やったこと まずはTwitterをやっているすべての現職国会議員のTweetを一人当たり最新1000件ほど取得します。現職国会議員のアカウント一覧は国会議員いちらんリスト
円グラフについて「書くときの注意点」「円グラフの種類」「どういったデータが円グラフに向いているか」「実際の円グラフのデザイン」などを画像を使ってわかりやすくまとめました✨note公式Twitterでも紹介された人気記事なので、よかったら見てね😊 さくっと書きたい人は「円グラフの種類」から読むことをおすすめします。いろいろな円グラフのデザインがあるので、気に入ったグラフを真似して使ってね。 しっかり考えて書きたい人は、「円グラフを書くときの注意点」を読めば、見やすい円グラフの作り方がわかるとおもいます。 円グラフを書くときの注意点・本当に円グラフでいいの？ 円グラフはわかりにくくなりやすいグラフです。 要素が3つ以上ある場合は、棒グラフを使ってみるのもおすすめです🙆 「円グラフは使うな」という方もいますが、私は使い方さえ間違えなければ円グラフも素晴らしい表現方法だと思うので、簡単にわか
企業のWebマーケティング担当者やコンテンツマーケティング担当者の以下の課題にお答えする記事です。 「Looker Studio」とは何か、使うとどんなメリットがあるか知りたい 初心者でもわかるLooker Stuidioのテクニックを知りたい さらに使いこなす際のポイントを知りたい この記事では、Webサイト運用などの際に活用すべきLooker Studioというツールの概要やメリット、Looker Studioの使い方に関する具体的なテクニックについて、「初級編」と「中級～上級編」に分けて詳しく解説します。 Looker Studioは様々なデータを可視化し分析できるツール 「Looker Studio」は、Googleが提供している無料のダッシュボードサービスです。 以前は「Googleデータポータル」という名称で提供されていましたが、2022年10月に「Looker Studio」
2023年になっても日本企業の基幹系システムの80％はオンプレミスで商用RDBを使い続ける。臨機応変なデータ分析ツールはExcelであり続ける。ガートナーの予想 ガートナー ジャパン株式会社 は、今後3～5年間で企業の顧客戦略に大きな影響をもたらす動向に注目した、アプリケーション領域における2019年の展望を発表しました。 発表にはいくつかの項目が含まれています。その中から3つの予測をピックアップしました。 ■2023年を迎えてもなお、日本の大企業における基幹系システムの80%が商用のリレーショナル・データベース管理システム (RDBMS) を使い、オンプレミスで運用し続ける ガートナーが日本企業に行った調査によると、ERPとその中でも汎用化しやすい業務を除いた基幹系システムににおいてはクラウドの採用が進んでいないことが明らかになっています。同様のことが、基幹系システムに利用されるRDBM
こんにちは、ほけきよです。pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
データ基盤エンジニアという仕事の魅力について、質問を受ける機会がありました。 何が魅力なのか。どういう面白さがあるのか。どこにモチベーションがあるのか。 せっかくなので自分なりに考えをまとめてみます。 5つの面白さ ざっくりまとめると、データ基盤エンジニア（あるいは：分析基盤エンジニア・データエンジニア）というのは、「主体的に働きやすく」「スキルを(伸ばし/広げ)やすく」「キャリアアップに繋げやすい」仕事だと思います。 1. データ活用担当への第一歩としてデータ分析や機械学習を仕事としてやりたい。だけど、職務経歴としてはアプリケーション開発やインフラに強みがある。 この立場の人がキャリアをピボットするための踊り場として、データ基盤の担当になることがあります。 持ち前のスキルを活かしてデータ基盤の構築・運用に関わるところから始めます。 データ仕様に詳しくなっていき、徐々に活用側へと染み出し
本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPythonを取り上げ、対話型解析ツールやライブラリについて導入から解析の実行・可視化までを解説します。第2回では、Pythonによる探索的データ解析を解説します。まず対話的環境による探索的データ解析について確認し、JupyterNotebookを使ったデータ解析の実行・可視化までの手順を解説します。 対象読者Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい サンプルの動作確認環境MacOS 10.13 Anaconda 5.1Python 3.6 JupyterNotebook 5.4 探索的データ解析の流れを確認 まず対話型環境に
今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象がおきるので頭の体操としてとても面白いです。 あまりに有名なパラドックスであるため日本語でも解説がいくつか出ていますが、人によって言っていることが違っていたり、不完全であったりします。多くはシンプソンによるオリジナルの論文を読んでないことから起因するのだと思います。 例えばシンプソンのパラドックスを交絡の問題だと捉える人は多いですが、個人的に不完全だと思います（間違いではない）。このように誤解が広まった歴史的背景も含めて、詳しく書いていきたいと思います。ちなみにアニメのシンプソンズはこの問題と全く無関係です。 そもそもシンプソンのパラドックスとは？ シンプ
(Image by Pixabay) 某所でバズっていたこの記事ですが。 もう読んだ瞬間に「うわー、これ完全に洋の東西を問わずデータ分析業界だとどこでも見られる、業界つらみあるあるだなー」という感が湧いてきて、こみ上げてくる涙が押さえきれませんでした（嘘）。という軽口はさておき、実際にほぼ同じ内容の愚痴をUSでデータサイエンティストとして働いていた知人からも直に聞いたことがあるので、個人的にもかなり説得力のある話だなと思いました。 この記事の若干嫌なところは「データサイエンティストたちはいつでも転職活動をしている、何故ならどこの職場に行っても以下のつらみがあるからだ」という書き方をしている点。いや、データサイエンティスト含むデータ分析職が全員常に転職活動しているかというとさすがに違うだろうと思いますが、「それくらいつらいんですマジ勘弁して下さい」と言われたら頷かざるを得ないのもまた事実かな
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに本記事では、データサイエンスについて学んだこと、データ分析業務に携わって、経験したこと、気付いたことをまとめています。特に、後半を中心にまとめています。前半についてはこちらの「データサイエンティストを目指して半年で学んだことまとめ」に書いています。ご興味があれば、読んでいただければと思います。 全ては**ビジョン（あるべき/ありたい姿）**を明確にしてから始まるデータ分析で最も重要になるのが、ビジョン（あるべき/ありたい姿）の明確度にあると感じています。ビジョンが明確であるほど、課題・目的も明確に設定でき、課題解決のための仮
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
