Twitterから離れるにあたり念の為データをバックアップしました。(方法)せっかく過去の全てのツイートのデータを取得できたのでCode Interpreterに入れてどんな人物か推定させてみました。 面白半分に分析を始めましたが思ってた以上に推測されてだんだん怖くなっていったという記録です。 読み込み もうこれぐらいでは驚きませんがアップロードしたら余分な行を削除してJSONだけを取り出して読み込みました。 分析内容を提案してもらう 分析内容を考えるなんて人間のすることではありません。考えてもらいます。 年別の時間帯別の投稿数 2013年に起業したのでツイートが減り、2019年に会社をやめたのでツイート数が増えています。2020年は学校に通っていたのでツイート数が増え、2021年にまた起業したのでツイートが減っています。 2017年は子会社社長として働いていたのでツイート数が特に減ってい
先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて
【内容】 ○「年齢別の男女の主導権」「強姦/和姦とストーリー要素」「ストーリーパターン、ヒロイン性格・属性、主導権・動機・セリフの数量化分析」等々 ○数字から分析を引き出す構成など 【掲載画像所載】 続きを読む
はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript),Colab(Python)どちらでも例を試せる。https://t.co/
データ視覚化やダッシュボードデザインは文字通り「視覚化」「デザイン」というくらいですので、目に見えているところだけを語られがちです。しかし、実は最も重要なのは徹底したオーディエンス(ユーザー)主義の意識、そして質の高い問いの設定です。なぜなら、オーディエンスは、つまらないと感じたり、わからないと感じるとすぐに離脱するからです。これはとても単純で当たり前とも言えるのですが、データ視覚化に夢中になっていると忘れがちなポイントです。 下図は、ダッシュボードに表れるものとその根底に潜む要素を模したものです。データ視覚化の深層部分はこのような氷山で説明できるのではと考えています。 上側半分はよく語られがちですが、下側は見過ごされがちです。ですので、本記事では、上側から下側まで一気通貫のチェックリストを紹介します。弊社では、プロジェクトの開始時から最後まで考えていることです。これらの要素は相互に影響し
「雑用扱いで名前もない」 データ分析の土台を支える“SQLを叩く人”の重要性を問い直す:これからのAIの話をしよう(データ整備人編)(1/3 ページ) 多くの企業がデータの分析・活用に取り組んでいますが、その中で抜け落ちがちなのが、データ整備の視点です。データベースからデータを抽出・集計して分析者に渡す作業は地味に見えますが、データ分析の土台を支える極めて重要な仕事です。 この役割は、戦争でいうところの「兵站」(へいたん)に当たるほど重要なのではないか――データ分析に関する情報発信を続けるしんゆうさんが、自身のブログでこう問いかけた所、予想以上の反響があったといいます。 ※兵站:戦場で、前線の部隊のために軍需品や食料などの供給・補充を行う機関 しんゆうさんは、データを抽出・集計して分析者に渡す人を「データ整備人」「データアーキテクト」と呼び、データ分析に関する勉強会を開催するなどの啓蒙活動
データ分析は客観的と言われるが本当だろうか。本来、分析や解釈は主観的であってもおかしなことではない。連載「データ分析のワナ」の1回目は、データ分析は分析者の視点の構築が重要であることを説明する。 「データ分析をしても、知っていた結果しか出てこなかった」 よく聞かれる表現だが、これは当たり前である。そもそも、何かの発見は「気づき」や「想像力」といった個人のひらめきを伴う思考力に頼るところがある。これらによらない計算機を使った分析は、単なる計算処理に他ならない。処理結果を誰もが考えそうな視点(時にそれは「ロジカルシンキング(論理的思考)」などの結果として得られるかもしれないが)で眺めたところで、誰もが考えそうな結果になるのは当たり前である。 データ自体が意味を持つわけではない そもそも、データは「文字や数字、記号等で記録された資料」であり「推論等の基になる事実」である(「広辞林」より)。どのよ
フローチャート ※依存関係・フローチャートはJavaScriptのみです。 対応言語は、下記の通り。JavaScriptTypeScriptPythonPHPJavaC++ 望む言語が他にあればIssueにどうぞ、とのことです。 Code Crumbsのデモ デモでは、JavaScriptのコードでその動作を確認できます。 デモページ 依存関係はDependenciesをオンに、フローチャートはFlowChartタブをクリックします。 Code Crumbsの使い方 セットアップ codecrumbをインストールします(yarn global add codecrumbs)。 codecrumbs -d project-src-dir -e project-src-dir/index.jsを実行し、プロジェクトに合わせてパラメータを変更します。-dはソースコードを含むディレクト
(2016/9/20追記)本講座は2016年7月8日をもって受付を終了しました。 現在、第3期(2016年12月13日開講)の受講登録を受け付けております。こちらのページをご参照ください。 2016年4月19日開講予定の「社会人のためのデータサイエンス演習」にさきがけて、「社会人のためのデータサイエンス入門」を2016年3月1日より特別開講させていただきます。 入門編と演習(実践編)を受講することで、データ分析の基本的な知識から、ビジネスの現場で使われる実践的なデータ分析(統計分析)の手法までを身につけることができます。 「社会人のためのデータサイエンス演習」はこちらのページをご参照ください。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち“データサイエンス”力の高い人材が求められている。このようなことを踏まえ、本コースでは“データサイエン
2015年3月にオープンした「無印良品天神大名」(福岡市)の様子。日常生活全般にわたる自社企画商品を販売する 日用品の製造小売り(SPA)事業「無印良品」を展開する良品計画は、「MUJI DIGITAL Marketing 3.0(以下MUJI 3.0)」と呼ぶビッグデータ活用戦略を推進している。国内約400店の実店舗や通販サイト「無印良品ネットストア」などから得られるデータを集約し、ここに表れる顧客動向を販促に生かす取り組みだ。「誰がどこで何を買ったか、どう反応したか」という情報を蓄積し、顧客へのアプローチに活用できるようにする。 そのために、自社開発した販売管理や在庫管理システムを改善する一方で、パブリッククラウドをふんだんに活用する。奥谷孝司WEB事業部長は「ビッグデータ分析はすぐに成果に結びつくとは限らない。初期投資は最小限に抑えたかった」と説明する。データ分析のツールに応じて、A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く