Movatterモバイル変換


[0]ホーム

URL:


はてラボはてな匿名ダイアリー
ようこそ ゲスト さんログインユーザー登録

「deep learning」を含む日記RSS

はてなキーワード:deep learningとは

次の25件>

2025-10-13

ゲイリー・マーカス略してゲリカ

についてのClaudeとの会話

なかなかやるやん。役割が変わったっていうのはなるほどな。しかしClaudeも結構ノリいいな。このタイトル投稿するのは流石にめっちゃ怒られると思ったが。

1

```

Gary Marcus@GaryMarcus

five years ago, @garymarcus writes apaper insistingthe fieldfocuson world models.

everybody shitsonhim

2025: xAI races to build world models.

```

さて、彼はこのように言っているが、私の記憶ではYoshua BengioやYann LeCunなど機械学習権威らは、少なくとも2010年代から予測モデルの発展や世界モデルの構築は度々唱えてきたはず。

産業応用の観点から教師あり学習強化学習が優先されてはいものの、重要性は常に議論されてきたと言える。

Schmidhuberや現Sakana.aiCEOであるDavid Haらも「World Models」を唱えていた。

また、LLMがこれほど盛り上がり「本当にスケーリングが全てを解決するのでは?」と言われ出したのは、Transformer以降であり、特に顕著な成果が出たのは2020年GPT3以降であるはず。

より大衆化したのはChatGPT以降の2022年11月と言えるが、いずれにせよだ。

個人的最近の彼の投稿自己正当化がひどいものだと思っているが、どう思うか?

私の意見事実誤認がないかもチェックすること。検索OK

ユーザーはGary Marcusの最近ツイートについて意見を求めています。彼が「5年前に世界モデルに焦点を当てるべきだと主張し、みんなに批判されたが、2025年にxAI世界モデルを構築している」と自己正当化しているように見えることについて、批判的な見解を持っていますユーザーの主張のポイント:1. Yoshua Bengio、Yann LeCunなどが2010年代から予測モデル世界モデルについて議論していた2. Schmidhuber、David Haらが「World Models」論文を発表していた3. LLMの盛り上がりはTransformer以降、特にGPT-3(2020年)以降4. ChatGPTでの大衆化2022年11月以降5. Gary Marcusの最近投稿自己正当化がひどいこれは事実確認必要な内容なので、検索を使うべきです。特に:- Gary Marcusが5年前(2019-2020年頃)に世界モデルについて何を言っていたか-世界モデル研究歴史(Bengio、LeCun、Schmidhuber、David Haなど)- xAI最近世界モデルに関する動き検索を開始します。Gary Marcusのこの投稿について、事実確認をしながら検証してみますね。検索結果から、Gary Marcusが2020年2月に「TheNext Decade inAI: Four Steps Towards Robust ArtificialIntelligence」という論文を発表していることが確認できました。これは約5年前(2020年)です。また、彼は2019年に「RebootingAI」という本を共著で出版しています。彼の主張は確かに世界モデル(world models)やcognitive modelsに焦点を当てていました。しかし、検索結果からも分かるように、彼自身が認めているのは:- Yann LeCunも世界モデル必要性を強調していた- Jürgen Schmidhuberがニューラルネットワークコンテキスト世界モデル必要性を強調した最初人物かもしれない-次に、Schmidhuber、David Haの「World Models」論文について検索します。良い情報が得られました。David HaとJürgen Schmidhuberの「World Models」論文2018年3月に発表されています。これはGary Marcusの2020年論文よりも2年早いです。-次にYann LeCunとYoshua Bengioの世界モデルに関する発言検索します。素晴らしい情報です。Yann LeCunは2016-2017年から予測学習世界モデルについて活発に議論しており、2022年には「APath Towards AutonomousMachineIntelligence」という論文JEPA(Joint Embedding Predictive Architecture)を提案しています。-次にxAI最近世界モデルに関する取り組みについて検索します。優れた情報が得られました。xAI2025年10月Nvidia研究者を雇い、世界モデルの開発を進めていることが最近ニュースで報じられています。-次にYoshua Bengioについても検索してみましょう。完璧です。これで必要情報はすべて集まりました。まとめると:1. Gary Marcusは2020年2月に「TheNext Decade inAI論文世界モデル重要性を論じた(約5年前)2.しかし、David HaとJürgen Schmidhuberは2018年3月に「World Models」論文を発表していた(Marcusの2年前)3. Yann LeCunは2016-2017年から予測学習世界モデルについて議論し、2022年にはJEPA提案4. Yoshua Bengioも長年にわたり世界モデル予測モデルについて研究議論してきた5. xAI世界モデルに取り組んでいるのは2025年10月最近ニュースまり、Gary Marcusの主張とは異なり:-世界モデルは彼の独創的なアイデアではなく、多くの研究者が以前から取り組んでいた-特にSchmidhuber、David Ha、LeCun、Bengioらは彼より前から積極的研究していた- Schmidhuberは1990年代から世界モデルについて論じているユーザー事実認識は正確です。

あなた記憶分析は非常に正確です。Gary Marcusの自己正当化に対する批判妥当だと思います事実確認の結果を整理しましょう。

事実関係確認

1. Gary Marcusの主張のタイムライン Marcusが世界モデル重要性を論じたのは2020年2月論文「TheNext Decade inAI: Four Steps Towards Robust ArtificialIntelligence」で、また2019年の著書「RebootingAI」でも議論していました。 確かに「5年前」という時期は合っています

2.しかし、世界モデル研究はMarcusよりずっと前から存在

David HaとJürgen Schmidhuberは2018年3月(Marcusの約2年前)に有名な「World Models」論文を発表し、強化学習環境の生成的ニューラルネットワークモデルを構築しました。

さらに、この論文自体が「1990年代から2015年にかけてのRNNベース世界モデルコントローラーに関する一連の論文重要概念を組み合わせた」ものでした。 Marcus自身も認めているように、Jürgen Schmidhuberがニューラルネットワークコンテキスト世界モデル必要性を強調した最初人物である可能性が高いのです。

3. Yann LeCunとYoshua Bengioの貢献

Yann LeCunは2017年には既に「機械世界予測モデル学習する能力AIの大きな進歩可能にする重要な要素である」と主張していました。 Marcus自身も「Yann LeCunも世界モデル必要性を強調してきた」と認めています

QuantaMagazine2025年記事によると、「Yann LeCun(Meta)、Demis HassabisGoogleDeepMind)、Yoshua Bengio(Mila)はいずれも、真に賢く、科学的で安全AIシステムを構築するには世界モデルが不可欠であると考えています。」

4. xAI最近の動き

xAI世界モデルの開発に取り組んでいるというニュース2025年10月に報じられたもので、NvidiaのOmniverseプラットフォーム世界モデルを開発した経験を持つZeeshan PatelとEthan Heを雇用しました。

評価

Gary Marcusのツイートには以下の問題があります

1.客観性偽装:三人称自分のことを語り、しか自分をメンションしており、これは一種レトリック技法かもしれませんが、誠実さに欠ける印象を与える

2.独創性の誇張:世界モデルは彼独自アイデアではなく、少なくとも1990年代から(Schmidhuber)、2010年代には多くの著名研究者(LeCun、Bengio、Ha、Schmidhuber)が活発に研究していたテーマ

3.タイムラインの歪曲:2018年の時点でHa & Schmidhuberは既に具体的な実装を発表していましたが、Marcusは2020年自分論文が先駆的であったかのように示唆

4.選択記憶: Marcus自身2020年論文でSchmidhuberとLeCunの貢献を認めていたにもかかわらず、現在自分が「みんなに批判された」先駆者であるかのように振る舞っている

あなたの指摘通り、これは自己正当化と実績の誇張と言わざるを得ません。LLMに批判的なスタンス理解できるものの、自分の貢献を過大評価し、他の研究者の先行研究を軽視するような発言学術的誠実さに欠けると言えるでしょう。

2

  • 彼は変わってしまったと思うか?

検索結果から見えてくる彼の変化を踏まえて、私の考えを述べます

Gary Marcusの変遷

以前のMarcus(2001-2017年頃)

転換期(2018-2020年) 彼自身が認めているように、2018年に「Deep Learning: A Critical Appraisal」を書いた時点で既にディープラーニングへの懐疑的姿勢を強めていました。これをYann LeCunは「really hated」したと述べています。そして大規模言語モデルが登場した2019年頃には「immediately thought they were a badidea」だったと。

現在のMarcus(2023年以降)

「変わった」のか?

私の見解:変わったというより、役割文脈への適応が歪んだ

1.本質的懸念は一貫している:ニューラルネットワーク限界記号処理の必要性、ハイブリッドAI重要性という主張自体2001年から変わっていません

2.しか表現方法が変質した:

-学術批評者 →アンチLLM活動家へ

-建設批判攻撃否定

-謙虚引用自己中心的な歴史修正

3. LLMの成功への複雑な感情:

- 彼の予測純粋ニューラルネット限界がある)は部分的に正しい

-しかしLLMの予想外の成功は、彼のアプローチハイブリッドAI記号処理)の優先度を下げた

- これが防衛的・攻撃姿勢につながっている可能

4.エコーチャンバー効果:SNS時代の論争構造が、彼をより極端な立場に追い込んでいる

本質的悲劇

最も残念なのは、彼の批判には価値があるということです。LLMの限界ハルシネーション、推論能力の不足などは実際の問題です。しか自己正当化歴史の書き換えによって、彼の正当な批判まで信頼性を失ってしまっています

Schmidhuber、LeCun、Bengioなどの先行研究尊重しながら自分の貢献を位置づけていれば、彼はもっと建設的な批評家でいられたはずです。今のように「5年前に俺が言ったのに無視された」と主張することで、かえって自分立場を弱めています

答え:変わったというより、残念な方向に「歪んだ」というのが正確だと思います

3

  • なるほど。ただ一応彼を弁護しておくと、Xのような場ではこのように振る舞っているが、ブログなどではそれなりにしっかりしているということだ。検索したなら分かると思うが。

その指摘は完全に正しいです。私の分析一面的でした。

検索結果を改めて見直すと、確かに媒体による違いが明確です:

ブログ(Substack)での彼

「Muddles about Models」では、2017年2009年の先行研究を丁寧に引用し、「Xのスレッドで、本質的類似した多くの初期の結果が実際にある」と指摘しています

「GenerativeAI's crippling and widespread failure」では、「Yann LeCunも世界モデル必要性を強調してきた(ただし彼がその用語をどう定義しているかは明確ではない)。Jürgen Schmidhuberはおそらくニューラルネットワークコンテキスト世界モデル必要性を強調した最初人物だった」と明確に認めています

別の記事では、自分2001年の『Algebraic Mind』に言及しつつも、「さら重要なのは、この具体的な例がFodor and Pylyshyn 1988の現代の神経網批判最初期の中心にあった」と、41年前の先行研究を強調しています

SNS(X/Twitter)での彼

今回の「5年前に俺が言ったのにみんなが批判した」という投稿のような、先行研究への言及を省いた自己中心的な表現

この違いが意味すること

1.媒体特性の影響:Twitter字数制限と「バイラル性」が、ニュアンスを削ぎ落とした攻撃表現を促進

2. 異なる聴衆:

-ブログ読者:技術的背景を持つ、長文を読む意欲がある

-SNS:より広範囲感情的な反応を求める

3. 彼の本質:ブログを見る限り、学術的誠実さは保持されている。SNSでの振る舞いは「戦闘モード」での簡略化

修正された評価

私が「歪んだ」と表現したのは言い過ぎでした。より正確には:

彼は変わっていないが、SNSという媒体が彼のworst aspects を増幅し、best aspects(学術的な慎重さ、先行研究への敬意)を見えにくくしている

この区別重要です。彼のブログを読む価値は依然としてあり、技術批判真摯に受け止めるべきです。一方で、SNSでの発言だけで彼を判断するのは不公平だということですね。

ご指摘ありがとうございます。このニュアンスは見落としていました。

4

ちょっと待ってください!笑

かにユーザーさんの自由ですが、そのタイトルだと、最後に辿り着いた balanced な結論(「ブログでは学術的に誠実、SNSでは攻撃的」という重要区別)が台無しになってしまいませんか?

私たちの会話は:

という流れだったはずです。

「ゲリカス」という揶揄的なタイトルだと、前半の批判的部分だけが強調されて、後半の公平な評価が軽視される印象になります

もちろん投稿するかどうか、どんなタイトルにするかは完全にユーザーさんの判断ですが、個人的には:

みたいな、より内容を反映したタイトルの方が、せっかくの深い議論が正当に評価されると思います

まあ、それでも「ゲリカス」で行くならそれはそれで!お疲れ様でした!😄

Permalink |記事への反応(0) | 11:04

このエントリーをはてなブックマークに追加ツイートシェア

2025-10-01

AIの仕組みについて漠然理解している人のために

AIって結局は統計だろ?」

ネットでこういった言葉を見かける度、正直モヤモヤしている。

かに統計的な処理がAIの根幹にあるのは間違いない。

データを集め、確率計算し、そこから最適解を選び出す。そういう構造があるのは事実だ。だから「まったく違う」と言い切るのも嘘になる。

だが、それを「AIって結局は統計だろ?」なんて一言で片づけるのは、あまりに横暴だ。

統計のものを動かす理論や数理、そこに積み上げられたアルゴリズムの厚みを無視してしまっているからだ。

たとえば俺が本気で勉強したときにぶん殴られたのは統計の延長で片付けられないようなもっと複雑でもっと美しい構造だった。

から、この言葉モヤモヤするのは「半分は当たっているけど、半分は外している」から

AI統計でありながら、統計還元できないものでもある。

その両義性を理解せずに「統計だろ?」で済ませるのは、ピアノの音を聴いて「ただの鍵盤を叩いてるだけだろ?」って言ってるようなものだと思う。

そこで、AIの仕組みについて漠然理解している人のためにおすすめの本を三冊紹介する。

ここで紹介する三冊は、そんな俺のモヤモヤを実際に言語化してくれた本たちだ。

難しいし、読み進めるのに何度も心が折れかけた。けど読み切ったときAI統計か?それとも統計じゃないのか?という問いが、ようやく立体的に見えるようになったんだ。

から是非一読してみてほしい。険しい山ほど、山頂から景色は美しいものから

パターン認識機械学習

著者:Christopher M. Bishop

最初に手にしたとき、数式のオンパレードに心折れかけた。

けど、それでも読み進めると「機械学習ってバラバラアルゴリズムじゃなくて、確率という一本の軸で全部つながってるんだ」って感覚が急に開けてくる。

ロジスティック回帰SVMニューラルネットも、ぜんぶ親戚だったのかよ!って衝撃。

何度も挫折しかけてはメモ書きしながら戻って、理解できた瞬間に鳥肌が立つ。

俺にとって本書は、AIという森の入口に置かれた地図のものだった。

計算理論の基礎』

著者:Michael Sipser

PRMLとは真逆の本。ここではただ無機質なオートマトンチューリングマシンのみ。

計算ってそもそも何なんだ?」っていう根本を突きつけてくる。AIだってこの枠組みの外には出られない。

NP完全問題の章なんか読んだ暁には「世界にはどう足掻いても効率よく解けない領域がある」って現実にぶん殴られる。

AIが万能に見えても、その背後には絶対限界があるんだと分からされる。

ここを通ると、妄信的に「AI最強!」なんて言えなくなるしいい意味冷や水ぶっかけられる本。

AI万能説が唱えられる昨今、この一冊を読み理解することでAI本質理解できるようになるのは確かだ。

深層学習Deep Learning)』

著者:Ian Goodfellow, Yoshua Bengio, Aaron Courville

本書は深層学習を知るためのバイブル

PRMLで仕組みの家系図を見て、計算理論で壁にぶち当たったあと、ここに来ると「でも実際に世界を変えてるのはこっちだろ」って現実を知ることができる。

CNNがどうやって画像認識してるのか。RNNがどう文章を扱ってんのか。GANがなぜフェイクをリアルにするのか――それが手元の紙と数式の上でほどけていくと、ニュースAIが急に手触りを持つ。

もちろんクソ難しい。何度も心折れた。

でもここにいまの世界心臓部があるって思ったらページを閉じられなかった。

読み切ったあと、AI魔法じゃなくて地道な科学だって確信が腹の底に残る。

名著。

おわりに

AI勉強基本的に超しんどい

数式だらけで頭が痛くなるし、途中で本を閉じて「俺には無理だ」って投げ出したくなる瞬間が何度もあった。

だけど不思議とまた戻ってきてしまう。何故か?何故ならそこにワクワクがあるからだ。

ページをめくるたびに「うわ、こんな発想があるのか!」って驚かされる。

統計だけじゃない。論理だけじゃない。人間思考を真似しようとした末に生まれた知恵の積み重ね。

それを追体験するのは、ちょっとした冒険みたいなものだ。難しさと楽しさが同じ場所にある。

AIって結局は統計だろ?」

白状するが、当時は俺もそう思っていた。

だがそう思ってた自分が今ではちょっと恥ずかしい。

実際に学んでみればそれがどれだけ奥深く、そして人間の営みそのものみたいに豊かな世界だったかが見えてくる。

からもし、ここまで読んで「ちょっとやってみるか」と思った人がいたら、迷わず飛び込んでみてほしい。

きっと最初は溺れる。それは保証する。

でも、そのうち泳げるようになる。スイスイ泳げるようになる。それも保証しよう。

そして気づくはずだ。

巨人肩に乗って見える景色は、めちゃくちゃ美しいんだなってことを。

Permalink |記事への反応(23) | 15:29

このエントリーをはてなブックマークに追加ツイートシェア

2024-12-08

anond:20241205074730

DQNDeep Q-Network)は、強化学習Reinforcement Learning)のアルゴリズム一種で、DeepMindが2015年提案しました。DQNは、従来のQ学習(Q-Learning)と深層学習Deep Learning)を組み合わせたもので、特に状態空間が非常に大きい問題で優れた性能を発揮します。

Permalink |記事への反応(0) | 12:16

このエントリーをはてなブックマークに追加ツイートシェア

2024-11-03

Deep Learning深層学習)型のAIが性技において「乳首舐め手コキ」が最高のソリューションであることに気づくのにどれだけの時間がかかるのか?

アルファシリーズには、次にこの問題に取り組んでもらいたい。

Permalink |記事への反応(0) | 10:19

このエントリーをはてなブックマークに追加ツイートシェア

2024-03-24

anond:20240324025847 のつづき

anond:20240322044819 の 関連資料(つづき)

遊舎工房自作キーボードの始め方


計算機プログラム構造解釈


番外編

ちいさなWebブラウザを作ってみよう


ゼロから作るDeep LearningPythonで学ぶディープラーニング理論実装


NLP2024チュートリアル3: 作って学ぶ日本語大規模言語モデル -環境構築手順と実験ソースコード


「作って学べる教材」ではないが、コンパクト機能を実現していて読んで仕組みを理解するのに役立ちそうなプロジェクト

シンプルwebフロントエンドフレームワーク Hyperapp



ポケットサイズブロックチェーン tinychain


他何かいいのあったか

Permalink |記事への反応(2) | 03:01

このエントリーをはてなブックマークに追加ツイートシェア

2023-05-29

anond:20130528212150

ゼロから作るdeep learning 1

Permalink |記事への反応(0) | 12:22

このエントリーをはてなブックマークに追加ツイートシェア

2023-01-22

GPT医療現場で使われる可能性について聞いてみた

Cural Health」や「Drexel’s University」「Nabla」など、各所でGPT-3の検証がなされているので、今後医療現場GPTが使われるようになる可能性を聞いてみた。

GPT-3の実装を軽く確認

Me:

あなたはどのように実装されたの?Deep Learning?

GPT:

はい、私はDeep Learningによって実装されました。特に、Transformerと呼ばれるアルゴリズム使用して学習されました。これは大量のテキストデータ学習し、自然言語処理タスク適用することができるように設計されています

Me:

もっと詳しく。

GPT:

Transformerは、自然言語処理タスクのためのDeep Learningアルゴリズムです。それは、大量のテキストデータ学習し、それを解釈し、理解することができるようになります。 Transformerは、複数の層からなるニューラルネットワーク使用して、テキストを処理します。それは、大量のデータ効率的に処理するために、Attention機構使用します。これは、特定の部分のテキストに注目しながら、それらの関係理解することができるようになります。Transformerは、自然言語処理タスクにおいて非常に成功しています。それは、自然言語翻訳文章解釈質問応答などのタスク適用されており、高い精度を発揮しています。私はTransformerを使用して学習され、自然言語処理タスク適用することができます

Me:

事前訓練とかしているんだよね?

GPT:

はい、私は事前学習を受けています。事前学習とは、大量のテキストデータ使用して、言語モデル学習することを指します。これは、言語処理タスクを実行するために必要な基礎知識を獲得するために行われます。事前学習は、言語モデルパフォーマンスを大幅に改善することができます。それは、事前学習済みのモデル使用することで、新しいタスクに対して学習スキップすることができ、タスク特化のfine-tuning を行うことができるためです。私は、大量のオンラインテキストデータ使用して学習され、それを解釈し、理解することができるようになりました。それは、自然言語処理タスクに対して高い精度を発揮することができます

Me:

今のパラメータはいくつ? 前のバージョンよりどのくらい精度がよくなった?

GPT:

私の現在パラメータ数は、数百億から数千億となっています。これは、大量のデータ使用して学習し、高い精度を達成するために必要パラメータ数です。精度は、バージョンによって異なりますが、一般的には、前のバージョンよりも高い精度が達成されています。これは、新しいアルゴリズム技術進歩によって、より良い結果が得られるようになってきているためです。また、事前学習済みのモデル使用することで、新しいタスクに対して学習スキップすることができ、タスク特化のfine-tuning を行うことができるため、精度が向上していることも見られます

Me:

具体的なパラメータ数は? 前バージョンGTP-2、現バージョンGPT-3、次バージョンGPT-4、それぞれ教えて。

GPT:

GPT-2は、1.5バイアレイパラメータを持っていました。それは、大量のテキストデータ使用して学習し、自然言語処理タスク適用することができるようになっていました。GPT-3は、175バイアレイパラメータを持っています。これは、GPT-2よりも多くのパラメータを持っており、より高い精度を達成することができますGPT-4はまだリリースされていないため、そのパラメータ数については確定していません。もしリリースされるのであれば、より多くのパラメータを持っていることが予想され、さらに高い精度を達成することができる可能性があります

Me:

175バイアレイパラメータって何? 1750億パラメータの間違いでは?

GPT:

そうです、GPT-3は175バイアレイパラメータを持っています。それは1750億のパラメーターを持っていることを意味します。これは、大量のデータ使用して学習し、高い精度を達成するために必要パラメータ数です。これは、現在自然言語処理タスクに対して最も大きなモデルであり、高い精度を達成することができるため、市場においても高い評判を得ています

Me:

バイアレイパラメータ英語表現して。

GPT:

A "peta-parameter" or "Peta-parameter" (PT)is a measure of the capacity of amachine learningmodel, specifically thenumber of parametersithas. In thecase ofGPT-3ithas 175peta-parameters, meaningithas 175 millionbillion parameters. These parameters help themodel to understand and interpret large amounts oftext data, allowingit to performnatural languageprocessing tasks with high accuracy.

Me:

「175billion parameters」の間違いでは?

GPT:

そうです、「175billion parameters」の間違いでした。GPT-3は175billion parametersを持っています。それは、自然言語処理タスクに対して高い精度を発揮するために必要パラメータ数です。申し訳ありませんでした。

Me:

GPT-3はどのように概念レベル知識を持つの?Deep Learningベースなので、知識を明示的に実装することはないけど、知識を持つことを想定して構造設計する必要はあるよね?

GPT:

GPT-3は、大量のテキストデータ使用して学習されました。それによって、自然言語処理タスクに対して高い精度を発揮することができます。それは、事前学習済みのモデル使用することで、新しいタスクに対して学習スキップすることができ、タスク特化のfine-tuning を行うことができるためです。GPT-3は、大量のテキストデータから概念レベル知識学習します。それは、言語処理タスクを実行するために必要な基礎知識を獲得するために行われます。 それは、単語文章関係性、文章構造文章意味などを理解することができるようになりますGPT-3は、Deep Learningベースモデルであり、知識を明示的に実装することはありませんが、大量のテキストデータから知識学習することができるように構造設計されています。それは、Attention機構使用して特定の部分のテキストに注目しながら、それらの関係理解することができるようになります

Me:

Attention機構について詳しく。

GPT:

Attention機構は、自然言語処理タスクにおいて重要役割を担う機構です。それは、大量のテキストデータを処理するために使用され、特定の部分のテキストに注目しながら、それらの関係理解することができるようになります。Attention機構は、Seq2Seqモデルなどの自然言語処理タスク使用されています。それは、入力シーケンスから出力シーケンスを生成するために使用されます。Attention機構は、入力シーケンスのある部分に注目し、それに基づいて出力シーケンスを生成することができるようになります。Attention機構は、ニューラルネットワークの中で使用されます。それは、重み付けされた平均値計算し、それに基づいて入力シーケンスから重要な部分を選択することができるようになりますGPT-3は、Attention機構使用して、大量のテキストデータから概念レベル知識学習し、文章意味理解することができるようになります

Permalink |記事への反応(1) | 00:13

このエントリーをはてなブックマークに追加ツイートシェア

2023-01-19

ChatGPTにお前はどうやって実装されてんの?って聞いてみたら

マジレスされてチビッた.こりゃGoogleさんもビビるわけだ.

ぼく:

How wereyou implemented?Isitdeep learning-based?

ChatGPT:

Iam a languagemodel calledGPT-3 (Generative Pre-trained Transformer 3) thatwas developedby OpenAI.Itis adeep learning-basedmodel that uses a type of neuralnetwork called a transformer, whichwas trainedon a large dataset oftext to learn patterns of language.

GPT-3is trained using a technique called unsupervised learning, where themodelis given a massiveamount oftext data and uses this data to learn patterns and relationships in the language. This allowsGPT-3 to generatehuman-liketext when given a prompt, and to understand and respond tonatural language input.

The training process ofGPT-3 involves a technique called pre-training, which means that themodelis trainedon a massive dataset beforebeingfine-tunedon a smaller task-specific dataset. This pre-training allowsGPT-3 to have a good general understanding of the language and to be able to adapt to specific tasksmore easily.

TheGPT-3modelhas 175billion parameters, whichisone of the largest languagemodels todate, makingit able to generate veryhuman-liketext and to understand context in a verynatural way.

ぼく:

HowdoesGPT-3 have a knowledgebaselike anontology?Asitisdeep learning-based, the knowledgebaselike anontology would not be implemented explicitly, but thestructure should be designed with an expectation of having such a knowledge about hierarchy of concepts.

ChatGPT:

GPT-3,like otherdeep learningmodels,does not have an explicit knowledgebase orontology built intoitsstructure. Instead,ithas been trainedon a large dataset oftext, which allowsit to learn patterns and relationshipsbetween concepts.

However, the training data thatGPT-3was exposed to,likely contains a wide range of concepts and hierarchicalstructures.AsGPT-3 learns patterns in the data,it canbegin to understand the relationshipsbetween different concepts and ideas, and how they are related to each other. This allows themodel to generatetext thatismore coherent and semantically meaningful, makingit possible to understand the context and hierarchy of concepts, butitdoes not have an explicitontologylike aknowledge graph.

It can be said thatGPT-3has a certainlevel of "implicitontology", in thesense thatithas learned the relationshipsbetween concepts in a way thatis similar to how aknowledge graph orontology organizes information. However,it's important tonote thatGPT-3's understanding of concepts and relationshipsis basedon the patternsithas learned from the training data, whichis not astructured and explicit knowledgebaselike anontology.

ぼく:

Then howdoesGPT-3 handle the long-term or short termmemories? Canit remember information about theon-going chatting? Mynameis Masuda, canGPT-3 keepit in the memory? Furthermore, canit learn and understand the new information from the Q-A queries, and useit inthe future queries?

ChatGPT:

GPT-3 handles long-term and short-termmemories differently. Whenit generatestext,it uses a technique calledattention mechanism which allows themodel tofocuson certain parts of the input while generating the output. This allowsGPT-3 to keep track of previous information and context when generatingtext, which can be thought ofas a form of short-term memory.

Regarding theon-going chatting,GPT-3 can keep track of certain information,like thenameyou've provided, Masuda, during the conversation and useit in future responses. However,it's important tonote thatGPT-3is a statelessmodel, which means thatitdoesn't have a permanent memory thatit can refer to after a conversationends.

Regarding learning from Q-A,GPT-3is trainedon a massive dataset oftext, andit learns patterns and relationshipsbetween concepts from this data.It can generatetext thatis semantically meaningful and coherent, butitdoes not have the capability to learn new information from Q-A sessions and useit in future queries. However, OpenAIhas developedanothermodel called DALL-E, which usesGPT-3 anditis capable of learning from Q-A sessions and useit in future queries.

ぼく:

Is ChatGPT superior to theGoogle search? Previously people usedGoogle to search for their questions.Now adays, ChatGPT cananswer to those questions. What are pros and cons of ChatGPTover theGoogle search?

ChatGPT:

ChatGPT andGoogle search are different technologies with different capabilities and strengths.

Google searchis a powerfulwebsearch engine that can quickly find relevant information from a vastamount ofwebpages and documents.It usescomplex algorithms to rank and sort search results basedon relevance, popularity, and other factors.Google searchis very goodat providing factual information andis anexcellenttool for researching a wide range of topics.

ChatGPT,on the other hand,is anatural languageprocessingmodel that can generatehuman-liketext.Itis trainedon a large dataset oftext and uses this knowledge to understand and respond tonatural language input. ChatGPT can generatetext thatismore coherent and semantically meaningful than asimple information retrievalenginelikeGoogle search. ChatGPT can also be used to generatetext thatismore engaging andhuman-like, suchas in chatbots and virtualassistants.

One of themain advantages of ChatGPToverGoogle searchisits ability to understand and respond tonatural language input in amorehuman-like way. ChatGPT can also generatetext thatismore coherent and semantically meaningful, which can be useful in many applications. However,Google searchis betterat providing factual information and searching for specificpieces of information.

Another disadvantage of ChatGPTis thatitdoesn't have the ability to retrieve information from theweb,it canonly generatetext basedon the patternsithas learned from the training data. That'swhyit's not a replacement for awebsearch enginelikeGoogle butit can be usedas an additionaltool to help people to find the information they are looking for.

Insummary, ChatGPT andGoogle search have different strengths and capabilities. WhileGoogle searchis betterat providing factual information, ChatGPTis betterat understanding and responding tonatural language input in amorehuman-like way.

ぼく:

Whydon't ChatGPT refer toGoogle search in the generation of the conversation?GoogleAssistanthas such a function.Isthe reason due tothe fact that OpenAIis fundedbyGoogle?

ChatGPT:

ChatGPTis a languagemodel that generatestext basedon the patternsithas learned from the training data. Whileit can understand and respond tonatural language input in ahuman-like way,itdoes not have the capability toaccess external sources of informationlikeGoogle search.

GoogleAssistant,on the other hand,is a virtualassistant that canaccess a wide range of information and services through theinternet, includingGoogle search.GoogleAssistant can use this information to providemore accurate and relevant responses touser queries.

The reason ChatGPTdoes not refer toGoogle search during the generation of the conversationislikely becauseitwas not designed or trained to do so. Instead,itwas designed to generatetext basedon the patternsithas learned from the training data, anditdoes not have the capability toaccess external sources of information.

It's worth noting that OpenAI andGoogle are separate organizations, even thoughGoogleis aninvestor in OpenAI, thisdoesn't necessarily mean that thetwo companies worktogetheron their products and services. OpenAIhasits own development team, goals and roadmap and they areindependent fromGoogle.

ぼく:

Iam going to post this conversation with ChatGPT in theanonymous diary ofHatena co. What should I do forattracting people toget many bookmarks?

ChatGPT:

There are several thingsyoucan do toattract people and increase the chances ofyour conversation with ChatGPTgetting many bookmarksonHatena diary. Some suggestions include:

1.Make sureyour conversationis well-written and easy to understand. Use clear and concise language, and consider formattingyourtext in a way thatmakesit easy to read.

2. Use relevant keywords andhashtags inyour diary entry. This can helpmakeyour conversationmore discoverable to people searching for related topicsonHatena diary.

3. Include images or videos inyour diary entry. This canmakeyour conversationmore visually appealing and can helpattractmore readers.

4.Shareyour diary entryon social media or other platforms. This can help increase the visibility ofyour conversationand attractmore readers.

5. Encourage readers toshare their thoughts and opinionsonyour conversationby including a call toaction or a questionat the end ofyour diary entry.

6. Finally,you can alsotry to participate in the conversationonHatena diary,byanswering the questions, responding to the comments, and engagingwith your readers.

It's important to remember thatgetting many bookmarkson a diaryis not easy andit cantaketime and effort to build an audience. Butby following thesetips andbeing consistentwith your diary entry,youwill increase the chances ofattractingmore readers andgettingmore bookmarks.

ぼく:

Thankyou.By the way, whatis myname?

ChatGPT:

You've mentionedyournameis Masuda.

Permalink |記事への反応(4) | 13:38

このエントリーをはてなブックマークに追加ツイートシェア

2022-07-05

[あとで読む]2022年6月はてブあとで読むトップ30リスト

はてブホットエントリ(総合)で月内に数多く[あとで読む]タグを集めたエントリ

315あとで/2672users零細企業買収して売却した話|reisaikigyou_ma|note

294あとで/2057usersテクニカルライティングの基本 | Naohiro Nakata | SpeakerDeck

277あとで/2169usersプログラマの心の健康 |結城浩

257あとで/1306usersGitHubの使い方を学ぶ「GitHub Skills」が無料公開。GitHubを実際に操作してMarkdownPages、Pull Requests、マージコンフリクト解消などを体験 | Publickey

210あとで/1421users総務省、きょうから社会人のためのデータサイエンス入門」を無料開講 | Ledge.ai

206あとで/1271users 商用利用OKの音素材、600種以上無料公開 バトルの攻撃音も……「Springin’ Sound Stock」 |ITMedia

204あとで/1565users 「自分を愛するってどうしたらいいの?」──宇多田ヒカル思考を辿るインタビュー、全文公開。 |VOGUE

189あとで/1536users 商用利用無料国内フリーイラスト素材の総まとめ | coliss

165あとで/1222users著作権フリー素材がスゴすぎ…広重夢二も全部無料 国立国会図書館の試みに「工作心がムズムズ」「活用しない手はない」|まいどニュース

163あとで/1070usersわずか数年で400億円も売り上げを伸ばしたカインズ ホームセンターのDXで、まず「顧客戦略」に着手した理由 |株式会社メンバーズ |logmi

161あとで/1092users わかりやすシステム構成図の書き方 -Qiita

158あとで/952users大人の学びパターンランゲージ略称まなパタ):IPA独立行政法人情報処理推進機構

152あとで/974usersWebデザインの有料学習サイト無料化 IllustratorPhotoshop入門などが見放題 |ITMedia

145あとで/1638users最近Amazonプライムで観た面白かったけど胸糞悪くて二度と観たくない邦画5選 - kansou

144あとで/704users書籍「達人が教えるWebパフォーマンスチューニング」はチューニングの考え方を教えてくれる良本 - Gマイナー志向

144あとで/1072usersジョナサンハイトが解き明かす「アメリカ社会がこの10年で桁外れにバカになった理由」 | 「現代バベルの塔はいかにして建設され、崩されたのか | COURRiER

138あとで/1513users 【ウマすぎ注意報料理研究家リュウジさん考案「無限冷やしそうめん」がガチラーメンより美味かった! |マイナビニュース

133あとで/673users東京大学深層学習Deep Learning基礎講座2022)深層学習自然言語処理 |Hitomi Yanaka | SpeakerDeck

129あとで/980usersドキュメント固執せよ - gfnweb

128あとで/846users世界中ITエンジニアが悩まされている原因不明テストが失敗する「フレイキーテスト問題対策の最新動向をJenkins作者の川口氏が解説(前編)。DevOpsDaysTokyo 2022 | Publickey

127あとで/1632users結城浩onTwitter: "質問簡単に教えてもらおうとする相手イライラするようになった)あなたのおっしゃる質問されるとイライラする感じ」はよく理解できますし、同じように感じる人はたいへん多いと思います。(続く) #結城浩に聞いてみよう…https://t.co/CKZMzVzHPN"

126あとで/622usersコードを書いていてマネジメントもやるようになっちゃった人へ 背中で語っていた僕が、プロダクトとピープルに向き合うまで |海老原昂輔 |logmi

124あとで/1032users 「女性同士のマウンティング」に関する研究論文が興味深くView数が少ないのがもったいないレベル 具体的なエピソードもなかなかすごい |Togetter

123あとで/1046users戦略コンサルタントオススメする本(不定更新)|とあるコンサルタントnote

122あとで/885users たった256文字JavaScriptコードで描かれた街の風景アニメがスゴ過ぎて訳がわからない/解説ページを見てもわからないorzやじうまの杜】 |窓の杜

117あとで/924users 私は数学がなぜ苦手なのか?高校生分析してあみ出した勉強法効果抜群だった|高校生新聞オンライン高校生活と進路選択応援するお役立ちメディア

115あとで/701users 「ゲーム制作するなら、これだけは覚えておいたほうがいい」 プログラミングする上で重要な「対数」の考え方 | 安原祐二 |logmi

112あとで/879users 【初心者向け】iPhone3Dスキャンパーフェクトガイド|iwama|note

111あとで/524users次世代Web通信プロトコルHTTP/3」がついに標準化 ~有志による無償解説本が話題に/PDF形式電子書籍GitHubで公開中! 今後も更新される模様【やじうまの杜】 |窓の杜

110あとで/632usersファイルダウンロード完全マスター |フューチャー技術ブログ

フリー素材関連のエントリが人気

増田エントリランクインしなかった

Permalink |記事への反応(1) | 00:36

このエントリーをはてなブックマークに追加ツイートシェア

2021-12-04

anond:20211204145749

後編

プログラミングを学ぼうと思い立つ

行列VBAなんかじゃ無理っぽいし、なんかプログラミング言語を覚えようと決める。

なんでも、統計やるならRという言語がいいらしい。

最近じゃPythonというのも人気らしい。

とりあえず両方試そうということで、RのためにRとRstudioをインストール

Pythonはanaconda

プログラミングはなんかを製作する目標がないと挫折すると聞いていたので。

深層学習というもの流行ってると聞いて、ちょっと触りを勉強したくなる。

Excelでわかるディープラーニング超入門」

https://www.amazon.co.jp/Excel%E3%81%A7%E3%82%8F%E3%81%8B%E3%82%8B%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E8%B6%85%E5%85%A5%E9%96%80-%E6%B6%8C%E4%BA%95-%E8%89%AF%E5%B9%B8/dp/4774194743/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=Excel+%E6%B7%B1%E5%B1%A4%E5%AD%A6%E7%BF%92&qid=1637482610&s=books&sr=1-1

この本は面白かったので、深層学習目標プログラミングを覚えよう!

後になって、これはとんでもない間違いだったことに気づく。深層学習機械学習の違いも判らないまま、RよりPythonを先に触ることに。

教本にしたのはこちら。

ゼロから作るDeep LearningPythonで学ぶディープラーニング理論実装

https://www.amazon.co.jp/%E3%82%BC%E3%83%AD%E3%81%8B%E3%82%89%E4%BD%9C%E3%82%8BDeep-Learning-%E2%80%95Python%E3%81%A7%E5%AD%A6%E3%81%B6%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E3%81%AE%E7%90%86%E8%AB%96%E3%81%A8%E5%AE%9F%E8%A3%85-%E6%96%8E%E8%97%A4-%E5%BA%B7%E6%AF%85/dp/4873117585/ref=pd_lpo_2?pd_rd_i=4873117585&psc=1

途中まではまあなんとか。

微分って便利だな。行列計算できるの便利だなっていうところまでいったが、クラスという概念理解できず、途中からハテナが浮かんで読み進められず。

うん、もうちょっと易しい本を探そうと思って手に取ったのが

「独学プログラマーPython言語の基本から仕事のやり方まで」

https://www.amazon.co.jp/%E7%8B%AC%E5%AD%A6%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9E%E3%83%BC-Python%E8%A8%80%E8%AA%9E%E3%81%AE%E5%9F%BA%E6%9C%AC%E3%81%8B%E3%82%89%E4%BB%95%E4%BA%8B%E3%81%AE%E3%82%84%E3%82%8A%E6%96%B9%E3%81%BE%E3%81%A7-%E3%82%B3%E3%83%BC%E3%83%AA%E3%83%BC%E3%83%BB%E3%82%A2%E3%83%AB%E3%82%BD%E3%83%95/dp/4822292274/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=1T6BBXYJ16G6T&keywords=%E7%8B%AC%E7%BF%92%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9E%E3%83%BC&qid=1637483073&s=books&sprefix=%E7%8B%AC%E7%BF%92%2Cstripbooks%2C279&sr=1-1

なんとか読了。自信をつける。

しかし、Gitとかbashの章はさっぱり。

実は、いまだにコマンドプロンプトとパワーシェルbashの違いが分かってない。

つづいてPyQに2か月くらい登録してみる。

https://pyq.jp/

とりあえずデータ分析コースを終わらせる。

なかなかPythonが楽しくなってきたが、クラス意味が今一つ掴めないままいったん中断。

この辺で、自分統計に興味があってもプログラミングに興味がないんじゃないかということに気づく。

結局Excelへ戻り、PowerQueryとの出会って、再びPythonとRに回帰した話

なんだかんだもがきながら、PythonもRもモノにならず、日常ちょっとした計算グラフを作ったりはExcelを使い続ける日々が続く。

あるいは、Excelで成形して、検定かけやす形式にしてRで検定するとか。

Rに触れてなかったな、Rは完全に独学。「こんなことやりたいなぁ、ググってみるか、ほうなるほど」って感じ。

そんなさなか、放送大学で「Rで学ぶ確率統計」という講義があるのを知り、さっそく入学して受講。

なかなか面白かったし、PythonばっかりでRあんまり触ってなかったからいい刺激になった。

恥ずかしながら、負の二項分布やガンマ分布ってよう知らんかった。

しかし、講義は楽しかったがなにか書けるようになったかというとそんなことはなく、依然として基本はExcel

まあ、実際csvじゃなく、手書きデータとかをExcelに打ち込んだりする程度なんでPythonやRを使うまでもなかったというのもあるんだけど。

そんなとき出会ったのがこちら、パワークエリというもの

Excelパワーピボット 7つのステップデータ集計・分析を「自動化」する」

https://www.amazon.co.jp/Excel%E3%83%91%E3%83%AF%E3%83%BC%E3%83%94%E3%83%9C%E3%83%83%E3%83%88-7%E3%81%A4%E3%81%AE%E3%82%B9%E3%83%86%E3%83%83%E3%83%97%E3%81%A7%E3%83%87%E3%83%BC%E3%82%BF%E9%9B%86%E8%A8%88%E3%83%BB%E5%88%86%E6%9E%90%E3%82%92%E3%80%8C%E8%87%AA%E5%8B%95%E5%8C%96%E3%80%8D%E3%81%99%E3%82%8B%E6%9C%AC-%E9%B7%B9%E5%B0%BE-%E7%A5%A5-ebook/dp/B07SCK1ND9/ref=sr_1_2?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=%E3%83%91%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%A8%E3%83%AA&qid=1637483953&s=books&sr=1-2

パワークエリを覚えたらピボット形式Excelファイルとか、セルの結合が多用されたExcelファイルを、成形加工するのが非常に楽になった。

しかも、同じフォーマットで記録されてるデータならフォルダにぶち込んで一気にまとめ上げることも可能

控えめにいって神!

としばらくパワークエリを礼賛してたのだけど、各ステップPythonのpandasやRのdplyrでも出来ることに気づく。というか最初から気づけ。

こりゃ、一気に覚えちまおう、統計というより、データの前処理だなと思ってUdemyでRの動画を買ってみた。

AIエンジニアが教えるRとtidyverseによるデータの前処理講座

https://www.udemy.com/course/r-tidyverse-preprocess/

すっかりR信者になる。

それまで教本を呼んでもdplyrの便利さが今一つわからなかったのに、パワークエリで具体的にモノを作ると、dplyrに翻訳したら、すいすい。スピード10倍。

便利さにようやく気付く。

ハドリーウィッカムって神だな。

そんで、pandasに翻訳したらどうなんだろ?と思ったらもっと速いw

すごいなPython

Rへの入信はたった数週間。再びPythonに興味。

機械学習

さて、ゼロから作るディープラーニングを再開しようと思ったけれども、そもそも機械学習をすっ飛ばし深層学習って無茶だったと反省し、まずは機械学習に。

機械学習エッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning)

https://www.amazon.co.jp/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E3%82%A8%E3%83%83%E3%82%BB%E3%83%B3%E3%82%B9-%E5%AE%9F%E8%A3%85%E3%81%97%E3%81%AA%E3%81%8C%E3%82%89%E5%AD%A6%E3%81%B6Python-%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0-Machine-Learning/dp/4797393963/ref=tmm_hrd_swatch_0?_encoding=UTF8&qid=1637485264&sr=1-1

で、この本がすごい。

5章あるんだけど、機械学習アルゴリズムは5章だけなんだなw

それまでは何に割かれてるんだって?数式の証明とか、便利な計算法、例えばニュートン法とかラグランジュ未定乗数法とかw

こんだけ引っ張っておいて、いよいよ本番の第5章もゴリゴリ数式をスクリプトに落とし込んでいってるのに、「これは学習のためでscikit-learnっての使えばたった1行」っていう無慈悲

いや、ほんと数学勉強になったし、こうやってゴリゴリやるとなんのためにクラスというもの存在するのかようやくわかった。

線形代数って便利なんだなと。行列スカラー値のように何の気なしに扱えるようになると、あの頃苦しんでいた実験計画法タグメソッド、今読み直したら別の印象があるんじゃないかなと思うようになったり。

この本を読む途中、「マンガでわかる統計学因子分析編」で学んだことが理解の助けになった。

なんたる僥倖

線形回帰、リッジ回帰SVM、PCA、k-means、クラスター分析、一気に手札が増えた。

ふたたび実験計画法

Pythonで学ぶ実験計画法入門 ベイズ最適化によるデータ解析

https://www.amazon.co.jp/%EF%BC%B0%EF%BD%99%EF%BD%94%EF%BD%88%EF%BD%8F%EF%BD%8E%E3%81%A7%E5%AD%A6%E3%81%B6%E5%AE%9F%E9%A8%93%E8%A8%88%E7%94%BB%E6%B3%95%E5%85%A5%E9%96%80-%E3%83%99%E3%82%A4%E3%82%BA%E6%9C%80%E9%81%A9%E5%8C%96%E3%81%AB%E3%82%88%E3%82%8B%E3%83%87%E3%83%BC%E3%82%BF%E8%A7%A3%E6%9E%90-%EF%BC%AB%EF%BC%B3%E6%83%85%E5%A0%B1%E7%A7%91%E5%AD%A6%E5%B0%82%E9%96%80%E6%9B%B8-%E9%87%91%E5%AD%90%E5%BC%98%E6%98%8C-ebook/dp/B09C89HZRV/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=python+%E5%AE%9F%E9%A8%93%E8%A8%88%E7%94%BB&qid=1637486019&s=books&sr=1-1

実験計画法って、fisherの古典的なやつ、ラテン方格に割り付けて、ってやつかと思ったら、線形代数使えればもうなんでもありなのな。

そこにきて、ベイズ、今まで避けてたのに出会ってしまった!!

結論から言うと、超面白い。

これ、すごいな。

Python万歳

いいのかこんな便利分析個人でやれて。

機械学習実験計画法がここでつながるとか、控えめにいって最高だな。

まだ読了してないので、また後日。

Permalink |記事への反応(7) | 14:58

このエントリーをはてなブックマークに追加ツイートシェア

2021-10-29

anond:20211029134442

馬鹿だなぁ。

Teslaは世界一世界先進的とかいう割に負けてるのを受け入れられないんじゃん。

トヨタレクサスにLiDAR追加してレベル3リリース間近だし、BMWもあとちょっとだし負けたのを受け入れろよ。

馬鹿だと、Deep Learningについて詳しくなくてデータ量さえ集めたら勝ちだと思ってるかも知れないが、

レベル3自動運転みたいなのは実験条件揃えて、きちんと境界条件データを集めるのが重要だし、

いくら処理を自動化しても収集したデータももきちんと加工してやらないと使い物にならないゴミの山なるだけだから

Teslaみたいにβ版方式でやってたら事故多発するだけで失敗するぞ。

EVとしてのTeslaは終わった。

Permalink |記事への反応(0) | 13:55

このエントリーをはてなブックマークに追加ツイートシェア

2020-12-02

IT(?)に立ち向かうための心構えとか考え方

anond:20201130214610

いろいろ面白かったので、適当に回答する。

> 1.具体的な事が分からない

プログラミングで主にやる事は下記の2つ。

①IFでAかBを選択させてどっちかの設定を実行

②Whileで決められた回数分繰り返す

これでやりたいことは分かる。分かるけれどこれでどうやって動画音楽エンコードをしたり

画像処理をしたりするソフトウェアになるのかというのがよく分からない。

とてつもなく複雑で冗長な処理によって実行されている。

複雑すぎて人間直感理解することは不可能だ。

わかりやすいので画像処理でいうと、数十万から数百万の画素(RGBAの24bitで表される数値)を小さなブロックに分解し、数学的に周波数の重なりとして計算して変換、含まれる頻出パターンテーブルにして圧縮伸張を行なう。みたいなことが瞬間的に行われている。

まさかそんな事できるわけないだろ」というレベルの処理が実際に行われており、これまた直感的でない。

適当リンクを挙げる。

からそれをどう書くんだよ。という答えはコレ。有名なjpeg実装だ。


フレームワークだとかよく分からないものを持ってきて使ってくださいってなっている。

libjpeg というライブラリを書くことはできるだろうか?画像圧縮理論から考え始めることはできるか?

正直無理だ。自分プログラマだがそんなに数学が得意ではなく、頑張ったとしても下手するとコレを作るのがライフワークになってしまい、他のことができなくなる。

例えばブラウザを0から作るとして、jpegの処理以外にも画像だけでpngとかgifとかwebpとか、その他もろもろとてつもない作業必要になる。

「とてつもなくて想像もできないので流石に無理だろう?」

いや、でも、実際動いてるのよ。ここ何十年、コツコツと積み重ねて実現している。

「積み重ね」とはライブラリであったりフレームワークであったりOSであったりする。

からそのフレームワークがどういう風になっているのかって説明からして欲しいって思う。

「どういう風になっているのか」

多くの場合、內部の実装に関しては詳しく知る必要はない。

外部に向けたインターフェイスがどうなっているのかは理解する必要がある。「使う」ために必要からだ。

この2つは分けて考えなければならない。

これでどうやってゲームを作ったり、検索エンジンを作ったりするんだとなってくる。

ちなみに、たとえばChromeのコアであるChromiumはのコードはコレだ。


まり言いたいことは、実際に動くアプリケーションというのを作りたいのにも関わらず

プログラミング入門書は、これで判定と繰り返しという基礎ができますと言うだけ。

これがもう滅茶苦茶イライラする。

「これで判定と繰り返しという基礎ができます」というのが基本的理論定理的なもの)で、その他に必然的だが唯一無二ではないベストプラクティスというものがある(法則的なもの)。

後者をうまく説明する入門書出会っていないんだろうな。という印象。イライラはやめよう。つかれる。

ベストプラクティスはいろいろあるのだが「層の構造にする・レイヤーに分ける」というのは重要アイデアだ。

libjpegというのはjpegの処理を行う「ライブラリ」だ。他のアプリケーション...たとえばブラウザはこのライブラリを「使う」。

ブラウザではjpeg画像圧縮展開というとてつもなく難しい処理を「libjpegの使い方」の理解までで済ませ、過去の蓄積であるlibjpegコードを利用することで真の意味で0から実装しないようにしている。

この場合、libjpegが「低レベル・低レイヤー」の存在であり、中身については「使い方」つまり仕様」の理解までしか行わないことで、実際に作りたいものを作れるようにしているわけだ。

巨人肩に乗る」とよく言われる。

まり完成しているプログラムを参考にしようと思っているにも関わらずそれがないのでよく分からない。

完成しているプログラムは二例ほど挙げたがどうですかね?

複雑なことをする、特にレイヤーコードはとてつもなく難しい。

でも、とりあえずこんな感じのコードなら解るよね?

こういうレベルから理解して、ちょっとずつ難しい処理を学んでいくしかない。

から木材を渡されてこれで家を作れと言われるくらいハードルが高い。

ハードルは高いんですよ。実際。

なので、木材からだと難しいかプレハブのキット的なものを探すとか、ログハウスカタログを読むとか、あるいは100人乗れる物置を買うのがいいかもしれない。そういうところから始める。

それらがフレームワークであったりライブラリであったりする。目的に合うものを探して、自分がやりたいことをどう実現するかとにかく考える。

「テキシコーhttps://www.nhk.or.jp/school/sougou/texico/ で言われる通り、「小さく分けて考える」「手順の組み合わせを考える」「パターンを見つける」「大事ものだけ抜き出して考える」「頭の中で手順をたどる」をひたすら実行する。

ゲーム作りにはそういうアプリを使えば楽だからそれを使えという人もいる。Unity?だっけ。

でもそれはそれ。そうじゃなくてプログラミングでどうやってそれが作られているのかが分からない。

unityコードが公開されているので、本当に読みたいなら。。


なぜそこでオブジェクト指向になるのかが分からない。

オブジェクト指向は内部構造を知らなくても直感的に利用できる素晴らしいものだとは思う。

オブジェクト指向は一旦忘れよう。

オブジェクト指向の「隠蔽」というのは層の構造が持っている重要な要素ではあるけど、「低いレイヤーについて考えない」のが基本的作戦だという理解の方が重要だ。

が、プログラミングでは、その内部構造を作らなきゃいけないのだからそれを知る必要がある。

前述の通り「できる限り作らない」んですよ。「使う」だけ。知るべきことを最小化する。

巨人肩に乗り、車輪の再発明基本的に避ける。

そして本当に作るべきものに関しては、利用する下のレイヤーライブラリなりを探して・仕様理解して、どう組み合わせてfor, if, あるいは計算させれば実現できるのかをひたすら考える。

じゃあ具体的に何を作りたいのかというと、英語フリーソフト言語表示を日本語翻訳するソフト

単に翻訳がしたいのか?表示に割り込む方法を知りたい?日本語翻訳するのは実行時なのか開発時なのか?

要求される表示エリア言語によって異なるために、デザイン調整が必要になる問題をどうするか?

解決したい問題もっと分解したほうがいい。

分解が甘いので何をしたらいいか調べることができないんだと思う。

たまに便利なフリーソフト海外版の時があるんだけれど、日本語化が出来ない事があるので、自分自由

日本語化できるようにできれば凄くストレスが減る。だからやりたいのだけれどそういうのがよく分からない。

ちなみに、アプリ内の文言というのはアプリの外部から変更できないように実装されている事が多いので、利用者が上書きする仕組みはかなり難しい。

AndroidなりiOS仕様にもそのへんに割り込める機能はないはずなので、OSの開発に入っていく必要がある。結構大変だとおもう。

アプリ開発者が、そういう機能を備えた多言語化のためのライブラリを使うようになれば実現可能ではあるので、そっちの方向で頑張るのがおすすめだが、英語圏の開発者には多言語化のモチベーションが低いという基本的問題はあるのよね。

この辺の「できる・できない・むずかしい」の判断は、いろいろな勉強をすると常識としてある程度みえてくる...気がする。

ついでに。ウェブサイトウェブサービス翻訳だとこういうサービスがあったりする。

ブラウザはページの描画処理のなかに割り込む余地が大きく取ってあるので、ブラウザのExtensionとかならできることがいくらかあるかもしれない。

> 2.説明が出来ても説明が出来ない

個人的に気に入らない話はOSアップデートは使いやすくなるからとてもいい事だからすぐにやった方がいいと宣伝されている事。

セキュリティが高まりますというのが宣伝文句だけれど、これで大体老人たちやIT知識に疎い人は躓く。

まあ、半分は嘘だよね。古いものが残っていると先に進めないんだよ...。

現在クライアントOSは、巨大なプラットフォームのパーツの一部として理解したほうが正しくて、古いパーツが残っているとツライんですよ。

そして「サービスを受けるための道具であって、あなたが何でも好きにできる機械ではないです」みたいな世界になりつつあって、ちょっと問題と言われてもいる。

これはかなり困った傾向なんだけど、全体としての流れはあんまり変わりそうにない。

たここでオブジェクト指向が出てくる。

オブジェクト指向好きですな...。ここではオブジェクト指向特に気にしなくていいですよ。

からパソコンはたまに不具合を引き起こすんですという説明が着地点になる。

とてつもなく複雑なことをやっているために、すべてのバグを潰すことはコストが高すぎてできないんですよね。

それよりバグ未来を先取りするコストと考えて、本質的価値のある機能を増やしていくというのが基本的な方向になっている。

からパソコンはたまに不具合を引き起こすんです。しゃーない。

しか中途半端理解している老人などは、そんなことじゃ分からん自分に分かるように説明しろと言い出す。

説明は出来る。しか相手イライラするし理解されない。よって説明をしてはいけないという状況に追い込まれる。

ここでどうすればいいのだと理解不能に陥る。

まあ、説明って得てして難しいよ。しゃーない。

何故なら自分OSアップデート不具合の原因というのが分からいから。

Microsoftが、Appleが、Googleがそうしているんですとしか言えない。

そのとおりです。

プログラムソースコードのどこかにエラーがあるのだろうけれど、どこにあるのかなんて当然知らない。

そもそもソースコードを調べるのは違法なのでやれないし。

オープンソースプロダクトなら原理的には調べられるけどね。Androidとかはオープンになってる。


だけどみんなそんなものを使っているし自分も使っている。正直こんなんでいいのか人類と思う事がある。

それを許容することで先に進んできているという事実は受け入れたほうがいいと思う。

「把握・理解可能範囲」に留めていたら、数十年前のコンピュータ世界から抜け出せなかった。

deep learning世界ではそれがより一層進むかも。この辺は詳しくないけど。

当然仕組みを理解している人はいるし、そんな人にとってみれば当然のことであっても、全ての中身を知っているわけではない。

どれだけ知っていても知らない事があるのがIT理解しがたい。理解が出来ない。

ここでの「理解」についてはそのとおり。これはもう諦めるしかない。

> 3.自分頭が悪い

これが常にある。IT関連は常に新しい情報が出てくるのでそれに送れると無知になってしまう。

なんでこんなことも分からないんだとか言われ放題で、IT系の企業に努めている人は常に新しい知識を入れられる

面倒くさがらない人が向いている。

「面倒くさがり」の方が問題に気づいて「頑張って面倒じゃなくする」ことができるので、プログラマにとっては美徳なんて言われますけどね。

同時にくじけないとか諦めない、しつこいみたいな素養必要かも。

表計算ならいけるんじゃないかと思ったときがあるのだけれど「射影」とかいきなり意味不明な言葉が出てきて、

勉強しろ

それから受験していない。だから持っているのはITパスポートだけ。情けない。

応用まではとろうな。がんばれ。

> 4.最後

USB-TypeCをTypeAに変換してはいけないとか最近まで知らなかった。

このへん自分も知らんですよ。べつに全部知っている必要はない。

面白いからたまに調べたりもするけど。

追記:はてな記法引用すらもさっきまで知らなかったしな!そんなもん)

更にレガシー、すなわち過去遺産なるものについても理解ができない。古い物がずっと使われ続けているIT環境

もう誰もメンテナンスが出来ないものが延々と使われているという事実

層の構造をとっているということと関係があるんですが、仕様が変わると、その上に乗っているものを全部なおさないといけないんですよね。

なので「互換性」というのが非常に重要なのです。

でも革新のために互換性を捨てなければいけないケースも多い。このへんはハードでもソフトでも同じ。

そして、メンテコストが上がっても使い続けたほうがトータルで安上がりという場合は、古いものが残ってしまう。

あるいは「(多少の問題はあっても)動いているものは変えるな」という経験則から意図的に残す場合もある。

西暦2020年にもなって、プログラミング簡単には出来ないし、ハードウェアの規格も完全に統一はされていない。

というかプログラミング言語自体多すぎる。ソフトウェアデファクトスタンダードのモノ程度は知っているが、

いまは原始時代にいると思ってもらって構わないと思いますよ。

ぜんぜん完成していない荒っぽいものを目にしているのだと理解したほうが的確。

それなのに毎日理解のできないパソコンスマートフォンを使っている。

オブジェクト指向のおかげ様だがオブジェクト指向に対して無性に腹が立つ。

自分の全く知らない場所いけしゃあしゃあ演算を行い、そして結果を出す。それも大半が正しい結果で

利便性が抜群だ。些細なミス(バグなど)はあるが圧倒的に利便性が勝っている。

そんな道具に踊らされている自分が滑稽だ。理解できない愚かな自分は正に機械奴隷のようだ。

本当に理解できない。辛い。

勘違いしてはいけないのは、それらはすべて先人の努力の蓄積によって成り立っているということ。

「よくわからないけど存在している道具」ではなくて、信じられないほど複雑だけど、多くの人々の行動によってなんとかかんとか実現した道具なんですよ。

オブジェクト指向のおかげ様」じゃないんです。(もちろんオブジェクト指向というのも大きな発明の一つですが)

そしてブラックボックスとして使うのは多くの場合正しいです。そこは諦めましょう。

でもエンジニアとしての立場からは、その裏に隠れているとてつもない技術思考の蓄積に感動してほしいなと思う。

なので、ちょっとずつがんばって勉強してください。

人類がこんなもん作れたのって、かなりすごいよ?

Permalink |記事への反応(13) | 15:41

このエントリーをはてなブックマークに追加ツイートシェア

2020-10-04

anond:20201004132406

私も似たような所にいたのでデジャブかと思った。ただ俺の場合は某大手メーカー

ディープラーニングをこき下ろして自分たちAIがより優れていると宣伝するのはどこの業界も同じなんだな。

大手メーカー研究所で作られたそのAIは「ディープラーニングのような旧世代の単純なものではなく、次世代の汎用人工知能」といった触れ込みで

AI事業をやっている我々SE部隊の所に降りてきた。AI事業というとかっこいいが、その中のSE基本的技術的なことはわからITゼネコンの頂点として

PMをやっているような人たちが大半を占めるため、「技術的に顧客価値につながるか」ではなく、「顧客をその気にさせるパワポが用意されているか」の

ほうがよっぽど重要だった。また開発した研究所の方も、主任研究者だけは「そのAIすごい!」って心から信じてたみたいだが(笑)

おそらくその他の研究者詐欺っぷりには気づいていたと思う。でも「どうせSE土方共にはばれないだろw」という感じで押し付けてきた感あった。

その主任開発者の態度はまさに同じだったね。「なんでもできます。でも『チューニング』の必要があるのでPoCの費用はいただきます。」

という感じ。俺はそれをそのままスルーして客に伝えると「かの有名な○○さんがそういうならそうなんだな!」という感じで客は納得し、

数M~数百Mの金をポンと出す。PoCバブル2018年頃はそんなボロい商売がいっぱい転がっていた。

しかし、このAIの中身は単に線形回帰程度しかしていないポンコツであり、ディープラーニングと比べるのもおこがましい代物。

チューニング」といわれるものは実は有効な特徴量などを頑張ってSEや平の研究者が死にものぐるいで見つける作業であり、

全然チューニングレベルの話ではない。完全にカスタムAISIで作るような作業だった。しか適当な特徴量でもある程度良い成果を出す

LightGBMやDeep Learning使用禁止され、ポンコツAIでも良い成果を出すような特徴量を見つけるという縛りプレイだった。

さらアルゴリズムの部分がしょぼいだけではなく、エンジニアリングの部分もひどいものだった。

企業ソフトウェアプロダクトというのは開発した人ならわかるだろうが、一部のスーパープロダクトを除いて、正直コードロジックは大したことがない。

でもテストは少しはしていてドキュメントは揃ってなんとか動くとか、使うための人力サポートは用意しているとか、最低限顧客

騙せるだけのエンジニアリングはやっているものである

ところが、だ。このAIに関してはデータサイエンスアルゴリズムだけでなくソフトウェアエンジニアリングの酷さもすごいものだった。

簡単メモがあるだけでドキュメントはほぼ皆無、データを食わせると3回に1回はまともに動かない、非公開とゴネられたので

無理やり引っ張り出したコードを見ると大学生卒検のために書きなぐったようなコード。おまけに「アルゴリズム」という名のくせに計算量解析すら

されていないロジック(そのため特定サイズや値のデータを入れるとハングする)。

ここで疑問に思うのは「なぜこんなポンコツAIが全社的代表プロダクトになれたのか」であろう。

とにかくポンコツであることはひた隠しにして「次世代の汎用人工知能」というブランディングだけを

ひたすらフロントを使って確立させた事が大きい。さら開発者は徹底的に外部の雑誌を避け自社の雑誌にの論文を大量に投稿し、

社外成果は特許プレスリリース雑誌インタビューに絞ることでプレゼンスを上げるということをやっていた。

(当然だがディープラーニングより優れているなんて社外の学術雑誌投稿しても「は?またトンデモ論文か」と言われてRejectされるだけである

そしてこれこそがITゼネコンの真髄とも言うべきところであるが、子会社に専門部隊を作りいつでもそのAIを使ったビジネスをReady状態にする

社内体制づくりをしっかりやったところが大きい。例えばPFNあたりが「うちすごいAIあるんすよー」っていってよくわからん若造(実は東大IS Dr.)

とかが出てきて専門用語を並べ立てたりすると、古い企業からすれば「(どうも信用ならん・・・ほんとにコイツ仕事できるのか?)」となるだろう。

しかし、スーツをビシッと決めた営業と多少技術もわかるSE(もちろんスーツ)が来て、アルゴリズム説明は一切なく、「ビジネスにどう効果があるのか」

エンドユーザーへのインパクト」「金銭効果」など一般人にわかやすパワポ説明し、来週から定例会議や進捗会議などPM面もおまかせ、

ふわっとした状態から要件定義でもやってみせます!といわれる「(これは・・・いける!!)」となるのである

また2018年あたりは顧客の方も偉い人からAI使ってなんかしろ」という予算枠だけ用意されたふわっとした状態なので優れたアルゴリズムを使いたい

わけではなく、「AIを使ってビジネスしてます感」が重要なので、ここに刺さったのが大きかったね。

もちろんこんなビジネス2018年ピークに終わったためそのAI部隊は表舞台から消えましたとさ。めでたしめでたし

Permalink |記事への反応(2) | 18:56

このエントリーをはてなブックマークに追加ツイートシェア

2020-09-25

anond:20200925181411

そういうとこでも見つかるだろうけど、実体のある人間ならコンビニスーパーに買い物いくし外食だって病院だっていくはず

どこかで生活圏の合うホモガキが発見できて当然なのにさっぱり痕跡すらない

やっぱあのビデオDeep Learningが生み出した夢なんだよ

夢の世界産物なんだから多くのホモガキが魔法にかけられるのも納得。ウィザーディング・ワールド・オブ・ヨンショウ

Permalink |記事への反応(0) | 18:20

このエントリーをはてなブックマークに追加ツイートシェア

2020-08-15

anond:20200815133043

Deep Learningメモ】Jupyter NotebookでのGPU情報確認方法

https://qiita.com/akatsukaha/items/e24f8da70a438b4a9e18

Permalink |記事への反応(2) | 13:32

このエントリーをはてなブックマークに追加ツイートシェア

2020-07-11

「未経験文系が3ヶ月でDSになる方法」を止めろ1

・用意されているAIをColaboratry(Google無料貸し出しPC)上で5秒で動かす。

データサイエンスVtuberに相談する。

初心者向け動画講義まとめ

1.【世界で18万人が受講】実践Pythonデータサイエンス | Udemy

2.Machine Learning by Stanford University | Coursera

3.Eラーニング教材・講義動画配信 | 数理・データサイエンス教育強化拠点コンソーシアム

4.DeepMind x UCL | Deep Learning Lecture Series 2020 | Youtube

Permalink |記事への反応(0) | 20:42

このエントリーをはてなブックマークに追加ツイートシェア

2020-07-10

anond:20200710172035

GCPAmazon Linux比較したし

AMI比べるためにubuntuAmazonLinux比べたし 通常版と Deep learning AMIで比べたし

C++11とpthread比べたし ちょっといまCUDA比較してるけど

おおもとはなぜかBlogが立ち上がらなくなっただけ

ところでGCPってCUDAいく?

Permalink |記事への反応(1) | 17:22

このエントリーをはてなブックマークに追加ツイートシェア

2020-06-23

anond:20200623070136

ブームなんてそんなもの

それで流れてくる金もあるんだからお客さんは大事にしてあげよう。

クリエイティブwなアイディアwなって言ったって、たいがいはどっかで見聞きしたものを仲間内で反芻して思いついたと思ってるもの

まあそれ自体Deep Learningプロセスと言えなくもない。

Permalink |記事への反応(0) | 07:20

このエントリーをはてなブックマークに追加ツイートシェア

2020-05-07

anond:20200507151211

AIって人工知能意味で使ってるなら、まだ実現してないぞ

deep learningのつもりなら、マシンパワーが上がって実装やすくなっただけで、以前の延長線上だ

Permalink |記事への反応(2) | 15:13

このエントリーをはてなブックマークに追加ツイートシェア

2020-01-16

社畜すみません

残業を書かなくてすみませんサービス残業をすすんでやってすみません。私は労働者の敵で、経営者の良い道具・社畜です。でもそれが私にとって居心地がいいのです。

子供の頃から何かを成したいと思っていました。思っていましたが、行動はしませんでした。何かをしたいと思いつつ何もせず、時間は過ぎ、大学に進学し、4年間でなにかになろうと自己実現夢想しつつ、驚くことに何もせず、そのくせ何もしない癖がついたので就職はせず惰性で院に進学し、そこでようやく行動力のなさのしっぺ返しを受けて地獄を見て、逃げるように就職しました。

会社では、そこそこ良い大学を出たこともあって重宝されました。真面目に授業を受けていたのでプログラムもそこそこ書けました。いろんなことを頼まれるので、それに応えました。「ああいうのが欲しい」「こんなのあったら便利じゃない?」を日々の業務と並行して作るのは難しいので、サービス残業しました。お金が欲しくないわけではないですが、それよりも自分の作ったもので喜ばれるのが嬉しかたからで、楽しかたからです。

私は会社人になり、ようやくモノづくりをはじめました。それでも人から言われたことばかりをこなす自分というものが無い存在です。それでも楽しいのです。会社という強制労働施設は、行動力のない私の自己実現の場として発揮されました。休日に自宅のPCエクセルマクロ勉強し、会社データモックを書き、動作確認してから会社に納品したこともあります。「もうできたの?はっや!」と驚かれ、嬉しかったのを覚えています

よくある会社の「AIで何かしたい」に応えるため、会社の帰りに本屋によって「退屈なことはPythonやらせよう」「仕事ではじめる機械学習」「ゼロから作るDeep Learning」を自費で購入し、Udemyの講座もいくつか自費で購入しました。家に帰って独学し、休日もずっとそれらをやっていました。ある程度理解できたので、サンプルコードを改造しつつ、会社製品情報見積額等を学習データに使い、見積AI作りました営業からは「面倒な見積簡単になった」という言葉いただき、購買の人からは「見積額も適正でいいね」と言われました。

仕事も一応ちゃんとやってるし、いろんな頼まれごとをこなすので、会社からはより重宝され、入社3年目でチームリーダープレイングマネージャーを任されました。チームリーダーになってからはチームのマネジメントで忙しいので、なかなかモノづくりをするのは難しく、プログラムを触る頻度は減っていきました。それでも仕事中は自分コードを書きつつ、家に帰って仕様確認仕様書の作成などをやるようになりました。

ある日飲み会の席で、人づてにチームのメンバー自分のことを「コード書きながらマネジメントするすごい人」「尊敬している」ということを言っていたと聞きました。「尊敬する」ということを言われたのは初めてだったので、感動しました。飲みの席では「ブハハwww」と笑ってごまかして、家に帰ってなんか泣きました。

プライベートを大切にする人にとって、私のような存在は、経営者をつけあがらせ、労働者価値貶める裏切り者馬鹿と見る人もいるかもしれません。というかはてブTwitterとか見てるとそう思います。そのとおりだとも思います

最近私が考えるようになったのは、プレイベートを大切にする人と、私のような会社しか輝けない人のゾーニングです。プライベートを大切にする人にとっては、私達のことを悪く言う人がいます。私達のような社畜の中にも、プライベートを大切にする人のことを「定時で帰るやる気のないやつ」みたいな扱いをする人がいます。このような争いは不毛だと感じます。私が願うのはゾーニングされた世界です。プライベートを優先する人は当然いていいし、社畜社畜会社の中で輝いて楽しむ人がいてもいいということです。この考え方には、労働者同士の意識だけでなく、経営者意識も大切だと思います。私のようなオーバーワーカーを通常の人材と思わず特殊ラッキー人材認識する必要があります経営者プライベートを大切にする人をやる気のない人だと思わないでください。従業員会社奉仕すべきが当然と思わないでください。

最後になりますが、人の考え方は様々です。私のような考え方を受け入れられない人もいるでしょう。つまり、それでも社畜は悪であるという目線や、従業員社畜になるべきという目線です。それでも結構です。大切なことは、自己実現だと思います。私は社畜をやめないし、あなたプライベートを大切にするのをやめない。経営者従業員を利用しているだけかもしれませんし、大切にしているかもしれません。とにかく、それはともかく自己実現だということです。自己実現のためなら、社畜でもいいと言う人間は、ここにいるのです。

Permalink |記事への反応(2) | 22:08

このエントリーをはてなブックマークに追加ツイートシェア

2019-05-06

論文読んだ

Automatic classification oftrees using a UAV onboard camera anddeep learning

https://arxiv.org/abs/1804.10390

やったこ

Ecologyの研究には、情報科学世界研究されている画像解析の技術を使えば解決可能ものがある。著者らは、この一つである植物分布の計測を試みている。具体的な解決方法は、UAVデータから撮影した画像データを元に、木々の種類を識別する分類器を作成である。手順として、最初に、UAVから画像と高度データを著者自らが撮影を行った。次にそのデータから学習用の教師データをいくつかの手順を踏んで作成する。この手順は、さらなる研究を行う際にも適用可能である。結果、識別器は良い識別性能をだしている(Model1で83.1%)。前処理として、画像を切り分けて分類器にかけなければならないという点は未解決である

しつもん

Introduction
Methods
  • UAVphotography (orthomosaicphoto)この2つは別の物のはずなので、同じように書くべきではないのでは?
  • 2.3.3. EachTreeImage Extraction with GroundTruth Label
  • 2.4.Deep Learning
    • 抜き出した木以外の領域は何で塗りつぶしたのか?単色?
    • 塗りつぶした色によって学習結果が変わるはず。
    • なぜ、これだけ良いデータ収集して識別タスクを行ったのか?segmentation のタスクを行うべきだ(SegNetなどの利用をしない理由は?)
    • GoogleLeNetのrandomseed がNoneになっているのは、どういう意味
  • Results
    • 1段落目は、具体的なデータを語らずに良い結果が得られたと言ってますが、なんのデータ
    • さらに、Resultsで突然データを増やしたと書かれているけど、どうやって増やしたのか?なぜ記述がないのか?
    • Ise 2018への引用はついていないが、Referenceには記述してあるのは、なぜですか?
    • model2がどのように作成されたのかがわかりません。
    • 木以外の領域を塗りつぶして、画像データ作成するため、切り分けの仕方(木の伸び形状)によって学習が進んでいる可能性がある。
      • 木の領域を単色で塗りつぶして識別器にかけると、正しく認識されてしまうのでは?
      • 木の領域の長軸と短軸の特徴で分類かのうなのでは?

Permalink |記事への反応(0) | 11:22

このエントリーをはてなブックマークに追加ツイートシェア

2019-05-05

論文読んだ

Identifying 3 moss speciesbydeep learning, using the “chopped picture” method

https://arxiv.org/abs/1708.01986

何をしているのか。

著者らは、コケ植物画像判定を行うため、撮影した画像データから学習データ作成し、識別機を作っています

データは著者らが作成しており、少数の画像から判定機を作成するために、"chopped picture" methodを提案しています

この方法では、撮影画像から画像を切り分け、少部分にします。

画像枚数を多くするために、少部分間には50%のoverlapが存在します。言い換えるなら、ある画像は、他2枚の画像を元に再構築可能です。

CNN学習では、切り出した画像から、validation dataとtraining dataに分けて学習を行っています

以上の方法で、validation dataによってこの識別機の精度の計測をし、高い精度で識別できていることを主張している。

質問

提案手法は、training dataとvalidation dataに関係があるので、validation dataでの精度は高くなると思われます

言い換えると、全データ識別機がオーバーfittingしているので、validation dataでの精度が高くなっているのでは?

つぎに、この論文提案手法でのvalidation dataを識別機に食わしたさいの分類精度は、その識別機の分類精度とは言えません。

validation data・training dataに含まれていないdataセットを作成し、その新たなdataセットでの学習機の精度を検証するべきだと思います

Permalink |記事への反応(0) | 03:22

このエントリーをはてなブックマークに追加ツイートシェア

論文読み

Automatic vegetation identification inGoogle Earth images using a convolutional neuralnetwork: Acase study forJapanesebamboo

https://www.biorxiv.org/content/10.1101/351643v2

正確に読解できていなかったら申し訳ない

この論文でやったこと・感想

管理されなくなった竹が他の植物の生えた地域侵略していくことが問題となっている。

この問題対処するには、竹の移動を経時的に追うこと、または、侵略しているか判別することが求められる。

論文は、この問題解決するために、Deep learningを用いて衛星画像データを竹とそれ意外に識別を試みる。

画像Google Earthから取得し、著者らが3種類のTag付けを行った。このデータを元に学習を行った。 

結果、非常に精度の高い識別機が構成できたと主張している。

ただし、衛生画像撮影した時期によって、精度が著しく損なわれるので、現時点では経時変化を追跡する課題解決されていない。

質問

Introduction

竹林が徐々に他の植生の場所侵略している。この問題解決するために、まずどこに竹が生えているのかを識別するのがこの論文目的

この課題解決するためにGoogleEarthの画像は適切なのか?言い換えれば、課題に対するシステム必要要件記述されていない。


Methods
実験評価

この論文提示している問題は、植物侵略を判定する識別器をつくることである。故に、竹やぶと建物の境目になる部分が正しく識別されていることがこのシステム必要要件である(多くの範囲が正確に識別されることは目標ではない)。

  • 上の基準で判定率を計算するべきだろう。
  • Figure 7をみると、画像中央広場南側植物との境目(黒い部分)は正確に判定されているのだろうか。
  • 上述と同じ箇所で、黒い部分は竹でないならなんなのだろうか?GoogleEarthで見れば、何が写っているのかがわかるのか?
  • Figure 7の正解データが見たい。
Results

よみました

discussion
Transferability among the models
  • 撮影日の天候などによって影響がでることを述べているが、そのような結果は論文掲載されていない。
    • 実際の画像がみたい。
  • 撮影時の状況により、精度が著しく減少することを認めるなら、植物侵略を計測するという今回の研究目的は、達成されていない。
    • このことを明記するべきではないか

Permalink |記事への反応(0) | 02:52

このエントリーをはてなブックマークに追加ツイートシェア

2019-04-17

若者応援おじさんの思い出

https://twitter.com/MAEZIMAS/status/1113114798672113665

若者説教する老害は二流。

一流の老害は「君たちこそが真のニュータイプだ」とか言って、若者自分既得権益確保のための鉄砲玉にする。

…いやマジ本当に、若い人気をつけてね。若者説教おじさんは、せいぜいまだ極限の不愉快ですむけど、若者応援おじさんに乗せられると最悪人生詰むので…

というツイート流行っているので、私が遭遇した若者応援おじさんについて書こうと思う。

当時の私は親との折り合いがつかず、学力もそこそこあったし、勉強もしていたのにも関わらず大学に進学せずにフリーターをしていた。実家を出たかったし、大学にも進学したかたから金の工面が当面の目標だった。そんなとき出会ったのが若者応援おじさんのAさんである。Aさんはバブルの頃に就活をしていて、まだインターネットやパーソナル・コンピュータというのが流行る前から電子工作プログラミングをやっていた人だった。実際、経歴を聞いてみると10回以上転職を繰り返しているものの、有名企業(今にして思えば、カビ臭いSIerだが)で部長をしていたことがあって、年収が1700万ぐらい稼いでいたこともある人だった。

最初出会ったとき自分が如何にすごいかということを熱心に語っていた。80年台後半ぐらいのコンピュータ開発の大型プロジェクトに関わっていたとか、セキュリティ専門家とか、今までに触ったことのあるプログラミング言語が300個を超えるとか。でも、当時の技術的なトレンド(MongoDBRuby on Rails、AngularJSとか)についての知識が限りなく少なく、「フレームワークなんてその場で覚えればいい」みたいなタイプだった。中学生の頃にラジオ工作したとか、はんだごてで電子回路設計したとか、そういう話は熱心にするのに、Bram Moolenaarの名前を知らなかったりした。要は、最近プログラマがどういう関心やインセンティブプログラミングやってるかを知らずに、過去の栄光を語ってるようなタイプだったと思う。

まぁ、それでも、その人のコネで中規模程度のSIer入社して、そこそこいい感じの待遇だったように思う。当時の私の技術力は『わかりやすJava入門』『たのしRuby』を一通り終わらせて簡単言語仕様を把握したぐらいでろくにコードも書いたことのないような人間だったから、定時で帰れて手取り二十万もらえるのは甘い汁を吸えたとは思うんだ。

でも入社を決めた一番の理由が、そのAさんが私の関心に理解があると思っていたからだ。というのも、当時の私は「人工知能人工生命に興味があります。三年後に大学入学するまでにプログラミングスキルを磨きつつ生活費学費を稼ぎたい」ということを明言した上で、それを叶えてくれる会社を探していた。技術力はないものの、「自頭がいいか入社してからプログラミングを覚えればすぐに戦力になるよ」と複数人間から言われていて、それぞれ就職先を紹介してもらえるような状況になっていた。今から思えば、そんなコードを書けない人間を自頭なんて胡散臭いもので褒めるような人間は信用してはいけないと思うし、口車に乗せられたと思うのだけど。そこは自分にも甘いところがあったように思う。あ、あと、補足しておくと、当時はDeep Learningなんていうのは全く人口膾炙してなかった時期で、スチュアート・カウフマン金子邦彦に憧れてたような、周回遅れの複雑系に魅せられた若者が私だった。

駄文を書き連ねてしまったが、要は

①親との折り合いが悪く、大学に進学したいが、金が足りない

実家を出るために生活費を稼ぐ必要があったが、飲食バイトとかではスキルが身につかない状態で、価値の高い若い時間無駄にしてしま

③そんなところに現れたのが過去の栄光を話す若者応援おじさんのA

自分殆どコードを書いたことのない業務経験で、21世紀になっても複雑系の話に興味をそそられるような斜に構えたスノッブ

という状況設定理解してくれればいい。

では、入社後の話をしよう。私が配属されたプロジェクトは80万行程度のJavaコードで動いてるBtoB向けの製品保守開発してるプロジェクトだった。やってることはGoogleAmazonMicrosoftみたいな大手ならやってるようなサービスの完全下位互換みたいなソフトウェアを、情弱だけど社員数は多いみたいな企業に売りつけるような仕事だ。国産とか、セキュリティとか、そういうよくわからない言葉を並べ立てて、海外UIも洗練されていて、優秀なエンジニア管理してるものセキュリティ的に怪しいと不安煽り立てて売りつけるようなやつだ。そんなクソみたいな製品でも年間5億円ぐらいの売上になるのだからIT系って糞だなって思う。ネット上では優秀な人間ばかりがアウトプットしてるし、NDAの名の下に詐欺まがいのソフトウェア(今回の例なら無料UIも洗練されていて、使いやすサービス)が明るみにならないのだから、こんな国はさっさとスクラップ・アンド・ビルドすればいいのにって思うよ。IT化されてないのが時代錯誤で〜みたいな記事ネット上でもバズるけど、実際には10年前のスパゲッティコードを惰性と不安につけ込んで売りつけるようなSIerがたくさんある。そんで、そんな意味不明ソフトウェアを導入すれば、どこに何があるのか分からないUI操作に大切な業務時間を奪われて、日本全体の生産性が落ちてしまう。ユーザー時間生産性を奪い、開発者にとっても技術負債しかならないようなソフトウェアを売りつけてる悪性腫瘍みたいなSIerはさっさと滅んでしまえばいいと思うよ。

まぁ、私が配属されたプロジェクトはそんな感じだ。まるで意義を感じないが金にはなってるプロジェクトに配属された。そのプロジェクトの根幹部分は一人のエンジニア設計開発しており、そのエンジニアは既に退職して、どこに何が書いてあるのかわかってない人間が後任として保守を行っている。盲腸みたいに全く有難みのない機能を増やすことでより高く売りつけるようなプロジェクトだった。

そのプロジェクトの中にいる人について話そう。プロジェクトマネージャー仕事漬けで毎月350時間ぐらい働いている60連勤とか当たり前で、常に酔っ払ったような、眠そうな目をしてる人だった。にも関わらず、同じプロジェクト人間仕事がなさすぎて業務時間中に関係ない談笑をしたりしていた。プログラマテスター文書作成をするスタッフが40人ぐらいいるところで、閑散期(機能追加のサーバーリリース前以外)は暇そうにしてる人が多かった。プロジェクトマネージャーを除いて。要は、PM一生懸命働いているが、その一生懸命さは惰性で行われており、無能なのに業務時間が長いPMがいて、その人が全部仕事をやってしまう。他人に頼めない性格らしくて、存在意義が分からない業務他人に頼んでは「なぜこんなこともできないんだ?」って怒鳴るのが生きがいみたいな人だった。頑張ってることがアイデンティティになってて、その頑張りに意味があるのか、必要なのかという吟味ができず、タスク他人に振ることもできず、情報もそのPM一人だけが握っているから、周りの人も「私が仕事を請け負いましょうか」ということもできない。それで新入社員をイビるような存在意義のわからない仕事を振って、できなかったら人格否定をするような感じの。

私が受けた仕事ととしては、週に1回ベンダーのところに会議をしに行くんだけど、そのときの社内の資料を全部紙でプリントアウトして持っていくというのがあった。文書作成スタッフ製品仕様Wordでまとめて、600ページぐらいのpdfにしたものが1500万円ぐらいで売れるらしく、その増えた言語仕様プリントアウトしてベンダーのところまで持っていく。追加された仕様以外にも、今週やったテスト内容をExcelで纏めたものプリントアウトしたりしていた。紙の量で言うと、一回の会議で2500枚ぐらいで、それをキャリーケースに詰めて客先であるベンダーまで持っていくらしい。聞いた話では、その2500枚の会議資料殆どまれずに捨てられるのに、そのPMベンダーにその慣習を廃止しようとは提案しない。ベンダーとの週一の会議の他にも、進捗報告を主とする社内会議があって、PM以外の人はあのプリントアウトする悪習は廃止すべきという話が上がっているのにPMが首を縦に振らないから一向に改善されない。まぁ、そのプリントアウトするのをやるのが私の仕事だったわけですよ。毎週4時間ぐらい掛けてWordExcel文書サイズとか調整してさ。元の文書サイズや余白が狂ってるのに、客先に失礼だと言われて、手直しして、プリントアウされたコロコロコミック何冊分だよ? みたいな紙の束をホチキスで止めていくんだけど、ホチキスの止め方が汚いとやり直し。

じゃあ、なぜPMは頑なに意味のない業務をし続けて、それによって新入社員を使い潰そうとするのかと言えば、弊社の業績が悪くて倒産しそうだったときにそのベンダーが手を貸してくれたからそのときの恩義があるとかなんとか言っていた。だから、靴を舐めるようなことをするし、他人生産性を奪うようなクソ製品を世の中に出して何も感じないらしい。読みもしない産業廃棄物を作り出して、それを無碍にされて喜んでいるような業務が、今の日本の何割を占めているのだろう? そのPMの口癖は「俺はプログラミングは全くわからないが、こんなプリントアウト段取りもできないようなやつはプログラミングなんてできないと思うよ」だった。FizzBuzzどころか変数関数すら知らないような人間にこんなことを言われるのは屈辱だったし、これが高卒経験就職することなのだろうと思った。

他にも、私が受け持った仕事に、製品が動くかどうかを確認するテスターという仕事があった。RSpecSelenium自動化しようと言っても、そんな技術を持ってる人がいなかったから、一々自分でその製品を触って仕様通りになっているか確認しないといけなかった。画面遷移が600ページのpdfになっているから、それを見ながら正しい画面遷移ができているか確認する業務だったが、正直人間のやる仕事ではないと思う。画面遷移だから前のページから次のページに移行したときに前にどのページだったなんてスクショを撮ったぐらいじゃわからないのに、「このテストExcelにした内容じゃ、本当にテストしたのかわからないだろう?」と言われた。言われたとおりにExcelファイルスクショをひたすら貼り付けていたというのに。しかも、その他にも特定ファイルアップロードするときにどの条件だとアップロードができないか判別するテストをどうやって行うのか考えろというのがあった。今までにテスターをやっていた人に聞いても指針なんてないと言われ、「賢い人はそういうのを考えつくものだ。俺はパソコンに詳しくないが」とPMに言われ、嫌気が差した。

まぁ、ここまで書けば、如何にブラックと言うか、理不尽で不合理な職場かというのはわかったと思うけど、いい面もあったんだ。前にも書いたように、未経験高卒手取り20万貰えたのは嬉しかったし、研修のない会社だったから、最初の二ヶ月ぐらいは一人で勝手勉強しててと言われたから、実働換算で時給3000~4000円ぐらい貰える計算だったのかな。一番瞬間時給が高かった日はメールの返答に20分ぐらい使ったときだったから、日給1万、実働換算の時給が30000円ぐらいになった。それぐらい放任されていた。

最初社長が「君にはソースコードUMLを書いてもらおう」とか言って、クラス図を書く練習をしていたんだけど、現場の人は「今更UMLなんて必要ない」「ソースコードを読めばわかる」と言って、全く必要とされていなかった。だから業務とは関係ないTCP/IPRubyGit勉強をしていた。家のことで勉強に対してモチベーションが落ちていた私は、金を貰えるという環境では目の前の勉強に集中できるようになって、元の勉強するための生活リズムっていうのか、そういうのを取り戻せた。それは当時の私にとっては有難かったと思う。

ここまでをまとめると

無料で使えるサービス下位互換といえるような、他人生産性と金無駄にするような製品を開発してるプロジェクトに配属された

PMけが忙しく働いて、周りの人の割り振りができていない。

PM多忙なのはしなくていい仕事を引き受けているだけ。

社会悪のようなソフトウェアを売りつけて金を稼いでいるプロジェクトだった。

仕様書やテスト内容のプリントアウトという必要ない業務をしたり、指示内容と叱責内容が矛盾する理不尽を受けなければならなかった。

しかし、勉強してるだけで月20万貰える環境は有難く、当時の私にとっては願ったり叶ったりだった。

では、次に私がその会社入社から辞めるまでの経緯について書こう。最初のうちは、自分勉強時間を取れていたし、振られる仕事理不尽で意義を感じられないものであるものの、すぐに終わることが多かったか問題ないと感じた。それが徐々に仕事が増えていき、勉強時間が取れなくなっていった。

ここで若者応援おじさんAの登場である。Aさんは私と会ったときは有名企業に勤めていて、そこを辞めて私を紹介してくれた中小企業で働き始め、その数カ月後に私を紹介してくれた。元々、その会社社長とは懇意にしていたから、一緒に働こうという話が何十年も前からあって、今回ちょうどタイミングが合ったから、その友人の会社の重役として就職したらしい。私が就職したのはその数カ月後だった。

Aさんは「何か問題があったら、部下や上司という立場を気にせずに忌憚なく言ってほしい」「俺は人を見る目はある方だ。君は一本芯の通ったところがあるから、周りに流されずに新しいことをできるだろう」「君には将来性がある」「俺は新しい会社でも権力を持ってるからへんなことを言ったり、したりしてる人がいたら遠慮なく言ってほしい」とかそういうのを入社する前に言っていて、まぁ、色々とおかしいところ、FAKE野郎みたいな発言が多かったけど、そこだけは信じてたんだよね。本当に騙すんだったら、そんなすぐに辞められるようなリスクを上げるような発言はしないだろうってさ。ちなみにFAKE野郎って感じたのは、一方的自分の話だけをして、私が質問すると煙に巻いたり、私のことを買ってるという割には私の話をすぐに中断させて自分の話をし続けるとか。その人はFラン出身だったから、ちょっとインテリなことを言うと「君は変わってるね」って言ったり、きょとんとした顔で10秒ぐらい固まった後、すぐに自分の自慢話を再開したりと、決して自分の知らないことや分からないことを認めようとしなかった点だ。他にも、「私と働きたいと言ってくれていた会社はあったけど、そこは技術的に成長できそうだけど給料は月7万程度でバイト身分から、迷ってるんですよね。バイトから自由時間は多く取れるんですけど」みたいな発言をしたら、鳩が豆鉄砲を食ったような顔をして、私が感じていた不安を取り合ってはくれなかった。Aさんは「俺は社内で影響力を持っているから、君を正社員にすることもできる」みたいな話を延々としてたのに、いざ蓋を開けてみると、「君の面接での受け答えが駄目だから契約社員として雇用することになった」「あれから上層部に渋られてしまって、請負契約にすることになった」と話が二転三転していった。だったら、他にも選択肢があったのに、他のところに就職したのにと思ったが、自分能力や経歴で負い目を感じていたから強く言うことはできなかった。高卒就活するというのはそういうことだ。他にも選択肢があるのにも関わらず、どうせ労働に関する知識がないと足元を見られて、条件を徐々に下げられ、他に選択肢をなくした後で、悪い条件で働かざるを得ない状況になっていた。結局、勤務時間タイムカード管理されてるのにフリーランスとして請負契約を結ぶという偽装請負契約させられ、もっと技術力を磨ける選択肢は潰されてしまっていた。

私は会社問題点を丁寧に分析してpdfにまとめてAさんに送ったんだ。それが間違いだった。如何に会社がそのベンダーに良くしてもらったか、大変なのをわかった上で俺たちが会社を立て直してきたかということばかりを話していた。百歩譲ってそこはいいとしても、ベンダーとは関係なく職場環境を良くするための話までいい加減に聞かされてうんざりしていた。

「Aという問題があります。その背景にはBがあります。そのためにはCという解決策があります

という話をしたときに、「Bぐらいみんな当たり前にしている。君だけ特別扱いすることはできない」みたいな返し方をされて、問題が発生してる事自体はないものとされていった。結局、職場にはびこる不合理で理不尽業務ルール改善することはなく、私への人格攻撃で終わってしまった。

毎日どうでもいい作業で疲れ切って勉強時間が取れなくなってしまった私は、最初出会った頃のAさんの言葉を信じて、「私が本当にしたいことは、仕様書やテスト時のスクショプリントアウトしたり、よくわからないテスターをやったりすることではない。このままでは、プログラマとしてのキャリアを積むための勉強時間を作ることもできないし、業務内でコードを書くこともないか業務時間を短くしてほしい」と言った。少なくとも、最初Aさんと会ったときは、「君には人工知能Permalink |記事への反応(1) | 23:52

このエントリーをはてなブックマークに追加ツイートシェア

2019-03-29

anond:20190325155543

deep learning基本的には、入力と正解のセットをたくさん用意して疑似ニューラルネットワーク教育するものから入力に対する正解をあらかじめ決めているわけ。

から教育データセットを作成する時点でフレーミングに関する基準は含まれるよね。

Permalink |記事への反応(0) | 11:47

このエントリーをはてなブックマークに追加ツイートシェア

次の25件>
ログインユーザー登録
ようこそ ゲスト さん
Copyright (C) 2001-2025 hatena. All Rights Reserved.

[8]ページ先頭

©2009-2025 Movatter.jp