サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
言語モデルの物理学 (Physics of Language Models) とは、FAIR (Meta) の Zeyuan Allen-Zhu が提唱した、言語モデルの研究を進めるためのコンセプトです。ざっくり言うと、「あのモデルはこう」とか「そのモデルはこのモデルよりもこう」というような博物学的な知識を深めるのではなく、17世紀にケプラーやニュートンが物理学において行ったような原理に基づいた研究を進め、「言語モデルはなぜこのような振る舞いをするのか」という問いに答えられるようになるべきという考え方です。 言語モデルの物理学の特徴は大きく2つあります。 第一は、ウェブから収集したコーパスを使わず、きっちりコントロールされたデータセットを使って言語モデルを訓練するということ。ウェブは誰も全体像を理解できないほど複雑で、ノイズにまみれています。本物の物理学でも空気抵抗や摩擦があると、「鉄球は
本記事では、RAGの性能を高めるための「Agentic RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、「AIエージェント」をRAGに取り入れた手法である「Agentic RAG」のサーベイ論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。本題 ざっくりサマリー Agentic RAG は、RAGの新しい手法です。この論文では、「RAGにAIエージェントを使っている」とはどういう状態なのか、どんなパターンがあるのかまとめられています。クリーブランド・ステート大学の研究者らによって、2025年1月に発表された論文です。 最近、「AIエージェント」が注目されてい
大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
出典は列挙するだけでなく、脚注などを用いてどの記述の情報源であるかを明記してください。 記事の信頼性向上にご協力をお願いいたします。（2018年9月） X論文が公表された1947年当時のジョージ・F・ケナン X論文（英語: X Article）は、アメリカ国務省の政策企画本部長ジョージ・F・ケナン（George F. Kennan）が『フォーリン・アフェアーズ（Foreign Affairs）』誌（1947年7月号）に寄稿した論文である。正式名は『ソヴィエトの行動の源泉（The Sources of Soviet Conduct）』。発表時の著者名が「X」となっていたことから、「X論文」と通称する（ただし、筆者がケナンであることは早くから知られていた）。 いわゆる「封じ込め政策」[1]の理論的根拠をなす論考として知られている。 国務省内でも数少ないソ連通として通っていたジョージ・F・ケナン
"Solar-to-hydrogen efficiency of more than 9% in photocatalytic water splitting" P. Zhou et al., Nature, 613, 66-70 (2023). 気が付くと10か月ぶりの日記である．忙しかったとはいえ，ずいぶんとまあ書かなかったものだ． （論文自体は読んでるし面白いものもあるのだが，こうやってまとめるには時間が取れないとなかなか難しい） エネルギー問題や環境問題の観点から，再生可能エネルギー等の有効活用が注目されるようになって久しい．そのような中で多くの研究が行われているものの一つが，水素の活用である．水素自体は燃焼時に水のみを生成するエネルギー源であるため，「安価かつ低環境負荷で水素を量産する手段があれば」次世代エネルギーの候補になると言えよう． ※実際には，貯蔵・輸送などでも多くの技術
以前ここで紹介した論文の掲載が決まったとのことで、著者の一人のエガートソンがツイッターでスレッドを立てて同論文を解説している（H/T タイラー・コーエン）。 Bernanke famously quipped that “The problem with Quantitative Easing (QE) is thatit works in practice but not in theory”. My paper with Bhattarai andGafarov on how QE can work in theory is forthcoming in the Review of Economic Studies. A thread: First, on QE not working in theory: I think Bernanke had in mind QE2 and
2018年9月20日、Quanta Magazine "Titans of Mathematics Clash Over Epic Proof of ABC Conjecture" の翻訳 今回は日本国内向け。どうもこの話では、言語の壁があるせいで日本国内と海外で認識の差がありすぎるところが問題だと思えるので、内外で出回っている情報を相互に訳して提示することをしてみよう、という実験をしている。どのくらいの人々が読んでくれているのか分からないが。 この記事は、Scholze さんと Stix さんが2018年3月に京大を訪れて望月氏と議論し、そのレポートが公表された2018年9月の時点で Quanta Magazine に書かれたもの。筆者の Erica Klarreich さんは数学者でもありサイエンスライターでもある人。
一般的な話題 銀ジャケを狂わせた材料 ～タイヤからの意外な犯人～ 2021/3/3 一般的な話題, 化学者のつぶやき, 論文 コメント: 0 投稿者: Tshozo Tshozoです。先日ケムステスタッフの方が気になる関連論文を紹介されていましたので書くこととしました。 “A ubiquitous tire rubber–derived chemical induces acute mortality in coho salmon” Zhenyu Tian, Haoqi Zhao, Katherine T. Peter, MelissaGonzalez, Jill Wetzel, Christopher Wu, Ximin Hu, Jasmine Prat,Emma Mudrock, Rachel Hettinger, Allan E. Cortina, Rajshree Ghosh
京都大学の西浦教授と北海道大学大学院の安齋麻美さんによる論文，「“Go To Travel” Campaign and Travel-Associated Coronavirus Disease 2019 Cases: A Descriptive Analysis, July–August 2020 」が公開され，大きなニュースになっています． メディアなどの報道では，「「ＧｏＴｏトラベル」の開始後に、旅行に関連する新型コロナウイルス感染者が最大６～７倍増加した」「旅行関連の新型コロナ発症率は約1.5倍に」といったセンセーショナルな取り上げ方になっていますが，この理解は正しくありません． 何が書いてあるのか，そしてどのような意味を持つのかについて少し整理してお話ししましょう． ※昨日の一連のツイートでは，どうもわからないところが多く，混乱している部分もあったためここにまとめておきます（実際
レポート及び論文では「基本的な能力を有した日本語ユーザーであれば誰でも理解できる（誤解しない）」精確な（＝精密で的確な）日本語を書くことが求められます。その能力を身に付ける第一歩として，以下のルールを必ず守ってください。中には瑣末なモノも含まれますが，これらを守るだけで添削・修正の手間も再提出の可能性も格段に下がります。これらの基本的な書式が守られていないレポートは添削せずに送り返します。 1. 「何となく伝わるだろう」は絶対にNGです。書いてある通りにしか解釈できない，逆に言えば，その他の（拡大）解釈や曲解を許さない厳密な文章を書くことを心がけましょう。 2. そのためにも，まずは主語を明確にすること。「書かなくても伝わるだろう」「好意的に解釈してくれるだろう」という期待を読み手に押し付けてはいけません。 3. 主語を明確にしたら，主語に述語を対応させましょう。主述が対応していないという
これ前に作った「論文書き方覚書」なんだけど、これを左に見ながら、右側のカラムに英文打ち込んで行くようなアプリ作れないかなぁ https://t.co/yPpN60ywSb
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 上記の理由の通り、目的は論文を翻訳することだけではなく、最終的にこれを踏まえて自分の見解をつらつらと書いていくところにもあります。 おそらく一番時間がかかるのはそれなので、一旦は翻訳を一通り終えた上で更に頑張っていきます。ゆっくりお待ちいただければと思います＞＜ 1. Introduction(まえがき) Borgが内部的に呼び出すクラスター管理システムは、Googleが実行するすべてのアプリケーションを許可、スケジュール、起動、再起動、および監視します。この論文ではその方法を説明します。 Borgには3つの主な利点があります。 リソース管理と障害処理の詳細を隠すため、ユーザーは代わりにアプリケーション開発に集中できます。 非常に高い信頼性と可用性で動作し、同じことを行
Cortexymeという創薬ベンチャーがScience Advancesに報告した論文を紹介したい．アルツハイマー病（AD）の原因は，P. gingivalisという歯周病菌（口腔偏性嫌気性菌）であり，この菌が歯肉から血中に入り，加齢や脳血管障害で脆弱化した血液脳関門を通過し，脳内でタンパク分解酵素gingipainを産生・分泌することであるという論文である．そして，このgingipainを阻害する薬剤を用いたADに対する臨床試験がすでに開始されているという本当に驚くべき内容である．個人的には胃がんとピロリ菌の関連が明らかになったときのことを思い起こした．もし事実ならADの予防や治療が大きく変わる可能性がある．論文の内容を箇条書きでまとめたい． ・歯周病菌P. gingivalisは健常人の口腔内にも存在し，歯磨きやフロス，歯科治療などで一過性の敗血症をきたし，冠動脈，胎盤，肝臓などに移行
arxiv.orgGIGAZINEでも紹介された新たなCPUの脆弱性の論文"SPOILER"が発表された。GIGAZINEがこのような記事を公開するのは珍しいなと思いつつ、面白そうなので読んでみることにした。 ちなみに、筆者は例によってセキュリティの専門家ではないし、CPUアーキテクチャにしてもデスクトップクラスの本格的なものは設計経験がないので、いまいち本文から読み取れない部分があったりとか、間違っている部分があるかもしれない。 この攻撃手法も、CPUの高速化を達成するための様々な機構を悪用する手法となっている。 SPOILERが対象とするのは、ストア命令の内容をロード命令でフォワードするためのMOB(Memory Order Buffer)の機構だ。例えば以下のようなコードを書いた場合、 sw a0, 0(sp) lw a1, 0(sp) ストア命令は、投機実行をしてしまうとメモリの
結論を先に書くと、「インプット不足」。 自作OSをやっていた頃は、「イマドキ自作OSなんてやっても、もう既にLinuxあるし、意味ないんじゃないかなぁ」みたいな事を良く思ってたんですよね。 「自作OSをやる意味」として考えられるのは2つあると思っていて、 自分の技術力強化＝素振り 既存OSにない価値の提供 かなと。まあ前者は良いとして、後者は「Linuxで十分じゃね？」という話。 この話は高校生の頃からだいぶ悩んでいて、学部生の頃もずっと悩んでいたんですよね。「既存OSにない価値」として具体例を挙げてる人もいたけど、何かしっくりこないというか、モヤモヤするというか、「それ、あなた以外に価値だと認める人ってそんな多くなんじゃないかなぁ」的な事を思ったりして、自分自身の自作OSのモチベーションにはできなかった。 これ、某緑の本とか読んでOS楽しそうと思った人が、その後モチベを保てなくなって離脱
先週、第11回インターネットと運用技術シンポジウム (IOTS2018)にて、投稿した論文の発表をしてきました。 IOTSは査読付の国内の研究会であり、2年前に招待講演をさせていただいた研究会でもあります情報処理学会でウェブオペレーション技術について招待講演した話 - ゆううきブログ。 実は、そのときに、来年論文を投稿するぞと意気込んでいました。 実際にはそこから2年かかりましたが、この度論文を投稿することができました。 予稿 HeteroTSDB: 異種混合キーバリューストアを用いた自動階層化のための時系列データベースアーキテクチャ スライド 実務から研究へ 今回投稿した論文の内容は、Mackerelで開発した時系列データベースに関するものです。 これらはすでにAWS Summit Tokyo 2017、Web System Architecture研究会で発表済みのものになります。 時
(Fig. 1 from Rumelhart, Hinton & Williams, Nature, 1986) これはちょっとした小ネタです。僕自身はニューラルネットワーク (NeuralNetwork, NN)の学術的専門家でもなければ況してやNNの研究史家でもないので、たかだか僕自身がかつて脳の研究者だった頃に把握していた事由に基づいて、極めていい加減な私見を書いているに過ぎないことを予めお断りしておきます。よって、この辺の事情に詳しい方いらっしゃいましたら、後学のためにも是非ご遠慮なくツッコミを入れて下さると有難いですm(_ _)m 先日のことですが、@tmaeharaさんがこんなことを呟いておられました。 オリジナル論文 https://t.co/kXfu8jIat3 これです．本当にただチェインルールで微分して勾配法しているだけにしか見えない……．— ™ (@tmaehara
2016年に USENIX Conference で発表された論文「Design patterns for container-based distributed systems」を読んだ．タイトルの通り，コンテナのデザインパターンがまとまっていて，これからコンテナ設計をする人も，既にコンテナを運用している人も，デザインパターンを学べるのは価値があると思う．一部ミスリードをしているかもしれない． Design patterns for container-based distributed systems 論文も公開されている． https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/45406.pdf パターン一覧 Single-container management pattern
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
