サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
午前中は最先端論文紹介ということで2本紹介してもらう。 A. Conneau, G. Lample, L.Denoyer, MA. Ranzato, H. Jégou. Word Translation Without Parallel Data.ICLR 2018. こちら、ちゃんと読んだのは初めてだったが、パラレルコーパスがなくても単語の翻訳ができるという話で一時話題になった論文である（その後、単語じゃなく普通の文も翻訳できる、という展開があるのだが）。 読んでみると、基本は Mikolov et al. (2013) のやり方で二言語の単語埋め込みを学習したあと、相互 k 近傍グラフを使ったり、グラフにおけるハブの問題の対処のために平均を引いて cos 類似度を取ったりしつつ、（恐らく語順がかなり似ている言語でないとうまくいかない）ヒューリスティックでなんとか単語翻訳をできるよう
以前このような記事を書きました。 Recurrent Convolutional NeuralNetworks forText Classificationを実装した 複数の単語から構成される文章を、Bag-of-Wordsと対応する単語分散ベクトルで表現し、特徴ベクトルの最大値のみを抽出する、という感じの手法です。 これの実装を書いた時はまだあんまり機械学習のことがよくわかっていなく(今もよくわかっていませんが)、それでも実験的、感覚的に「この手法は特に単語が増えると精度でないだろうな」と思っていました。 なので、その後畳み込みネットワークベースの手法を試しています。他の人が書いたChainer実装は既にあったので、自分はそれの最上層をSPP-Netに置き換えただけのものを試しています。 ichiroex/chainer-cnn: convolutional neuralnetwo
Using unitary (instead of general) matrices in artificial neuralnetworks (ANNs) is a promising way to solve the gradient explosion/vanishing problem, as well as to enable ANNs to learn long-term correlations in the data. This approach appears particularly promising for Recurrent NeuralNetworks (RNNs). In this work, we present a new architecture for implementing an Efficient Unitary NeuralNetwor
本稿ではニューラルネットワーク，誤差逆伝播法，言語モデル，RNN，LSTM，ニューラル機械翻訳の一連の手法について数理的に解説する． 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent NeuralNetwork Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
1リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
