Movatterモバイル変換

[0]ホーム
URL:

Hatena Blog Tags
はてなブログ トップ
自然言語
このタグでブログを書く
言葉の解説
ネットで話題
関連ブログ

自然言語

(一般)
【しぜんげんご】

プログラミング言語などに対して、人間が一般の意思の疎通に用いる言語。

語順で文意が決定するもの、語形（活用）で文意が決定するもの、その複合があり
多種多様である。

現在数千の言語が知られているが、少数民族に特有の言語などは、その話者が限られるため
次第に失われていく傾向にあり、保護が叫ばれている。

このタグの解説についてこの解説文は、すでに終了したサービス「はてなキーワード」内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

関連ブログ

gpt-oss:20bをollamaとColabで試してみる。

OpenAIのSLMであるgpt-oss:20bをColabのL4環境で試してみます。VRAM占有率は15207MiB / 23034MiB です。モデルはollama公式で提供されているgpt-oss-20bを利用します。楽しみです。 今の時点では、このサイズ感でタスクに使いやすいのはQwenのモデルかも・・・という印象でした。 生成した結果を見ると、一般的な会話や簡単な計算はさすがです。が、langchainで要約させると要約させすぎの短文回答でした。ここまで極端な回答のモデルはありませんでした。また、「寿限無とは？」で生成された文章はかなり面白文章に仕上がっています。量子化の影響だからか…

ネットで話題

もっと見る

関連ブログ

もっと自然言語でAIと対話しよう、対話型AIなんだから

敢えて、いつも通りの私とPerplexityの対話模様（#パープーAI対話）のやり取りをそのままコピペします。 ユーザーの質問 パープー(あなたの名前ね、今日は間違わないでね）おはよう。ちょっと日頃からモヤモヤしとること言ってもいい？ ※私はPeplexityのことをパープーと愛称で呼んでいます。しかし何度も、私の名前がパープーだと勘違いされるというギャグ問答がお約束になっています💧あなた達のことって「対話型ＡＩ」って呼ばれとるけど、対話なんてろくにできてない人ばかりだと思うの。マニュアル通りのガチガチのプロンプトばかり一生懸命覚えようとしとるというか、ＡＩをなんか凄く特別扱いして構えとるのよ…

IBMのgranite3のMoEをcolabとollamaで試してみる。

colab（T4)上でollamaを用いて、IBMのgranite3のMoEバージョンを試します。オリジナルそのままのモデルではありませんが、応答速度の感触も見るためにセルの実行速度レベルで雑に比較しました。denseより結構早いんじゃないかと期待したのですが、ollamaでは真の実力を発揮できてないのか、granite3-dense(2B)とMoe(3B)では、大きな差を感じることはできませんでした。回答は要約タスクはそつなく答えますが、densoと傾向が異なり分類は成功せず。回答にも差異を感じました。ループする傾向があり、会話に使うには、生成パラメータの微調整が必要かもしれません。 折角な…

Llama3-ArrowSE-8B-v0.3-ggufをcolabでためす。

Llama3-ArrowSE-8B-v0.3をollamaとcolabでためします。期待もあります。さっそく、mmngaさんが、あっという間にgguf版をアップロードしていらっしゃいますので、ありがたく利用します。Q5_K_Mです。 huggingface.co まずは「まどか☆マギカ」ベンチ。 まどか☆マギカで一番かわいいのは？ まどか☆マギカは、2011年に放送された人気アニメーションシリーズです。各キャラクターが個性的で魅力的であり、可愛いと感じるのは主観によります。以下に主要なヒロインを列挙します。 1. 鹿目まどか - 主人公の女子高校生で、美しい容姿と優しい性格が特徴的です。2.暁…

qwen2をollamaとcolabでためす。

優秀なモデルであるQwenが新たに更新されました。これまでのモデルでは、日本語の回答に中国語交じりになったりしてたように思うけれども、日本語対応も気になります。 huggingface.co ollamaでuploadしてある、Qwen2:7bモデルを使います。 まどか☆マギカで一番かわいいのは？ 「一番」が絶対的な値を指すわけではないため、個々の見解や好みによります。しかし、「まどか・マギカ」「キューティー・ラブリー」といったキャラクターは非常に人気があります。 - 「まどか・マギカ」（まどか まだか）は元々魔法使い組のリーダーであり、その後は「魔法使いたちの霊（ロスト・コア）」として登場す…

自然言語処理コンペ挑戦: 反省点と次回対策〜The Learning Agency Lab - PII Data Detection⑥〜

頑張っていた自然言語コンペを断念しました。。 以下反省点3つとその対策を書いていきたいと思います。コンペ初心者は参考にしてくださればこの失敗も浮かばれます。 トランスフォーマーが不慣れでエラー出まくった 最初は本を読んでやっていたんですが、完全初見が実装やるには時間がかかる印象でした。理論背景を押さえるためなら良い本でしたが。機械学習エンジニアのためのTransformers ―最先端の自然言語処理ライブラリによるモデル開発作者:Lewis Tunstall,Leandro von Werra,Thomas WolfオライリージャパンAmazonそこで途中でチュートリアルを見つけたので、メイン…

コンペメモ〜The Learning Agency Lab - PII Data Detection〜

作業メモ書かないせいでコンペ1個締め切りに間に合わなくなってしまったので備忘録。 メモのテンプレはこちら ch.nicovideo.jp 1. 今日の作業の全体的な進捗度は何点ですか？（「1＝非常に不明瞭」から4＝「非常に明確」で採点）→2。1. 今日の作業の中で、もっとも重要なことを2つ挙げるなら何ですか？→ labelsの中には複数のラベルが存在する。これらから一意のラベルを生成する必要がある 特徴行列はトークナイズされたカラムをさらに分類器に学習させるのに必要。 1. 上で挙げたふたつの内容を頭のなかで説明してみましょう。その説明にどれぐらい自信が持てますか？（「1＝非常に自信がない」か…

Azure Machine Learning の Prompt Flow を用いた精度評価について

本記事では、Azure Machine Learning（以下、AML）のPrompt Flowにある、評価フローの基本的な使い方について解説します。 評価フローを使用することによって、作成したフローの精度評価を簡単に行うことが可能になります。 AML Prompt Flow 評価するフローの準備 接続とランタイムの作成 フローの作成 精度評価に用いるデータセット データセットの作成 データセットのマウント フローの精度評価 設定 バッチ実行 & 精度評価 結果 QnA GPT Similarity Evaluation QnA Ada Similarity Evaluation おわりに A…

[8]ページ先頭
©2009-2025 Movatter.jp