テクノロジー
「ユニコード」で予期せぬ目に遭った話 - moriyoshiの日記

気に入った記事をブックマーク

気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
記事を読んだ感想やメモを書き残せます
非公開でブックマークすることもできます

「ユニコード」で予期せぬ目に遭った話 - moriyoshiの日記

テクノロジーカテゴリーの変更を依頼記事元:

moriyoshi.hatenablog.com

適切な情報に変更

エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます

コメントを非表示にできますコメント表示の設定

ブックマークしました

ここにツイート内容が記載されますhttps://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

次回からTwitterへ自動リダイレクト

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

689usersがブックマークコメント

105

コメントするにはログインが必要ですブックマークを追加

ブックマークを追加

よく使うタグ

「ユニコード」で予期せぬ目に遭った話 - moriyoshiの日記

689 users

moriyoshi.hatenablog.com

よく使うタグ

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページへ

記事へのコメント105件

注目コメント
新着コメント

luccafortかつての人類のせいでバベっちゃった結果が子孫に影響してるので地獄で悔い改めよ感ある。

2017/03/13リンク

その他

shields-pikesOCRとか部首検索とかで入力したんだろうなー。これらを、業者ごとに個別にやるとか、無駄すぎるので、オープンソースのライブラリにしてほしい。

2017/03/13リンク

その他

morobitokozou「長⻑」「母⺟」「⺠民」

2017/03/13リンク

その他

indication世の中(ユニコード)にはサロゲートペアというものがあってですね、組み合わせることができるそうなんですよ。恐い

2017/03/13リンク

その他

megamouthOCRとかかなあ。もうCP932捨てたいんだけど、CSVファイル（笑）があるからなんとも…（BOM付きUTF-8の話はしないぜ？）

2017/03/13リンク

その他

onionskin面白い。CP932文字セットに制限するのが根本原因なんで、みんなutf-8を使おう。まずはメールから！

2017/03/13リンク

その他

hirata_yasuyuki空白文字地獄とハイフン地獄も何とかして欲しい。

2017/03/13リンク

その他

reachout文字コード沼の深淵からこういうもののけが時折こんにちはしてくるから、本当に恐ろしい。恐ろしいのに未だに全角2bite/半角1biteで止まってるSJISおじいちゃんいっぱいいてもっと恐ろしい。

2017/03/13リンク

その他

houyhnhmCP932が簡易の文字問題チェッカーになってるなあ。

2017/03/13リンク

その他

cloudliner_tweets「「西」 (WEST U+897F) ⇔「⻄」(CJK RADICAL WEST TWO U+2EC4)」

2017/03/13リンク

その他

ngsw今日この話をしてもらって学びを得た

2021/06/16リンク

その他

tgkUnicodeには包摂されていない異字体があるらしい。「意味論的に異なっているため」とのことだが

encoding

2017/05/05リンク

その他

tmatsuuこれってIMEの変換候補にでてくるから入力しちゃうってことなんだろうか。もしそうだとしたら変換候補に部首がでてくるIMEは滅んで欲しい（一手間かけないと入力できないようにして欲しい）

2017/04/01リンク

その他

kkobayashiヤバイ／波線ダッシュ問題とか、Unicodeに関する諸々の問題をよきに計らってくれるフィルターみたいなの欲しい

2017/03/17リンク

その他

T-miuraこわ・・・「「⻄」(CJK RADICAL WEST TWO U+2EC4) ～CJK Radicalsとは「部首」を表す文字のこと」　こんな入力してくるユーザいるのか・・

2017/03/17リンク

その他

richard_raw部首の「⻄」(CJK RADICAL WEST TWO U+2EC4)で入力する人なんているんかー、と思ってぐぐってみたら14万件も出てきた……。

2017/03/14リンク

その他

stealthinuCP932に変換しなけりゃ問題表出しないだろうと思ったが、結局検索とかで使われると問題出たりするよね。というか住所とかで使われて紛れ込むほうが後からもっとヤバイ問題になったりするのか。

2017/03/14リンク

その他

tsekineむしろ CP932 へのコンバートが正規化になってる件

2017/03/14リンク

その他

l-_-ll# 文字コード

2017/03/14リンク

その他

hakatashiUnicodeは光であり闇。CJK Radicals の文字はWikipediaの漢字関連の記事を執筆するときによく区別して使うけど、意味のある行為かは正直疑問。意味論と運用の兼ね合いは難しい。

2017/03/14リンク

その他

habarhabaひえ〜〜っ！！ユーザがUnicodeで何でも入力できるって冷静に考えると怖くない？

2017/03/14リンク

その他

hisasann文字コード

2017/03/14リンク

その他

kamezounicodeは昔から「スゲエな、しかしわからん」の世界／ブコメにあった「関⻄電⼒」の「⻄」も「⼒」も非unicode環境にコピペったら消えた。震える。

2017/03/13リンク

その他

Bookmarker見た目似た文字が多いという事以外Unicode関係無いのでは？JIS X 0208の範囲でも○と〇を間違えて使っている事はあるし。

文字コード

2017/03/13リンク

その他

quick_past月<->月(にくづき)みたいな？

2017/03/13リンク

その他

ushi2Unicodeはまだ「枯れていない」のが難しい所である

2017

2017/03/13リンク

その他

mohno泣ける。

2017/03/13リンク

その他

airj12深い(闇が)

2017/03/13リンク

その他

doscoy_tunicodeは文字がコードポイントという「概念」にマッピングされる。文字の見た目やメモリ上でのバイナリ表現は一切関係無い。違うコードポイントを偶然見た目が似てるだけで同じものと扱おうとするのは間違い

2017/03/13リンク

その他

rryu普通の漢字と全く同じ字形の部首が収録されているのか。

2017/03/13リンク

その他

u06nh名刺入力案件の判定文でエラった感…。

2017/03/13リンク

その他

spacefrontierこれ、逆SEOで(一時的に)使えるな、と、悪いことを思いついてしまった…。文字としての「西」と部首としての「⻄」は、見た目は全く同じだけど全く別の文字、と。

2017/03/13リンク

その他

namiskああ、部首の表現……。

プログラミング

2017/03/13リンク

その他

blueboy部首の方の「⻄」でググってごらん。「関⻄電⼒」などがヒットする。多用されているわけだ。これを　unicode に対応しない古いアプリにコピペすると、該当の文字が消失することから、シフトJISの文字ではないとわかる。

2017/03/13リンク

その他

tsutsumi154わりとよくある

2017/03/13リンク

その他

koukinbc英語圏の人はホーン！くらいの問題なんだろなぁ

2017/03/13リンク

その他

e_denkerどうでもいいけど個人的にユニコードで予期せぬ目に遭うのは日常茶飯事なのでタイトルの情報量がほとんどない。

2017/03/13リンク

その他

o_megaいつもの地獄感

2017/03/13リンク

その他

ShoCohひええ、住所入力は郵便番号から自動入力されるのを基本にしておけばある程度なんとかならないかな

文字

2017/03/13リンク

その他

fashiUnicode対応の手書き入力とかOCRだと出てくるのかなあ…

話題

2017/03/13リンク

その他

コメントするにはログインが必要ですログインしてコメント

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー

はてなブックマークボタンを作成して埋め込むこともできます

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

usersに達しました！

さんが1番目にブックマークした記事「「ユニコード」で...」が注目されています。

気持ちをシェアしよう

ツイートする

「ユニコード」で予期せぬ目に遭った話 - moriyoshiの日記

自分の知らないCJK Ideographのバリエーションがまだあったことに戦慄している pic.twitter.com/kUlyRLD...自分の知らないCJK Ideographのバリエーションがまだあったことに戦慄している pic.twitter.com/kUlyRLDDTM— moriyoshit (@moriyoshit) March 9, 2017 などというツイートをしたところ、思ったより反響があったのでまとめておく。上記ではあいまいに「バリエーション」などと書いたが、Unicodeとそれを扱う環境においては、バリエーションと一口に言っても次のような状況がある。意味論的に等価な異なる字形の集合同じ字形で異なるコードポイントの集合 aは結構なじみ深いと思う。 a-1. 異なるコードポイントにそれぞれ異なる字形が割り当てられているもの例: 「東」(U+6771) ⇔「东」(U+4E1C) 「斉」(U+6589) ⇔「齊」(U+9F4A) 「高」(U+9AD8) ⇔「髙」(U+9AD9) a-2. 同じコードポイ