■Unicode符号位置からUTF-16サロゲートペア表現を計算する

𩸽(ほっけ)のUnicode符号位置はU+29E3D。これをUTF-16で表すとする。

U+10000以上の符号位置の文字をUTF-16で表す場合、サロゲートペアによって表現される。

まず、Unicode符号位置を表す「U+n」のnに対して、0x10000を減算する。

𩸽はU+29E3Dだから、0x10000を減算すると、nは0x19E3Dとなる。

(なお、Unicode符号位置が0x10000未満である場合は、それは16ビットであり(なぜなら0x10000未満であるとは、最大でも0xFFFFだから)、2バイトで表現される。これはBMPの範疇であり、サロゲートペア表現(BMP外の文字表現)の出番はない。)

(また、0x10000以下の符号位置のうち、Unicode符号位置U+D800～U+DFFFはサロゲートペア用に確保された符号位置領域であり、この領域内の一符号位置に対応する文字は無い。)

0x19E3Dを、20桁の2進数変換すると、

$echo "obase=2; ibase=16; 19E3D" |bc11001111000111101↓(不足した桁をゼロで埋める)00011001111000111101

となる。

この20けた(00011001111000111101)のうち、

①上位10桁(0001100111)に対して0xD800(1101100000000000)を足す。これを上位サロゲートと呼ぶ。

1101100000000000      0001100111↓1101100001100111

②下位10桁(1000111101)に対して0xDC00(1101110000000000)を足す。これを下位サロゲートと呼ぶ。

11011100000000001000111101↓1101111000111101

③上位サロゲートと下位サロゲートの組み合わせ(1101100001100111 1101111000111101)が、UTF-16サロゲートペア表現そのものである。

$echo "obase=16; ibase=2; 11011000011001111101111000111101" |bcD867DE3D

求めた結果が正しいのか、unicodeコマンドで確認する。

$unicode 𩸽UTF-16BE: d867de3d(※"BE"とはbig-endianの略であり、「この16進表現は左から上位バイトとして読みますよ」という意味)

Unicodeにおいて、本来、文字は16bit、つまり65535文字で十分表現できるはずだった。

しかし中国の古代漢字などの文字も収録しようとすると、とても16bit程度では表現できないことが分かった。

そこで、UTF-16という符号化方式においては、サロゲートペアという工夫を使うことで、10万以上の文字を扱えるように仕様を整えた。

正確にいうと、2byte(16bit)では65536文字が表現できる。

ところで、0xD800～0xDFFF(2048の符号位置)はサロゲートペア用に確保されているため、特定の文字の符号位置としては利用できない。

その一方、サロゲートペアによって20bit分(1048576文字分)の符号位置を確保できたため、UTF-16では、

$echo $((65536-2048+1048576))1112064

111万文字ほど表現できる。

Permalink |記事への反応(0) | 00:14

ツイートシェア

■

Q.

ChatGPTに「タツノオトシゴの絵文字を見せて」と依頼すると、あれでもないこれでもない、と長文の回答が生成され「暴走」のような状態になることがあるようです。

原因を推測できますか？

A.

短く言うと、「タツノオトシゴの絵文字」はUnicodeに存在しないため、モデルが“あるはず”のものを探して取り繕おうとして自己修正ループに入り、過剰な訂正や長文化＝一種の暴走を引き起こすのが主因と考えられます。

起点：存在しない絵文字

Unicodeにはタツノオトシゴ絵文字が未収載で、ユーザー側でも“見たことがある気がする”というマンデラ効果が広がっているため、モデルは「ある前提」で答えようとして矛盾に陥りやすくなります。

暴走のメカニズム（推測）

応答最適化バイアス：LLMは要求充足志向が強く、「見せて」に応えようとして近縁の海洋系・動物系の絵文字を列挙→自己訂正→再列挙を繰り返し、長文化します。

自己整合ループ：途中で誤りに気づくと、過剰に修正しつつ確信度を演出する文言（“FINALANSWER”など）を挿入し、さらに矛盾を重ねる挙動が観測されています。

絵文字処理とトークナイズのノイズ：絵文字はサロゲートペアや多コードポイントで表現されることがあり、モデル内部のトークン分割や埋め込みが不安定化して挙動が乱れる一因になり得ます（研究文脈では、絵文字などの特殊文字が埋め込み空間を歪める“token segmentation bias”を指摘）。

絵文字“後付け”機構の影響（仮説）：一部のアシスタントは出力を“盛る”ために絵文字や口調を後段で付加する設計変更が指摘されており、本文と装飾が競合して文脈崩壊や過剰説明を誘発する可能性があります（コミュニティでの観測事例）。

なぜ「タツノオトシゴ」で顕在化？

近縁アイコンが多い：🐟🐠🐡🦐🦑🐙🐢🦎🐴🐉など“それっぽい”候補が多数あるため、モデルが次々に置換候補を提示して彷徨いがちです。

認知バイアスとの相乗：ユーザー側の確信表明や再要求がモデルの迎合バイアスを強め、誤情報を補強する形で長文化しやすくなります。

関連する研究的背景

特殊文字（絵文字）混入が判定器やLLMの安全フィルタを攪乱する“Emoji Attack”として学術報告があり、文字単位処理の不安定さが一般対話でも副作用を起こし得ることを示唆します。

Unicodeや特殊タグを用いたプロンプト撹乱の一般論として、文字処理の堅牢性問題が指摘されています。

実務的な回避策

事実前提を固定するプロンプトにする（「Unicodeにタツノオトシゴ絵文字は存在しない前提で、最も近い代替候補を3つだけ挙げて」など）と暴走を抑制しやすいです。

代替の提示を明示指示（「最も近い絵文字を1つだけ」）や、列挙制限を設けると長文化が減ります。

絵文字使用の過多は最近の挙動変更との指摘があるため、カスタム指示で「絵文字は使用しない」旨を設定すると安定します。

Permalink |記事への反応(0) | 09:30

ツイートシェア

■

C#、Java、Python、WindowsのC++のWCHARなんかはエンコーディングがUCS2なので

それしかやったことがないおっさんには2バイトと理解（サロゲートペアとかは知らない）してる奴もおるかもな

ワイは遭遇したことないが

Permalink |記事への反応(0) | 11:29

ツイートシェア

■anond:20221028130551

確かMicrosoftライブラリの中にある、環境依存文字だったかサロゲートペア文字だったかと判定するクラスがRuneだったな

Permalink |記事への反応(1) | 13:07

ツイートシェア

■anond:20210102190353

おう、いちおう全部UCS2ということにしてあるから、後よろしく状態。７万文字ほど試験してくれテスターということになるが　パイザさん大丈夫ですよね・・・サロゲートペアは試験簡単にしかしてないので、フルボッコにしておいて。

Permalink |記事への反応(0) | 19:05

ツイートシェア

■社長が死んだ

2020年最後の日だし吐き出したかった。

社長の死因は急性心筋梗塞だった。

何事もなければ社長が死んだショックだけで終わったかもしれない。

ただ、自分の中ではもやもやが残ってしまった。

7Payと言えばわかるだろうか。詳しくは書けないのだけど、あれと似たようなことが起きてしまった。

社長や上司含め、お客さんに平謝りだったらしい。

かなりのストレスだったと思う。ネットで調べたところ、急性心筋梗塞はストレスでも発症することがあるらしく、そこが少し引っかかってしまった。

様々な理由から現状社長の訃報を知らせるページを検索エンジンにインデックスされないようにしています。

もし心当たりのある会社があった場合でもリンクは貼らないでいただけますようよろしくお願いします。

今回謝る事態になってしまった件について技術的？に思ったこと

• ○○のライブラリ、フレームワーク、ミドルウェアを使えば簡単だからってことで気軽に使うのはやめてほしい

使うのであれば、ライブラリ、フレームワーク、ミドルウェアの更新（バグ、脆弱性情報）を一生追い続ける覚悟で使ってほしい。

• テストについて勉強してほしい

テスト自動化とかそういう発展的なものではなく、もっと根本的なテストについて勉強してほしい。

コードレベルのカバレッジとかそういうのではなく、「境界値分析」、「デシジョンテーブル」、「オールペア法」、「直交表」こういう物について勉強してほしい。

他にもいろんな手法はあるのだけど、上記に上げたもので1個でも知らない単語があった人は今すぐ検索してほしい。

• お客さんに嘘をつかないでほしい

いくら進捗が悪いからと言ってお客さんに順調などと嘘をつかないで欲しい。

遅れている理由を正直に言って（例えばテストの工数が膨れているとか）相談すればお客さんもわかってくれるかもしれない。

また、テストの質もそこまでの物が求められていないとかがわかるかもしれない。

お客さんに相談しないで工数圧縮の為にろくなテストも書かないで動いてるからいい！っていうのは危ない。

• エンジニア同士嘘をつかないでほしい

自信がない、もしくは、やったことがない・使ったことがない、などは正直に話してほしい。

もしかしたらそのせいで給料があがらなかったり、出世できなくなったりするかもしれない。

だけれど、その嘘のせいで他の誰かに負担がかかったり、他の誰かが不幸になるようなことがあってはいけないと思う。

これに関してはいろんな批判があることは覚悟している。嘘をついてでもいろんな経験をした方がいいって言う人もいると思う。

それでも、どうしても書きたかった。

• LPIC1相当の知識もないのにLinuxを触るのはやめてほしい

別にLPIC(LinC)は持ってなくてもいい。本屋で適当に対策本をパラパラめくって、聞いたことのない単語がないレベルであればいい。

• ツール、ライブラリ、ミドルウェアのエラーメッセージを検索して出てきた結果をコピペするのはやめてほしい

インターネットには嘘が散りばめられている。昔は本当だったけど今は嘘になっているものだってある。

一番いいのはエラーメッセージを出している物のソースコードを読むこと。二番目はドキュメントを読むこと。それでもわからない時だけ検索してほしい。

そして、その情報が誰が書いているかをよく見てほしい。書いている人が本当に信用できる、かつ、更新日付が近かったときだけそこの内容を信じてほしい。

• 自分が無知だということを知ってほしい

ApacheのC10K問題、

公開リポジトリにpush/commitされているメールアドレスを収集している人がいるということ、

公開リポジトリにpush/commitされている秘密情報を収集している人がいるということ、

MySQLの寿司ビール問題、

MacOSの日本語ファイル名問題、

文字のサロゲートペアについて、

RDBによってはSQLのIN句に指定できる数に上限があること、

他にもいろいろあるが、1個でも知らないものがあった人は検索してみて欲しい。業界にもよるかもしれないが、本来であれば最低限知っておかなければいけない知識。

これを知らないと適切な設計、ましてや適切なコーディングすらできなくなる。

終わりに

ぼくはエンジニアに向いてない

Permalink |記事への反応(0) | 15:41

ツイートシェア

■このIT全盛期に、ITと相性最悪の言語が天下取れるわけ無いだろ。

https://anond.hatelabo.jp/20200730225532

・Shift-JISとかいう特大の負債

・UTF-8だと2バイトになったり3バイトになったり、更にサロゲートペアまで出てくる(これは絵文字の影響で英語圏の人も今は同条件かもしれん)

・ファイルやデータを並び替えして漢字が先頭に来ると並び順が意味不明

・コレーションで何を同一と扱っていいのかも曖昧

・文がスペース区切りではないので全文検索の転置インデックス生成が複雑。形態素解析やらNgramやらなんやねん

Permalink |記事への反応(3) | 02:10

ツイートシェア

■[あとで読む]2020年4月はてブのあとで読むトップ30リスト

はてブのホットエントリ(総合)で月内に数多く[あとで読む]タグを集めたエントリ

202あとで/2672usersブログ: 「平常に戻る」ことはない -イギリスNESTA(科学技術芸術国家基金)より | okuranagaimo.blogspot.com

144あとで/741users電子情報学特論：Chromiumのアーキテクチャを解き明かす -Googleスライド

142あとで/2292users 0403「NY感染体験記（未確定）」｜qanta｜note

132あとで/1569usersイラスト図解！ これが新型コロナウイルス（SARS-CoV-2）だ｜ぬまがさワタリ｜note

124あとで/1229users [PDF]COVID-19への対策の概念 |東北大学大学院医学系研究科・押谷仁

116あとで/578usersAPI設計ガイド  |  CloudAPI  | Google Cloud

116あとで/1677users緊急事態宣言から3週間　流行状況はどう変わったか(忽那賢志) -個人 -Yahoo!ニュース

114あとで/911users 米ジャズプレーヤーが解き明かす“J-POP”の正体、音楽的アイデンティティ（KAI-YOU Premium）

114あとで/609usersGoogle Cloud Platform のトレーニングコース、ハンズオンを 1 か月間無料で提供 |Google CloudBlog

111あとで/506usersドキュメント作成スキル向上を目指す人向けおすすめ記事まとめ -Qiita

106あとで/970users 月例マグコミマンガ大賞2020 -マッグガーデン /2月期 入選「賢者の教室」朝野茶柱 |MAGCOMI

104あとで/668users論文の読み方 / How to survey - Speaker Deck

103あとで/617usersSPAのログイン認証のベストプラクティスがわからなかったのでわりと網羅的に研究してみた〜JWT or Session どっち？〜 -Qiita

102あとで/452usersGit /GitHub を使用したチーム開発時のガイドラインを制定しました | Developers.IO

102あとで/1032users 「日本人は幻想を抱く」新型コロナと闘うウイルス学者の『情熱大陸』のドキュメントがすごい！（追記あり）(水島宏明) -個人 -Yahoo!ニュース

100あとで/549usersMr.ベイエリアonTwitter: "自分は機械学習を学びたい全ての人類に（CourseraのAndrewNgのコースをやった後に）AndrewNgのStanfordのCS229の講義を見ることをオススメしてるんですけど、その講義の2018年度バージョンが公開され…https://t.co/OUokFft3ea"

97あとで/600users 自宅で学ぼう！AWS 初学者向けの勉強方法 6ステップ！ |Amazon Web Servicesブログ

96あとで/435users文字コード再入門 ─Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ -エンジニアHub｜若手Webエンジニアのキャリアを考える！

95あとで/406users “アカウント作成後すぐやるセキュリティ対策” 編を公開しました！- MonthlyAWS Hands-on for Beginners2020年4月号 |Amazon Web Servicesブログ

94あとで/538users 大幅にリニューアルされたNext.js のチュートリアルをどこよりも早く全編和訳しました -Qiita

94あとで/1004users 「一生役に立つ」人に質問するときに覚えておきたい…とある大学の授業で配られた『質問の仕方』のスライド -Togetter

93あとで/1447usersヨーロッパでコロナに感染して入院した話 - にゃんぶろ

93あとで/782users これからは「一番最初に思い出してもらえるブランド」しか生き残れない｜池田紀行@トライバル｜note

92あとで/2071users一人暮らしで新型コロナウイルスにかかった話｜RO｜note

88あとで/794users 見ずして死ねない日本の伝統建築10選

87あとで/1317usersリモートワークが 超快適になる製品9選 〜仕事に本気なあなたに〜｜村上僚｜note

86あとで/425users 「AIをどう習得したのか教えて」と大募集し、技術者から集まった記事49本を紹介 - 週末スペシャル：日経クロステックActive

86あとで/809usersAPI設計: gRPC、OpenAPI、REST の概要と、それらを使用するタイミングを理解する |Google CloudBlog

86あとで/778usersGitでよく使用するコマンドをGIFアニメで解説 |コリス

85あとで/395usersTypeScript練習問題集 ·GitHub

85あとで/2211usersコロナの影響でスーパーで買うカツオの刺身が美味すぎる。｜すずきまこと｜note

[あとで読む]タグの減少が更に進んだ。COVID-19の闘病記がタグを集めた。

Permalink |記事への反応(0) | 09:20

ツイートシェア

■Twitter・Yahoo!リアルタイム検索共通で使えるフィルタ(拡張機能)作った

anond:20180609124213

Twitterフィルタ -Chromeウェブストア

https://chrome.google.com/webstore/detail/twitter%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF/eoglgmgmfacolbkbjpkhdloieffcmnan

Twitterフィルタ – 🦊Firefox (ja)

https://addons.mozilla.org/ja/firefox/addon/twitter%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF/

github

https://github.com/lvnkae/twitter-filter

概要

• Twitter、Yahoo!リアルタイム検索、togetterにフィルタを提供するブラウザ拡張機能
• 公式のミュートより細かい指定ができる(正規表現使用可)
• ログインせずにミュートできる
  • むしろログインした状態のTwitterでは無効化される(Y!検索・togetterでは有効)
  • ログインしてるなら公式のブロック・ミュートを使えばいいじゃない

用語

• 表示名(name)
  • Twitterでユーザが自由に付けられる名前(最大50文字)
    • 例)はてなブックマーク
• ユーザ名(screen-name,username)
  • Twitterでユーザが半角英数15文字以内でつける識別名。@以下の文字列。
    • 例)HatenaBookmark
• ユーザID(user-id)
  • アカウントに割り振られる数字。変更不可。通常表示されない。
    • 例)17962860
• togetterユーザ名
  • 元々はTwitterと連携した際のTwitterユーザ名
  • Twitter側で変更しても自動で追従はしないので別物として扱う

機能

Twitter

• ツイートの非表示化
  • ユーザID指定(指定アカウントのツイート削除)
  • 表示名指定(特定表示名によるツイート削除)
  • ワード指定(指定ワードを含むツイート削除)
• プロフィールの非表示化(「おすすめユーザ」等)
  • ユーザID指定
  • 表示名指定
• モジュールの非表示化
  • 世界のトレンド、おすすめユーザ、ログイン誘導(新機能を全て利用するには～)
  • オプションでON/OFF指定(デフォルトOFF)

Yahoo!リアルタイム検索

• ツイートの非表示化
  • Twitterに同じ

togetter

• まとめに収載されたツイートのアイコン・リンク記事のサムネイルを爆弾マークに切り替える
  • 削除すると流れがわからなくなるので警告に留める
• コメントの非表示化
  • togetterユーザ名指定
  • ワード指定(他と共通)

迷惑サイトフィルタ

• あらかじめ登録したサイトおよびその公式Twitterアカウントを非表示化する
  • 主にまとめサイト・キュレーションメディア
• オプションでON/OFF指定(デフォルトON)

使い方

基本設定

• 右クリックメニューからミュート
  • ツイート・プロフィール →ユーザIDミュートに登録
  • togetterコメント →togetterコメントミュートに登録
• ポップアップメニューから手動入力
  • 表示名・ワードミュートの設定は見たまま。セレクトボックスで項目選んで単語を入力するのみ。
  • ユーザIDミュートはIDを調べるのが割と手間なので右クリックメニューがオススメ
    • 入力はユーザIDだけで良い。でも後でどのアカウントだったかわからなくなるよ。
    • 右クリックミュートでは"user-id/screen-name"という形式で登録しているが/以降はコメント扱い
  • togetterコメントミュートは"togetterユーザ名"を入力

詳細設定

ユーザIDミュート詳細設定

設定済みIDダブルクリックで詳細設定へ

　・アカウント固有の非表示ワード設定

　　　質問箱回答だけうざい

　　　NewsPick発言が痛々しい

　　など。チェックはしたいアカウントだが一部気に障る発言がある場合に。

表示名ミュートの詳細設定

設定した単語ダブルクリックで詳細設定へ

　a.単語の頭に <> を付けると正規表現がONに

　例)

　　<>(名言|迷言|画像|図鑑|検定|ネタ|セリフ)bot$

　　各種botのツイート・プロフィールをまとめて削除

　b.フィルタの適用方法指定

　　　完全一致ON/OFF

　　　大文字/小文字区別なしON/OFF (正規化)

　　をチェックボックスにて指定

　※完全一致と正規表現は排他

　※両方設定した場合、正規表現が勝ち完全一致は無視される

ワードミュートの詳細設定

　単語の頭に <> を付けると正規表現がONに

　例)

　　<>宇佐美 *定満

　　　宇佐美定満

　　　宇佐美 定満

　　　宇佐美　定満

　　　宇佐美 　定満

　　等、姓名間にスペースが0個以上ある定満はを含むツイートを削除

絵文字の扱い

• ポップアップメニューのテキストエリアで絵文字が表示されるならば直接入力して問題ない
  • 表示名ミュートに <>^💾.*💾$ と入力すれば💾で名前を囲んでるアカウントを全てミュートできる
• 表示されない環境では？
  • 1.Unicode指定
    • <>^\u{1F4BE}.*\u{1F4BE}$
  • 2.サロゲートペア指定
    • <>^\uD83D\uDCBE.*\uD83D\uDCBE$
  • 3. 気にせず絵文字ダイレクト入力
    • 表示されないだけで保存はされる
    • 1ヶ月もしたら何を設定したのかわからなくなるが…

[対象サイト]

備考

Twitter

• 引用RTなど、内包する子ツイートが非表示対象なら親ツイートごと消す
  • Twitter公式ブロックは子ツイートのみ消されるがあれ好きじゃない
• 短縮URLはできるかぎり展開してワードミュート判定に回す
  • 対応してる短縮URL

• "※"のサイトはCookieが残るので気になる人はブラウザでブロック推奨

結果

twitter検索結果がかなりきれいになった。まとめサイトとかまず見ない。

動機

• 7月のログイン時レイアウト完全移行でWeb版Twitterは死んだ
  • 死んだのだ
• しかし考えてみたらブロック・ミュートさえできればWeb版にログインする必要なかった
  • TLはサードパーティ製クライアントで見てる(フィルタ機能強力)
  • Webで見るのは検索用途が9割
    • Google検索が汚染されすぎてて最近Twitter検索に頼りがち
    • 残りの1割ははてぶ経由
• Web上でログインせずにミュートできたらいいな
  • Twitter検索はYahooの方が便利だがフィルタ機能がなくて困ってたし
  • ログインした状態であちこちアクセスするとアカウントとセットでデータ収集されて気持ち悪いし
  • ついでにtogetterもなんとかしたい

技術

短縮URL展開

• 最初は公式APIを使うつもりだったが"htn.to"が廃止されてて即挫折
• 他の拡張機能のソースを眺めてみたところ、汎用展開WebAPIを自前で用意していた
  • 個人提供の汎用展開WebAPIを使ってるもの(はちまバスター)もあったが、安定性に難あり(よく落ちてる)
  • 海外製のイケてる汎用展開WebAPIを見つけたが"htn.to"に対応してなかった
• JavasScriptでなんとかできないものか？
  • 処理的には、短縮URLにhttp_request(HEAD)を投げてredirect先(location)を得れば良いだけ
  • XMLHttpRequest(及び内部的に使ってるJQueryやsuperagent)では無理
    • redirectをやりきってから結果を返してくるつくり
    • 遷移先URLがほしいだけなのにそこへアクセスさせられてしまう
  • 今どきはfetchがナウいらしい
    • redirect:manualにすればredirectされない
    • しかしResponseHeadersを握りつぶされてしまう(セキュリティ理由の思想・仕様だそう)
  • chrome.webRequest.onHeadersReceivedでなんとかなりそう
    • fetchが握りつぶしたResponseを外部から監視してlocationだけ得る
    • 拡張機能でしか使えない手法になってしまうが…
    • backgroundをイベントページ(persistent:off)にできなくなるが…
    • まぁ許容範囲

右クリックメニュー

• 独自の項目(ID)を追加するのはchrome.contextMenusで簡単
• しかしひとつ拡張機能で複数ID登録すると勝手にディレクトリを作られてしまう(仕様)
  • 複数IDをvisible;falseで登録しておき、必要なものだけtrueにしようと思っていたが…zn
• 階層は邪魔なのでひとつのIDで中身を書き換えながら使う
  • 美しくないがやむなし
  • 書き換えタイミング(event)は'mousedown'および'mousemove'
    • メニュー生成タイミング'contextmenu'では間に合わない
    • 'mouseup'でも間に合わない(ことがある)
    • あとMacOSでは右クリック'mouseup'が発生しないらしい。伝え聞くところによると。

文字数制限にかかったので次へ…

Permalink |記事への反応(1) | 17:38

ツイートシェア

■UTF8ってunsignedcharで良いんだっけ？問題

https://qiita.com/yumetodo/items/54e1a8230dbf513ea85b]

から出発したこの話。あちこちで議論されているようですな。

https://b.hatena.ne.jp/entry/s/qiita.com/yumetodo/items/54e1a8230dbf513ea85b]

https://togetter.com/li/1301253]

https://naruse.hateblo.jp/entry/2018/12/24/013446]

文字コードを多少かじった人間としては、また人類が文字コードで混乱している。と思っていて議論が深まるのかなと思ったりします。

ただ、この話、見ててもやもやする所が一つありまして、UTF-8の1コードポイント=uint8_t=unsignedcharでええんかいな。という点です。

文字コードを少しでも知っている人はUTF-8は1つのコードポイントを可変長のバイト列で表します。

よく言われるようにASCIIは1バイト、大体のCJKV文字は3バイト以上で表します((久々にWikipediaのUTF-8見たら、UTF-8にサロゲートペアってあるんだねー。罪深いわOrale〜))。最大6バイトで1つのコードポイントを表します。

つまりですね、char16_tとかchar32_tとかがUTF-16やUTF-32にマッピングされるのは分かるんですよ。サロゲートペアは脇に置いておいて、コードポイントを表すのにはこの型(っつーか、データ長)を使うよってのが分かるので。

サロゲートペアを考えたときのUTF16も同じ考え方になるんですけど、UTF-8みたいな可変長のバイト長を取るエンコード方式は、結局、1「文字」を表す型(データ長)が定まらないんですよ。

char8_tをunsignedcharの子クラスにしたとしてもそれって、UTF-8にとっては「1文字を表す型」ではないんですよ。「1文字を表すバイト列の単位の1つ」でしかないんですよ。(サロゲートペアを考慮したときのchar16_tも同様)。

意味論で言っちゃえばUTF-32に対してchar8_tを使っても意味は同じになるんですよ。UTF-32って8ビット×4で構成されるだけなんで。

なので、UTF-8で表される1文字を型で使いたかったらuint64_tの子クラス(本当は最大6バイトなので48でいいんだけど)にしなきゃダメなんじゃねぇの？もしくは最少8ビットで48ビットを保証する型。とC++界隈ではない自分は思うわけです。

つーか、可変長文字って示すフラグになる型を作った方がまだマシじゃないのと思うのです。

Permalink |記事への反応(1) | 12:22

ツイートシェア

■新年号で出来る限りプログラマに嫌がらせする方法

1.BMP外の文字を使う

UTF-16ではサロゲートペアへの対応やUTF-8では4バイト文字の対応が必要になる.

2. CJK互換漢字を使う

Unicode正規化で別の文字に変わるためその対応が必要.

3.文字数を変える

例えば3文字にしたり4文字にしたりしてみる.

Permalink |記事への反応(0) | 12:29

ツイートシェア

■メタなナントカ

例えば「AB」という概念があった時, 「ABAB」「ABのAB」「ABに関するAB」という概念も成立しうる場合, その概念は「メタAB」と呼べそうである.

• データに関するデータ＝メタデータ (そのデータの名前,サイズ,作成者, 最終更新日時など)
• 情報に関する情報＝メタ情報 (その情報が何のために役立つかといった情報など)
• プログラミング方法をプログラミングする＝メタプログラミング (テンプレート,DSL (ドメイン特化言語) など)
• 変数であることを明示するための変数＝メタ構文変数
• クラスのクラス＝メタクラス (クラスを構成している要素, 例えばメンバ変数,メンバ関数,継承関係といった情報をインスタンスとして扱えるようにクラス化したもの)
• 言語を記述するための言語＝メタ言語 (XHTML,RSS などの具体的な言語を定義するためにXML がある)
• メタモデル＝モデル (クラス図,シーケンス図など) を構成する要素をモデル化したもの
• メタ文字＝文字を構成するための文字 ("ネ" と "申" で "ネ申" ……という意味ではなく,Unicode で 0xFFFF を超えるコードポイントを表現するために使われる「サロゲートペア」など)

あたりがぱっと思いつくけれど, 身近な例でも応用できないだろうか.

• 学習について学習する：メタ学習 (効率の良い, あるいは効果的な学習方法を身につけること)
• 写真の写真：メタ写真 (カメラの性能をアピールすべく, このカメラはこんなに綺麗な写真が撮れるんです！と写真のクオリティを見せることが目的の写真)
• ごみ袋のごみ袋：メタごみ袋 (例えばコンビニのビニール袋を簡易ごみ袋として使い,パンやお弁当の包装や使用済みのティッシュその他諸々を処分するために入れることは多いが, そのうち容量がパンパンになってごみ袋自体が一つのごみと化するので, そういったごみ袋を処分するためのより大きなごみ袋)
• メタ掃除：掃除機,雑巾, モップ, 箒といった各種掃除用具を洗浄したりリフレッシュしたりして掃除自体の品質を向上させること

意外と難しい.

Permalink |記事への反応(1) | 17:33

ツイートシェア

■Unicode 8.0ドラフト案出しなう

Unicode 8.0のドラフトみて面喰った。

もはや"「文字」コード"でもなんでもねー。

ただでさえ複雑怪奇なのにまたややこしいことを。

この調子だと「Unicode8.0は超面倒なので対応しません。色コード部分は豆腐になるけど仕様です」なんてソフトウェアも出てくるんじゃないかな。

最悪「絵文字の肌色問題に対応したいけど、Unicode8.0は超面倒なので絵文字も豆腐にします」なんてところも・・・。

そんなベンダーはいないと思いたいけど、対応コストが高くつきそう・・・

それにしても、昔を思い出す。

昔：65536文字で足りる！任せろ → 文字よこせ(CJKなどアジア中心に) → 無理でした。サロゲートペアやります

今：絵文字入れたぜ！ →人種差別だコノヤロー → 色コードつけます

これから、Unicodeにどのようなネタを仕込んでくれるのか、期待してますよ。

Permalink |記事への反応(0) | 21:42

ツイートシェア