文字コード・テキスト処理
- 文字コード・テキスト処理 Unicode正規化入門：NFC・NFD・NFKCと濁点分離・zip文字化け 見た目が同じ「ガ」が一致しない原因を実測。NFC/NFD/NFKC/NFKDの違い、半角カナ・①㈱・波ダッシュの扱い、APFSの実際の挙動、Macで作ったzipの濁点分離と文字化け、gitの設定まで直し方付きで解説。
- 文字コード・テキスト処理 文字コードの自動判定は推測にすぎない：精度と変換速度を実測 mb_detect_encoding と標準ライブラリだけの判定器を9,000サンプルで比較。短い文字列ほど外れ、半角カナや①㈱でも外れる。10MB の変換速度とチャンク境界の文字化けも。
- 文字コード・テキスト処理 文字・コードポイント・UTF-8のバイト列をxxdで見る len('文字化け')は4なのにファイルは12バイト。文字・コードポイント・バイトの違いをxxdとPython・PHPで実行して確かめ、半角カナがUTF-8で3バイトになる理由、strlenとmb_strlenの使い分け、UTF-8が勝った理由まで実測します。
- 文字コード・テキスト処理 文字列の「長さ」は言語で違う：絵文字・書記素・バイトを8言語で実測 𠮷野家・ｶﾞｲﾄﾞ・👍🏽・👨👩👧 の長さを Python・JS・Swift・Dart・Java・C#・PHP・SQLite で実測。絵文字を壊す切り詰めバグと DB の文字数制限も。
- 文字コード・テキスト処理 文字化けの仕組みと直し方：縺ゅ・譁�の正体をPythonで再現 縺ゅｊ縺後→や�はなぜ出るのか。UTF-8とShift_JIS（CP932）を取り違えて文字化けを再現し、パターンの読み方、波ダッシュと機種依存文字の問題、errors引数の違い、戻せる化けと戻せない化けを1,000件で実測します。
- 文字コード・テキスト処理 CSVの文字コード入門：UTF-8・BOM・Shift_JIS(CP932)とExcel 同じCSVをUTF-8・BOM付き・CP932で書いてバイト列を確認。Python・PHP・sqlite3で読み戻し、BOMの副作用、Shift_JISで消える髙・①、波ダッシュ、絵文字のエラーを実測し、Excel向けの判断表にまとめます。