2ちゃんねる スマホ用 ■掲示板に戻る■ 全部 1- 最新50    

■ このスレッドは過去ログ倉庫に格納されています

文字コード総合スレ Part12

1 :デフォルトの名無しさん:2018/12/17(月) 16:48:24.47 ID:Pfqpaohb.net
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、Shift_JIS、JIS、EUC、Unicode、UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
 (スレ再利用)UnicodeとUTF-8の違いは? http://pc12.2ch.net/test/read.cgi/tech/1177930957/
 (隔離スレ)UnicodeとUTF-8の違いは? その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
文字コード総合スレ part8 http://peace.2ch.net/test/read.cgi/tech/1354248962/
文字コード総合スレ part9 http://peace.2ch.net/test/read.cgi/tech/1401301779/
文字コード総合スレ Part10 http://mevius.2ch.net/test/read.cgi/tech/1444822140/
文字コード総合スレ Part11 http://mevius.5ch.net/test/read.cgi/tech/1516629503/

953 :デフォルトの名無しさん:2021/05/11(火) 20:47:14.11 ID:vh9Kat/q.net
>>949
No.
I resolutely refuse to your suggestions.

954 ::2021/05/11(火) 20:49:53.68 ID:HFm5gSrp.net
>>934
え?
UTF32 こそ正義なのではないですか?
UTF16 は、あくまでも特定用途のために UTF32 から変換して渋々使うものかと‥‥

955 ::2021/05/11(火) 20:50:48.74 ID:HFm5gSrp.net
>>942
外に出す文字コードは UTF-8
内側では基本 UTF-32 を使うべきかと、私は考えています

956 ::2021/05/11(火) 20:52:11.20 ID:HFm5gSrp.net
>>943
へんな言い方ですね
「Windows の C ライブラリ」ではなくて、Windows のシステムコール=win32api というべきなのでは?

そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ

957 ::2021/05/11(火) 20:55:50.64 ID:HFm5gSrp.net
>>946
UTF-16 は Windows 等の特定用途なのでは?
むしろ正義は UTF-32 にあるでしょう
Shift-JIS や EUC は時代遅れだ、という意見には同意せざるを得ないのですが、だからといって、UTF-16 を提案するというのは、かえって悪手というか、頭が変なんじゃないかと私は考えます

そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ
そんなんじゃ駄目だ

958 ::2021/05/11(火) 21:02:01.91 ID:HFm5gSrp.net
>>950
50Hz は当時のドイツの会社「アルゲマイネ・エレクトリツィテート・ゲゼルシャフト」社から、
60Hz は当時の米国の会社「ゼネラル・エレクトリック」社から来ています

もし英語を第一言語に主張するのならば、50Hz ではなくて 60Hz が本流でしょう‥‥
実際、今で合衆国・カナダ・メキシコは 60Hz の国ですし

959 :デフォルトの名無しさん:2021/05/11(火) 21:41:17.35 ID:fJhAJw72.net
>>953
No, no, no, no, ... YOU suggested first.

960 :デフォルトの名無しさん:2021/05/11(火) 21:58:18.19 ID:fJhAJw72.net
>>955
いいですよ、UTF-32は一度も使ったことないですけど、
全世界で文字コードが統一されるなら協力しますよ。

自分はマなんですけど(って、ここにいる全員そうか)、
毎回文字コードの問題が浮上するたびに統一しろよと思ってきました。
UTF-8が出た時は「これでやっと統一される!」と思ってたら、ちっとも変わってない。
どこの馬鹿が舵切ってないんですか?
こんなもん、トップダウンでやらんと意味が無い。

蛇足だが、50Hz/60Hzも本気で統一すればいい。
地デジでアナログテレビを駆逐したんだからやれないことはない。
車の左側/右側通行も世界共通で左側通行にすべき。

961 :デフォルトの名無しさん:2021/05/11(火) 22:01:33.58 ID:62zfmCQO.net
Ubuntu は、UTF-32 だけど、英語圏では後半の2バイトが無駄。
メモリ使用量が、UTF-16 の2倍

だからWindows などの昔のOS は、UTF-16・サロゲートペアを使っている

962 ::2021/05/11(火) 22:28:23.04 ID:HFm5gSrp.net
>>960
>50Hz/60Hzも本気で統一すればいい。

無理です……
変電・配電設備はどれも 50Hz/60Hz それぞれに専用で、もう一方の周波数には対応できません
仮に 60 Hz をやめて 50Hz に統一するとすると、西日本の電気設備は全部更新しないといけません、部品が全然足りなくて、多分西日本は3年くらい停電、電気なしの生活になりますね……

963 ::2021/05/11(火) 22:29:39.96 ID:HFm5gSrp.net
>>961
いまどき 32GiB RAM が常識な世の中で、後半の 2 バイトが無駄とかみみちいですね、そんなんじゃ駄目だ……

964 :デフォルトの名無しさん:2021/05/11(火) 22:35:13.63 ID:6D07FFeW.net
じゃあ明日から「円」は廃止「ドル」しか使えない
「メートル」は廃止してインチ、フィート、ヤード、マイルで
「摂氏」は廃止して華氏
「リットル」は廃止してガロン
これでアメリカと互換だぞ
便利だろ?

965 ::2021/05/11(火) 22:37:00.60 ID:HFm5gSrp.net
>>964
国民皆保険すらない後進国にあわせるのですか?

966 :デフォルトの名無しさん:2021/05/12(水) 00:04:08.19 ID:XehBH/T/.net
>>963
組込み用途では相変わらず厳しい制限があるだろ

967 :デフォルトの名無しさん:2021/05/12(水) 00:56:08.99 ID:w4TAZAbA.net
>>960
何をいってんの? Unicodeの目的は「これからは」単一の文字コードで
世界中の文字を表現すること
過去の資産を無くすためじゃない

それからUTF-8はな、せっかくUTF-16に統一しようとしていたのに
Unicode団体でな無い所が新たに追加した文字コードだぞ

UTF-8がでたときは「また文字コード増やしたのかよ」って思うはずなんだが

968 :デフォルトの名無しさん:2021/05/12(水) 01:47:55.23 ID:VbRrwICc.net
あーもー!結局次が決まらんならS-JIS使い続けようぜ!

969 :デフォルトの名無しさん:2021/05/12(水) 02:24:31.19 ID:S+EDWDjz.net
>>966
組み込み用途では制限が厳しいのでUTF16を使いますwww
お前、組み込みでどれだけ文字処理してんの?
いや、UTF8やUTF32じゃ駄目でUTF16じゃんないと制限に引っかる最近の実例があったの?
あったら具体例教えてほしい。

970 :デフォルトの名無しさん:2021/05/12(水) 02:26:01.47 ID:Wqknze8k.net
Cコンパイラがwchar_t型をUTF16とするかUTF32とするか次第じゃね

971 :デフォルトの名無しさん:2021/05/12(水) 02:35:18.26 ID:S+EDWDjz.net
>>967
だってUTF16がインターネットでの使用をまともに考慮して無かったので仕方ない。
unicode以前からインターネットは既に存在していて基本ASCIIベースだったので、それの上位互換がnetで普及するのは当然の流れ。
文字数が16ビットじゃ足りないことと、インターネットの普及を予測できなかったUnicodeコンソーシアムの不見識がUTF16の原因。

972 :デフォルトの名無しさん:2021/05/12(水) 02:49:55.29 ID:Wqknze8k.net
UTF8を使うにしても、SJIS -> UTF16 or UTF32 -> UTF8 と変換するからやってることは同じなんだよ

973 :デフォルトの名無しさん:2021/05/12(水) 03:26:27.16 ID:rVJ0Zld2.net
>>971
なんで文字コードがインターネットの使用を考慮しないといけないかもわからないし
インターネットでUTF-16が使えるのに、考慮してないというする理由もわからない
もしかしてネットサーフィン(笑)をインターネットという爺かお前

974 :デフォルトの名無しさん:2021/05/12(水) 03:27:38.25 ID:rVJ0Zld2.net
ASCIIは7ビットなんだからUTF-8だって非対応なんだがw

975 :デフォルトの名無しさん:2021/05/12(水) 09:38:08.51 ID:HCx7UYF5.net
>>960
言いたいことは判るが
君の発言はアーカイブとか文書の問題とすりかわってないか?

βのテープなんてまだあちこちにごろごろしてるだろ?
MO/MDなんかもまだあるだろ?
そのうちHDDもなくなってSSDばかりになるだろうがHDDはなくならないだろ?
新しいものはそっちで作っても古い方は面倒だから移動なんてしないだろ?

976 :デフォルトの名無しさん:2021/05/12(水) 11:26:29.20 ID:rw/WEf9V.net
馬鹿メリカ式だと今日がこんなのになってしまう
5.12.2021
こんなの混ぜたら5月12日なのか12月5日なのか判別できずに混乱が生じる
混乱の対象となるのは各月12日までで月≠日のパターン(12*12-12=132通り)
年のうち36%もの日で混乱が生じている
馬鹿メリカ式さえ排除すれば大体うまくいくのだ

977 :デフォルトの名無しさん:2021/05/12(水) 11:31:17.70 ID:S+EDWDjz.net
>>974
プロトコルを拡張する時に上位互換の拡張が求められる、っていう常識すら知らないの?
まともに規格作ったり、実装したことないのかな。
一度動きだしたものは変更コストができるだけ小さい拡張が普及するんだよ。

978 ::2021/05/12(水) 20:16:47.61 ID:HQn5nLJO.net
>>967
>せっかくUTF-16に統一しようとしていたのに

後世の模範となる康熙字典ですら 4万7035 字が収録されているというのに、UTF-16 の 6万5536 文字のキャパシティの面では圧倒的に足りないのでは?
世の中に存在する文字、かつて存在した古代文字を全部残らず収録する、という姿勢にしては、UTF-16 は「しょぼい」としかいいようのないキャパですね…

CJK 漢字統合なんて、東洋人からみればひたすら「醜い」の一言
「UTF-16 に統一」という基本設計、あるいは基本思想の時点で既に「根本的に間違っている」と私は結論づけます

そんなんじゃ駄目だ…
そんなんじゃ駄目だ…
そんなんじゃ駄目だ…
そんなんじゃ駄目だ…
そんなんじゃ駄目だ…
そんなんじゃ駄目だ…
そんなんじゃ駄目だ…
そんなんじゃ駄目だ…
そんなんじゃ駄目だ…
そんなんじゃ駄目だ…

979 ::2021/05/12(水) 20:17:23.50 ID:HQn5nLJO.net
>>970
wchar_t は死産でしょう‥‥

980 ::2021/05/12(水) 20:18:07.73 ID:HQn5nLJO.net
>>976
×馬鹿メリカ式
◎ダメリカ

981 :デフォルトの名無しさん:2021/05/12(水) 20:22:17.19 ID:zdSe0i8P.net
UTF-16 の最大文字数は 6万5536を遥かに超えるんだが
基礎知識がないやつとは、話にならんかな

982 :デフォルトの名無しさん:2021/05/12(水) 20:39:17.81 ID:S+EDWDjz.net
昔に 65536 で十分ってアホなこと言い出したやつがいたのが、今の UTF-16 っていうヘンテコ文字コードができた原因だろ。
結果は、ごらんの有様。

983 :デフォルトの名無しさん:2021/05/12(水) 20:41:59.59 ID:zdSe0i8P.net
UTF-8ができたのはUTF-16の後な
最初はUTF-32と同じ文字数を表現できるようにしたが
最終的にUTF-16と同じ文字数に変更した
UTF-8とUTF-16が扱える文字数は同じ

984 :デフォルトの名無しさん:2021/05/12(水) 21:12:17.60 ID:4TbGo10q.net
えっなにこの流れ
UTF16で扱える文字数とUTF32で扱える文字数が違うとか言い張ってる人がいるように見えるんだけど
そんなことがあるの??

985 :デフォルトの名無しさん:2021/05/12(水) 21:17:37.12 ID:Bs1VBcWP.net
https://ja.wikipedia.org/wiki/CJK%E7%B5%B1%E5%90%88%E6%BC%A2%E5%AD%97

1984年、ISOの文字コード規格委員会 (ISO/TC 97 - SC2) は文字セットの切り替えを行わずに世界中の文字を単一の文字集合として扱える
文字コード規格 (ISO 10646) を作成することを決定し、専門のワークグループ (WG2) を設置した。
当初、この文字コード規格は16ビットを想定し、その中に日本や中国など各国の漢字コード表をそのまま入れることを想定していた。
しかし中国はこの方式では自国で現在策定中の漢字コードが全て入らなくなるとしてこの方針に反対し、
1989年、各国の漢字コードを統合した漢字集合HCCのアイデアを提案した。

1990年、完成したISO 10646の初版ドラフト (DIS 10646) では、漢字コードは32ビットで表現され、各国の漢字コードはそのまま入れることになった。
しかし中国は漢字を各国でばらばらに符号化するのではなく、あくまで統一して扱うことを求めてこのドラフトには当初から反対しており、
今後の漢字コードの方針を決めるため、ワークグループはCJK-JRGと呼ばれるグループを別途設置し、そこで引き続き検討することにした。

986 :デフォルトの名無しさん:2021/05/12(水) 21:37:03.94 ID:4TbGo10q.net
ごめん誰か馬鹿な俺のために
(1) UTF16で表現できるがUTF32で表現できない文字
(2) UTF32で表現できるがUTF16で表現できない文字
を具体的に例示してもらえないだろうか

サロゲートペアなんてもう20年以上前には登場してたよね?
最大65536文字とか言ってる人は頭が平成1桁時代のまま取り残されてるの?

それとも、IVSや絵文字が絡むとUTF32で表現できない文字が出てきたりするんだっけ・・・?(こっちは自分が不勉強ゆえ自信なし)

987 :デフォルトの名無しさん:2021/05/12(水) 22:41:39.87 ID:Be2Ur7pl.net
>>962
変電・配電設備だって永遠に運転できる訳じゃない。
老朽化したら修理や建て直しぐらいするから、そのタイミングで変えていけ。
一斉にやるんじゃなくて、局所的に分けて10年〜15年ぐらいかけてやればいい。
その間は隣の市から電気もらうのもOK。

>>964
「円」じゃなくて基準を「金」に戻すかな。
単位に関しては世界標準無視かよ?

>>967
正直、UTF-8でもUTF-16でもUTF-32でもまったく新しい文字コードでもいいよ、統一できるなら。
何ちんたらちんたらやってんだよ?

>>968
よし、今すぐ回線切ってタヒね

988 :デフォルトの名無しさん:2021/05/12(水) 22:42:55.43 ID:Be2Ur7pl.net
>>975
βだろうがMO/MDだろうが、必要となったときに変換すりゃいいだけだろ。
少なくともその「必要となったとき」に吸い上げて変換した上で別の媒体に保存すればいい。
新しい文書は当然古い文字コードでは一切書かせてはいけない。
SJISなんぞ使った日にゃ秘密警察が見つけ出して206個ある骨をすべて砕く刑に処す。

>>976
その指摘は正しい。
ただ、一番正しい日付の表示法はヨーロッパ式で、
次に正しいのはお前が指摘しているアメリカ式で、一番馬鹿なのが日本式。

>>983
正確に数字で話せ。
で、真面目な話になるが、その中で最長の文字数を扱える文字コードはどれだ?
その最長の文字数でこの世のありとあらゆる文字は表現できるのか?
また、その最長の文字数を扱える文字コードだとデータ処理は遅くなってしまうのか?

989 :デフォルトの名無しさん:2021/05/12(水) 23:15:30.39 ID:UT6XyfGi.net
ISO8601よりヨーロッパ式を推すとはたまげたなあ

990 :デフォルトの名無しさん:2021/05/12(水) 23:28:53.01 ID:LpmPGSmH.net
場末の掲示板の場末の板でイキってるんだから可愛いよね

991 :デフォルトの名無しさん:2021/05/12(水) 23:30:48.38 ID:S+EDWDjz.net
>>983
>UTF-8ができたのはUTF-16の後
それ何のジョーク?
UTF−16(サロゲートペア)方式が公開されたのは UTF−8 方式の4年後なんだが。

992 :デフォルトの名無しさん:2021/05/13(木) 00:55:59.37 ID:bi8pzl4S.net
>>979
C++のcwcharヘッダーからもわかるとおり、wchar_tは規格の一部

993 :デフォルトの名無しさん:2021/05/13(木) 05:07:38.90 ID:nrtxeueq.net
>>991
https://www.cl.cam.ac.uk/~mgk25/ucs/utf-8-history.txt

> Looking around at some UTF-8 background, I see the same incorrect
> story being repeated over and over. The incorrect version is:
> 1. IBM designed UTF-8.
> 2. Plan 9 implemented it.
> That's not true. UTF-8 was designed, in front of my eyes, on a
> placemat in a New Jersey diner one night in September or so 1992.
>
> What happened was this. We had used the original UTF from ISO 10646
> to make Plan 9 support 16-bit characters, but we hated it.

要約 16bitのUTFを使っていたが嫌いだったからUTF-8を作った

994 :デフォルトの名無しさん:2021/05/13(木) 09:13:48.13 ID:jPZ0z7Tj.net
で、どこに 16bit の "UTF" って書いてあるの?
勝手に UTF を補完すんな。その頃は UTF-16 はまだ存在してない。

995 :デフォルトの名無しさん:2021/05/13(木) 11:09:24.10 ID:0pD51twu.net
>>989
ああ、ISO8601よりもヨーロッパ式の方が断然いい
なんだ、その理由も分からないのか?

996 :デフォルトの名無しさん:2021/05/13(木) 11:13:36.80 ID:0pD51twu.net
>>990
場末の掲示板の場末の板で呟いているお前の方がよっぽど可愛いわ
せめて俺に直接レスしたらどうだ、この臆病者がw

997 :デフォルトの名無しさん:2021/05/13(木) 13:46:00.24 ID:oT9LP7EK.net
成立順
UCS-2(かつてのUnicode)→UCS-4→UTF-8→UTF-16→UTF-32
ってことかな?訂正よろ

998 :デフォルトの名無しさん:2021/05/13(木) 13:51:48.50 ID:pHijDXLB.net
>>981
そのせいで shift_jis と同じ失敗を繰り返した訳だ

999 :デフォルトの名無しさん:2021/05/13(木) 14:28:18.42 ID:oT9LP7EK.net
>>998
同じ失敗って何?
shift-jisみたいに2文字目の判定に時間がかかったり読み違えたりする可能性はないと思うけど

1000 :デフォルトの名無しさん:2021/05/13(木) 14:49:45.53 ID:jPZ0z7Tj.net
>>997
その書き方だと UCS-4 == UTF-32 かな。
正確には UCS は符号化文字集合で UTF は符号化方式だけど。

1001 :デフォルトの名無しさん:2021/05/13(木) 14:57:26.65 ID:aKG1Dap7.net
文字コード総合スレ part13
https://mevius.5ch.net/test/read.cgi/tech/1593777227/

1002 :2ch.net投稿限界:Over 1000 Thread
2ch.netからのレス数が1000に到達しました。

総レス数 1002
306 KB
掲示板に戻る 全部 前100 次100 最新50
read.cgi ver 2014.07.20.01.SC 2014/07/20 D ★