Upload
masahiro-tomita
View
12.963
Download
0
Embed Size (px)
Citation preview
MySQLの文字コード事情MySQLの文字コード事情2017版2017版
MySQL Casual Vol.10
2017/02/01
とみたまさひろ
MySQL Casual こわいMySQL Casual こわい
自己紹介自己紹介とみた まさひろ
長野県北部在住プログラマー好きなプログラミング言語 RubyRuby/MySQLライブラリ
http://tmtms.hatenablog.comhttp://twitter.com/tmtmshttps://github.com/tmtm
最近の活動最近の活動Software Design 2016年6月号
「MySQLでデータベースを作ってみよう!」Software Design 2016年9月号
「MySQL 4つのログの使いどころ」Software Design 2016年12月号
「Rubyと文字コード」「MySQLと文字コード」
mysql.gr.jp ドメイン料支払い
MySQLに対する興味分野MySQLに対する興味分野プロトコルプロトコルX Protocol とか
文字コード文字コード
今回は文字コード今回は文字コード
MySQLで文字コードというMySQLで文字コードというと Character set(Charset)と Character set(Charset)
Character set ?Character set ?
語源的には文字集合語源的には文字集合
文字集合文字集合US-ASCII
数字、英字、32個の記号JIS X 0201
US-ASCII(「\」→「¥」/「~」→「‾」)+カタカナ
JIS X 0208数字、ひらがな、カタカナ、漢字、ラテン文字、ギリシャ文字、記号等々
JIS X 0213JIS X 0208 + 第三水準/第四水準、ローマ数字、鼻濁音文字等々
文字集合文字集合Windows-31J
JIS X 0201 + JIS X 0208 + NEC特殊文字 + IBM拡張文字(「⑧」「Ⅷ」「㈱」「髙」「﨑」「彅」等)
Unicode世界中の文字。絵文字(「�����������������」「�������������������」等)も含む。
あれ?あれ?「CP932」とか「UTF-8」「CP932」とか「UTF-8」
は?は?
エンコーディングエンコーディング文字符号化方式文字符号化方式
文字集合の文字をコンピュータで利用できるバイト列に変換する方式
エンコーディングエンコーディングEncoding 文字集合 用途ISO-2022-JP US-ASCII, JIS X 0201(ラテン文
字), JIS X 0208メール
EUC-JP US-ASCII, JIS X 0201(カナ文字),JIS X 0208, JIS X 0212
昔のUNIX
SHIFT_JIS JIS X 0201, JIS X 0208Windows-31JCP932
Windows-31J Windows
エンコーディングエンコーディングEncoding 文字集合 1文字のサイズUTF-8 Unicode 1〜4バイトUTF-16 Unicode 2バイトUTF-32 Unicode 4バイト
Charset ≒ エンコーディングCharset ≒ エンコーディング(MySQLに限らない)(MySQLに限らない)
MySQLのCharsetMySQLのCharsetmysql> SHOW CHARACTER SET;+----------+---------------------------------+---------------------+---| Charset | Description | Default collation | Ma+----------+---------------------------------+---------------------+---| big5 | Big5 Traditional Chinese | big5_chinese_ci | | dec8 | DEC West European | dec8_swedish_ci | | cp850 | DOS West European | cp850_general_ci | | hp8 | HP West European | hp8_english_ci | | koi8r | KOI8-R Relcom Russian | koi8r_general_ci | | latin1 | cp1252 West European | latin1_swedish_ci | | latin2 | ISO 8859-2 Central European | latin2_general_ci | | swe7 | 7bit Swedish | swe7_swedish_ci | | ascii | US ASCII | ascii_general_ci |
日本語が使えてASCII互換の日本語が使えてASCII互換のは ujis, sjis, eucjpms,は ujis, sjis, eucjpms,cp932, utf8, utf8mb4cp932, utf8, utf8mb4
MySQL CharsetMySQL Charsetcharset 文字集合 エンコーディングujis JIS X 0201 + 0208 EUC-JPsjis JIS X 0201 + 0208 SHIFT_JISeucjpms Windows-31J EUC-JP風cp932 Windows-31J Windows-31Jutf8 Unicode UTF-8utf8mb4 Unicode UTF-8
今なら普通はUnicode今なら普通はUnicode世界中のほぼすべての文字を扱える絵文字も使える世の中もう普通にユニコード文字コード変換とか考えなくていい文字化けしない
utf8 ? utf8mb4 ?utf8 ? utf8mb4 ?
utf8 と utf8mb4utf8 と utf8mb4utf8: 1文字 1〜3バイト (U+0000〜U+FFFF)utf8mb3 という別名ありutf8mb4: 1文字 1〜4バイト(U+0000〜U+1FFFFF)UTF-8 は普通1〜4バイトutf8 / utf8mb4 の違いは MySQL のみほとんどの日本語文字は3バイト一部の漢字と絵文字等が4バイト
4バイトになる JIS X 02134バイトになる JIS X 0213の文字の文字
𠀋𡈽𡌛𡑮𡢽𠮟𡚴𡸴𣇄𣗄𣜿𣝣𣳾𤟱𥒎𥔎𥝱𥧄𥶡𦫿𦹀𧃴𧚄𨉷𨏍𪆐𠂉𠂢𠂤𠆢𠈓𠌫𠎁𠍱𠏹𠑊𠔉𠗖𠘨𠝏𠠇𠠺𠢹𠥼𠦝𠫓𠬝𠵅𠷡𠺕𠹭𠹤𠽟𡈁𡉕𡉻𡉴𡋤𡋗𡋽𡌶𡍄𡏄𡑭𡗗𦰩𡙇𡜆𡝂𡧃𡱖𡴭𡵅𡵸𡵢𡶡𡶜𡶒𡶷𡷠𡸳𡼞𡽶𡿺𢅻𢌞𢎭𢛳𢡛𢢫𢦏𢪸𢭏𢭐𢭆𢰝𢮦𢰤𢷡𣇃𣇵𣆶𣍲𣏓𣏒𣏐𣏤𣏕𣏚𣏟𣑊𣑑𣑋𣑥𣓤𣕚𣖔𣘹𣙇𣘸𣘺𣜜𣜌𣝤𣟿𣟧𣠤𣠽𣪘𣱿𣴀𣵀𣷺𣷹𣷓𣽾𤂖𤄃𤇆𤇾𤎼𤘩𤚥𤢖𤩍𤭖𤭯𤰖𤴔𤸎𤸷𤹪𤺋𥁊𥁕𥄢𥆩𥇥𥇍𥈞𥉌𥐮𥓙𥖧𥞩𥞴𥧔𥫤𥫣𥫱𥮲𥱋𥱤𥸮𥹖𥹥𥹢𥻘𥻂𥻨𥼣𥽜𥿠𥿔𦀌𥿻𦀗𦁠𦃭𦉰𦊆𦍌𣴎𦐂𦙾𦚰𦜝𦣝𦣪𦥑𦥯𦧝𦨞𦩘𦪌𦪷𦱳𦳝𦹥𦾔𦿸𦿶𦿷𧄍𧄹𧏛𧏚𧏾𧐐𧑉𧘕𧘔𧘱𧚓𧜎𧜣𧝒𧦅𧪄𧮳𧮾𧯇𧲸𧶠𧸐𧾷𨂊𨂻𨊂𨋳𨐌𨑕𨕫𨗈𨗉𨛗𨛺𨥉𨥆𨥫𨦇𨦈𨦺𨦻𨨞𨨩𨩱𨩃𨪙𨫍𨫤𨫝𨯁𨯯𨴐𨵱𨷻𨸟𨸶𨺉𨻫𨼲𨿸𩊠𩊱𩒐𩗏𩙿𩛰𩜙𩝐𩣆𩩲𩷛𩸽𩸕𩺊𩹉𩻄𩻩𩻛𩿎𪀯𪀚𪃹𪂂𢈘
𪎌𪐷𪗱𪘂𪘚𪚲
4バイトになる絵文字(一部)4バイトになる絵文字(一部)�����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������
MySQLのCharsetMySQLのCharsetサーバークライアントサーバー/クライアント間の接続データベース毎テーブル毎カラム毎
…を全部別々に設定できる(嫌な予感しかしない)
ハマりたくなければ全部統一ハマりたくなければ全部統一
サーバー Charsetサーバー Charset新規に作成するデータベースのCharsetのデフォルトこれさえ指定しておけばだいたいOKmysqld の起動オプション--character-set-server=utf8mb4my.cnf の [mysqld] セクションcharacter-set-server = utf8mb4サーバー変数 character_set_server
データベース Charsetデータベース Charset配下に作成するテーブルのCharsetのデフォルト値
サーバーCharsetと同じであれば指定しなくてもいい
作成: CREATE DATABASE db CHARSET utf8mb4;
確認: SHOW CREATE DATABASE db;
変更: ALTER DATABASE db CHARSET utf8mb4;
変更しても既存のテーブルCharsetは変更されない
テーブル Charsetテーブル Charsetテーブル内カラムのCharsetのデフォルト値
データベースCharsetと同じであれば指定する必要はない
作成: CREATE TABLE tbl (...) CHARSET utf8mb4;
確認: SHOW CREATE TABLE tbl;
テーブル Charsetテーブル Charsetテーブル属性だけ変更:ALTER TABLE tbl CHARSET utf8mb4;
既存のカラムのcharsetは変更されない
全カラムとデータの変換:ALTER TABLE tbl CONVERT TO CHARSET utf8mb4;
utf8 で作ってしまったテーブルを utf8mb4 に変換とか
カラム Charsetカラム CharsetテーブルCharsetと同じであれば指定する必要はない
作成: CREATE TABLE tbl (col VARCHAR(10) CHARSETutf8mb4, ...);
確認: SHOW CREATE TABLE tbl;
変更: ALTER TABLE tbl MODIFY col VARCHAR(10)CHARSET utf8mb4;
変更するとカラム内のデータも変換される
クライアント Charsetクライアント Charsetクライアント内での文字列処理とサーバーとの接続Charsetに使用される
指定方法はプログラム/言語に依存
mysql --default-character-set=utf8mb4
プログラムによっては my.cnf の [client] セクションが有効
「loose-」をつけておくとそのパラメータを知らないプログラムは無視してくれる
[client]loose-default-character-set = utf8mb4
クライアント Charsetクライアント Charsetmysqld との接続毎に異なる
mysql コマンドでOKでも他のアプリからはNGかもしれない
何も指定しなければ latin1
Charset の確認Charset の確認mysql> SHOW VARIABLES LIKE '%char%';+--------------------------+----------------------------+| Variable_name | Value |+--------------------------+----------------------------+| character_set_client | utf8mb4 || character_set_connection | utf8mb4 || character_set_database | utf8mb4 || character_set_filesystem | binary || character_set_results | utf8mb4 || character_set_server | utf8mb4 || character_set_system | utf8 || character_sets_dir | /usr/share/mysql/charsets/ |+--------------------------+----------------------------+
mysql コマンドmysql コマンドmysql コマンドのデフォルトCharsetは auto
システムロケール(LC_ALL, LC_CTYPE, LANG 環境変数等)により値が決定
LANG=ja_JP.UTF-8 の場合は utf8 になるutf8mb4 ではない
LANG=C の場合は latin1 になる
utf8 と utf8mb4 の混在でutf8 と utf8mb4 の混在で起きること起きること
utf8接続から4バイト文字をutf8接続から4バイト文字を参照参照
クライアントが扱えない文字は「?」になるmysql> SELECT str FROM tbl;+-------+| str |+-------+| ?と? | ← '�������������������と�����������������'| ?と? | ← '?と?'+-------+
バイト列を見れば違いがわかバイト列を見れば違いがわかるる
mysql> SELECT HEX(str) FROM tbl;+------------------------+| HEX(str) |+------------------------+| F09F8DA3E381A8F09F8DBA | ← '�������������������と�����������������'| 3FE381A83F | ← '?と?'+------------------------+
utf8接続から4バイト文字をutf8接続から4バイト文字を登録登録
文字化けして登録されちゃうmysql> INSERT INTO tbl (str) VALUES ('�������������������と�����������������');Query OK, 1 row affected, 2 warnings (0.05 sec)
mysql> SELECT str,HEX(str) FROM tbl;+-------------+------------------------+| str | HEX(str) |+-------------+------------------------+| ????と???? | 3F3F3F3FE381A83F3F3F3F |+-------------+------------------------+
sql_modesql_modeMySQLはおかしなことしてもあまりエラーにならない(余計なお世話)
sql_mode でちゃんとエラーにしてくれる
mysql> SET sql_mode='STRICT_ALL_TABLES';
mysql> INSERT INTO tbl (str) VALUES ('�������������������と�����������������');ERROR 1366 (HY000): Incorrect string value: '\xF0\x9F\x8D\xA3\xE3\x81...' for column 'str' at row 1
sql_modesql_modeMySQL 5.7 からはデフォルト
mysql> SELECT @@sql_modeONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATENO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USERNO_ENGINE_SUBSTITUTION
�������������������=����������������� 問題
�������������������と�����������������以外でもmysql> SELECT '����������'='�������������';+---------+| '?'='?' |+---------+| 1 |+---------+mysql> SELECT '����������'='�����';+---------+| '?'='?' |+---------+| 1 |+---------+
実は未知の文字�扱い実は未知の文字�扱い‘�������������������’=’�����������������’=’�’
CollationCollation
CollationCollation文字の照合規則・照合順序Charset 毎に Collation があるCharset の指定は Charset のデフォルトのCollation を指定するのと同じ
Collation 一覧Collation 一覧mysql> SHOW COLLATION LIKE 'utf8mb4%';+------------------------+---------+-----+---------+----------+--------| Collation | Charset | Id | Default | Compiled | Sortlen+------------------------+---------+-----+---------+----------+--------| utf8mb4_general_ci | utf8mb4 | 45 | Yes | Yes | 1| utf8mb4_bin | utf8mb4 | 46 | | Yes | 1| utf8mb4_unicode_ci | utf8mb4 | 224 | | Yes | 8| utf8mb4_icelandic_ci | utf8mb4 | 225 | | Yes | 8| utf8mb4_latvian_ci | utf8mb4 | 226 | | Yes | 8| utf8mb4_romanian_ci | utf8mb4 | 227 | | Yes | 8| utf8mb4_slovenian_ci | utf8mb4 | 228 | | Yes | 8| utf8mb4_polish_ci | utf8mb4 | 229 | | Yes | 8| utf8mb4_estonian_ci | utf8mb4 | 230 | | Yes | 8
utf8mb4 の Collationutf8mb4 の Collationutf8mb4_general_ciutf8mb4_binutf8mb4_unicode_ciutf8mb4_unicode_520_ciutf8mb4_言語_ciutf8mb4_ japanese_ci は無い
「ci」は Case Insensitive(大文字小文字を区別しない)の意味らしい
utf8mb4_general_ciutf8mb4_general_ciutf8mb4 Charset のデフォルト Collation大文字小文字を区別しない(A=a, A=a)全角半角は区別する(A≠A)絵文字を区別しない(�������������������=�����������������)
utf8mb4_binutf8mb4_binvarchar(n) binary全文字を区別する(A≠a, �������������������≠�����������������)
utf8mb4_unicode_ciutf8mb4_unicode_ciUnicode Collation Algorithm 4.0.0
大文字小文字を区別しない(A=a, A=a)全角半角も区別しない(A=A)絵文字を区別しない(�������������������=�����������������)ひらがな、カタカナ、濁点有無、全角、半角を区別しない(は=ば=ぱ=ハ=バ=パ=ハ)
「ハハ=パパ=ババ問題」
http://www.unicode.org/reports/tr10/tr10-11.html
http://dev.mysql.com/doc/refman/5.6/ja/charset-unicode-sets.html
utf8mb4_unicode_520_ciutf8mb4_unicode_520_ciUnicode Collation Algorithm 5.2.0
大文字小文字を区別しない(A=a, A=a)全角半角も区別しない(A=A)絵文字を区別する(�������������������≠�����������������)ひらがな、カタカナ、濁点有無、全角、半角を区別しない(は=ば=ぱ=ハ=バ=パ=ハ)
http://www.unicode.org/reports/tr10/tr10-20.html
utf8mb4_*utf8mb4_*Collation A : a ������������������� : ����������������� は : ば
ぱ : ハgeneral_ci = = ≠bin ≠ ≠ ≠unicode_ci = = =unicode_520_ci = ≠ =
utf8mb4_*utf8mb4_*Collation A : a ������������������� : ����������������� は : ば
ぱ : ハgeneral_ci = = ≠bin ≠ ≠ ≠unicode_ci = = =unicode_520_ci = ≠ =ぼくたちが欲しかったjapanese_ci
= ≠ ≠
寿司=ビール問題 : MySQL 8.0でのUTF8寿司=ビール問題 : MySQL 8.0でのUTF8サポート入門(MySQL Server Blogより)サポート入門(MySQL Server Blogより)
https://yakst.com/ja/posts/4405
私たちは日本語の照合順序の追加も計画中です。日本語は興味深い言語であり、私たちの照合順序のエキスパート
であるXing ZhangとBernt MariusJohnsenが、今後のブログ記事でもっ
と詳しく説明するはずです。
まとめまとめふつうは utf8mb4サーバーとクライアントの両方で Charset を指定sql_mode をちゃんと設定Collation は適切にMySQL 8 で unicode_ japanese_ci ができるかも!?