ChaSen

日本語形態素解析システム。本記事では naist_jdic および unidic における利用について言及する。

Ubuntu Linux における chasen

2009年9月7日に確認。

Ubuntu 9.04 において sudo apt-get install chasen によってインストールされるのは、以下のパッケージである。

chasen-dictutils libchasen2 naist-jdic naist-jdic-utf8

かつては naist-jdic ではなく ipadic が使用されていた。

$ ls /usr/share/chasen/
chasenrc  chasenrc-utf8  dic/

$ ls -l /usr/share/chasen/dic/naist-jdic
-rw-r--r-- 1 root root    19357 Nov  8  2008 cforms.cha
-rw-r--r-- 1 root root 10435920 Sep  7 16:43 chadic.da
-rw-r--r-- 1 root root 11308128 Sep  7 16:43 chadic.dat
-rw-r--r-- 1 root root  7022308 Sep  7 16:43 chadic.lex
-rw-r--r-- 1 root root  2465536 Nov  8  2008 connect.cha
-rw-r--r-- 1 root root     1829 Nov  8  2008 ctypes.cha
-rw-r--r-- 1 root root     1321 Nov  8  2008 grammar.cha
-rw-r--r-- 1 root root    97595 Sep  7 16:43 matrix.cha
-rw-r--r-- 1 root root 25866969 Nov  8  2008 naist-jdic.dic
-rw-r--r-- 1 root root   155438 Sep  7 16:43 table.cha
-rw-r--r-- 1 root root       31 Nov  8  2008 version.cha

$ ls -l /usr/share/chasen/dic/naist-jdic-utf8
-rw-r--r-- 1 root root    23182 Sep  7 16:43 cforms.cha
-rw-r--r-- 1 root root 13189176 Sep  7 16:44 chadic.da
-rw-r--r-- 1 root root 14123450 Sep  7 16:44 chadic.dat
-rw-r--r-- 1 root root  7022308 Sep  7 16:44 chadic.lex
-rw-r--r-- 1 root root  3183151 Sep  7 16:43 connect.cha
-rw-r--r-- 1 root root     2478 Sep  7 16:43 ctypes.cha
-rw-r--r-- 1 root root     1623 Sep  7 16:43 grammar.cha
-rw-r--r-- 1 root root    97595 Sep  7 16:44 matrix.cha
-rw-r--r-- 1 root root 34535902 Sep  7 16:43 naist-jdic.dic
-rw-r--r-- 1 root root   201503 Sep  7 16:44 table.cha

さらに、これらは /var/lib/chasen/dic からリンクがはられている。

$ ls -l /var/lib/chasen/dic/naist-jdic
lrwxrwxrwx 1 root root 43 Sep  7 16:43 cforms.cha -> /usr/share/chasen/dic/naist-jdic/cforms.cha
lrwxrwxrwx 1 root root 42 Sep  7 16:43 chadic.da -> /usr/share/chasen/dic/naist-jdic/chadic.da
lrwxrwxrwx 1 root root 43 Sep  7 16:43 chadic.dat -> /usr/share/chasen/dic/naist-jdic/chadic.dat
lrwxrwxrwx 1 root root 43 Sep  7 16:43 chadic.lex -> /usr/share/chasen/dic/naist-jdic/chadic.lex
lrwxrwxrwx 1 root root 44 Sep  7 16:43 connect.cha -> /usr/share/chasen/dic/naist-jdic/connect.cha
lrwxrwxrwx 1 root root 43 Sep  7 16:43 ctypes.cha -> /usr/share/chasen/dic/naist-jdic/ctypes.cha
lrwxrwxrwx 1 root root 44 Sep  7 16:43 grammar.cha -> /usr/share/chasen/dic/naist-jdic/grammar.cha
lrwxrwxrwx 1 root root 43 Sep  7 16:43 matrix.cha -> /usr/share/chasen/dic/naist-jdic/matrix.cha
lrwxrwxrwx 1 root root 47 Sep  7 16:43 naist-jdic.dic -> /usr/share/chasen/dic/naist-jdic/naist-jdic.dic
lrwxrwxrwx 1 root root 42 Sep  7 16:43 table.cha -> /usr/share/chasen/dic/naist-jdic/table.cha
lrwxrwxrwx 1 root root 44 Sep  7 16:43 version.cha -> /usr/share/chasen/dic/naist-jdic/version.cha

$ ls -l /var/lib/chasen/dic/naist-jdic-utf8/
lrwxrwxrwx 1 root root 48 Sep  7 16:44 cforms.cha -> /usr/share/chasen/dic/naist-jdic-utf8/cforms.cha
lrwxrwxrwx 1 root root 47 Sep  7 16:44 chadic.da -> /usr/share/chasen/dic/naist-jdic-utf8/chadic.da
lrwxrwxrwx 1 root root 48 Sep  7 16:44 chadic.dat -> /usr/share/chasen/dic/naist-jdic-utf8/chadic.dat
lrwxrwxrwx 1 root root 48 Sep  7 16:44 chadic.lex -> /usr/share/chasen/dic/naist-jdic-utf8/chadic.lex
lrwxrwxrwx 1 root root 49 Sep  7 16:44 connect.cha -> /usr/share/chasen/dic/naist-jdic-utf8/connect.cha
lrwxrwxrwx 1 root root 48 Sep  7 16:44 ctypes.cha -> /usr/share/chasen/dic/naist-jdic-utf8/ctypes.cha
lrwxrwxrwx 1 root root 49 Sep  7 16:44 grammar.cha -> /usr/share/chasen/dic/naist-jdic-utf8/grammar.cha
lrwxrwxrwx 1 root root 48 Sep  7 16:44 matrix.cha -> /usr/share/chasen/dic/naist-jdic-utf8/matrix.cha
lrwxrwxrwx 1 root root 52 Sep  7 16:44 naist-jdic.dic -> /usr/share/chasen/dic/naist-jdic-utf8/naist-jdic.dic
lrwxrwxrwx 1 root root 47 Sep  7 16:44 table.cha -> /usr/share/chasen/dic/naist-jdic-utf8/table.cha

unidic をデフォルトの configure で入れた状態だとこうなる。

$ ls /var/lib/chasen/dic
debian/  naist-jdic/  naist-jdic-utf8/
$ ls -1 /var/lib/chasen/dic/debian/unidic/
cforms.cha
chadic.da
chadic.dat
chadic.lex
chasenrc
chasenrc_chaone
ctypes.cha
grammar.cha
matrix.cha
table.cha

naist-jdic の動作確認

$ LANG=ja_JP.utf-8 ; echo "今日はいい天気です。" | nkf -W | chasen
chasen: /var/lib/chasen/dic/debian/grammar.cha: No such file or directory

chasenrc の GRAMMER の値と辞書のある場所を対応させる必要がある。

chasen -h で確認すると、以下のとおり。

    -r rc-file     use rc-file as a chasenrc file other than the default
    -R             with -D, do not read chasenrc file, without -D, read the
                   default chasenrc file `/etc/chasenrc'

$ ls -l /etc/chasenrc
lrwxrwxrwx 1 root root 26 2009-09-07 16:43 /etc/chasenrc -> /etc/alternatives/chasenrc
$ ls -l /etc/alternatives/chasenrc 
lrwxrwxrwx 1 root root 31 2009-09-07 16:44 /etc/alternatives/chasenrc -> /usr/share/chasen/chasenrc-utf8
$ ls -l /usr/share/chasen/chasenrc-utf8 
-rw-r--r-- 1 root root 2317 2009-09-07 16:43 /usr/share/chasen/chasenrc-utf8

utf8 版の設定がデフォルト。

/usr/share/chasen/chasenrc-utf8 によると

(GRAMMAR  /var/lib/chasen/dic/debian)

なので上記のエラーになってしまう。

kterm で euc-jp 文字列のテスト。

_text というファイル名で解析対象のテキスト(EUC-JP)を与える。

/usr/share/chasen/chasenrc をコピーして修正した naist-jdic-chasenrc を作成する。

$ cat _text
今日はいい天気です。

$ grep GRAMMAR naist-jdic-chasenrc
;(GRAMMAR  /var/lib/chasen/dic/debian)
(GRAMMAR  /var/lib/chasen/dic/naist-jdic)

$ cat _text | chasen -ie -r naist-jdic-chasenrc
今日    キョウ  今日    名詞-副詞可能
は      ハ      は      助詞-係助詞
いい    イイ    いう    動詞-自立       五段・ワ行促音便        連用形
天気    テンキ  天気    名詞-一般
です    デス    です    助動詞  特殊・デス      基本形
。      。      。      記号-句点
EOS

「端末」(UTF-8) で同じようにテスト。 /usr/share/chasen/chasenrc-utf8 をコピーして修正した naist-jdic-chasenrc-utf8 を作成する。

$ cat _text_utf8 
今日はいい天気です。

$ grep GRAMMAR naist-jdic-chasenrc-utf8
(GRAMMAR  /var/lib/chasen/dic/naist-jdic-utf8)

$ cat _text_utf8 | chasen -iw -r naist-jdic-chasenrc-utf8
今日	キョウ	今日	名詞-副詞可能		
は	ハ	は	助詞-係助詞		
いい	イイ	いう	動詞-自立	五段・ワ行促音便	連用形
天気	テンキ	天気	名詞-一般		
です	デス	です	助動詞	特殊・デス	基本形
。	。	。	記号-句点		
EOS

unidic の動作確認

$ cp /var/lib/chasen/dic/debian/unidic/chasenrc unidic-chasenrc

下記のように修正

$ grep GRAMMAR unidic-chasenrc
(GRAMMAR /var/lib/chasen/dic/debian/unidic/)

$ cat _text_utf8 | chasen -iw -r unidic-chasenrc
今日	キョー	名詞-普通名詞-副詞可能			
lForm="キョウ" lemma="今日" orthBase="今日" pronBase="キョー" 
kanaBase="キョウ" formBase="キョウ" goshu="和" aType="1" aConType="C3"
は	ワ	助詞-係助詞			
lForm="ハ" lemma="は" orthBase="は" pronBase="ワ" kanaBase="ハ" 
formBase="ハ" goshu="和" aConType="動詞%F2@0,名詞%F1,形容詞%F2@-1"
いい	イー	形容詞-非自立可能	形容詞	連体形-一般	
lForm="ヨイ" lemma="良い" orthBase="いい" pronBase="イー" kanaBase="イイ" 
formBase="イイ" goshu="和" aType="1" aConType="C3"
天気	テンキ	名詞-普通名詞-一般			
lForm="テンキ" lemma="天気" orthBase="天気" pronBase="テンキ" 
kanaBase="テンキ" formBase="テンキ" goshu="漢" aType="1" aConType="C1"
です	デス	助動詞	助動詞-デス	終止形-一般	
lForm="デス" lemma="です" orthBase="です" pronBase="デス" 
kanaBase="デス" formBase="デス" goshu="和" aConType="形容詞%F2@-1,動詞%F2@0,名詞%F2@1"
。		補助記号-句点			
lForm="" lemma="。" orthBase="。" pronBase="" kanaBase="" formBase="" goshu="記号"
EOS

実行結果は1行が長いので改行を入れてある。

chaone モードの動作確認

GalateaTalk で unidic を利用する場合は、chaone 入力形式に合わせる必要がある。 chasenrc_chaone を使うことでこれが可能になる。

chasenrc_chaone はなぜか正しく GRAMMAR が指定されていた。

$ cat _text_utf8 | chasen -iw -r /var/lib/chasen/dic/debian/unidic/chasenrc_chaone 
<cha:W1 orth="今日" kana="{キョウ/コンニチ}" pron="{キョー/コンニチ}" 
pos="名詞-普通名詞-副詞可能" lForm="{キョウ/コンニチ}" lemma="今日" 
orthBase="今日" pronBase="{キョー/コンニチ}" kanaBase="{キョウ/コンニチ}" 
formBase="{キョウ/コンニチ}" goshu="{和/漢}" aType="1" aConType="{C3/C1}">今日</cha:W1>
<cha:W1 orth="は" kana="ハ" pron="ワ" pos="助詞-係助詞" lForm="ハ" 
lemma="は" orthBase="は" pronBase="ワ" kanaBase="ハ" formBase="ハ" 
goshu="和" aConType="動詞%F2@0,名詞%F1,形容詞%F2@-1">は</cha:W1>
<cha:W1 orth="いい" kana="イイ" pron="イー" pos="形容詞-非自立可能" 
cType="形容詞" cForm="連体形-一般" lForm="ヨイ" lemma="良い" 
orthBase="いい" pronBase="イー" kanaBase="イイ" formBase="イイ" 
goshu="和" aType="1" aConType="C3">いい</cha:W1>
<cha:W1 orth="天気" kana="テンキ" pron="テンキ" 
pos="名詞-普通名詞-一般" lForm="テンキ" lemma="天気" orthBase="天気" 
pronBase="テンキ" kanaBase="テンキ" formBase="テンキ" goshu="漢" 
aType="1" aConType="C1">天気</cha:W1>
<cha:W1 orth="です" kana="デス" pron="デス" pos="助動詞" cType="助動詞-デス" 
cForm="終止形-一般" lForm="デス" lemma="です" orthBase="です" pronBase="デス" 
kanaBase="デス" formBase="デス" goshu="和" 
aConType="形容詞%F2@-1,動詞%F2@0,名詞%F2@1">です</cha:W1>
<cha:W1 orth="。" kana="" pron="" pos="補助記号-句点" lForm="" 
lemma="。" orthBase="。" pronBase="" kanaBase="" formBase="" goshu="記号">。</cha:W1>

ja.nishimotz.com

目次

ChaSen

Ubuntu Linux における chasen

naist-jdic の動作確認

unidic の動作確認

chaone モードの動作確認