自然言語処理でMeCab,neologdを利用するまで詰まったところ
環境
導入までの参考資料
自然言語処理概論
mecab-neologd
- http://yukinoi.hatenablog.com/entry/2015/10/11/205006
- https://www.slideshare.net/yukinoi/pythonneologdn
詰まったところ
問題1:neologdnインストールできない!
出会ったエラーはgcc周りで 1. gccがC++11で記述されたコードに対応してないからバージョンを上げる必要がある。 1. anaconda環境の場合、コンパイラがgccではなくclangを見にいってしまっている。
↓以下homebrewでのgccのバージョン切り替え方法 ※/usr/local/binであればSIPは切らなくてもリンボリックリンクは貼れます。
概要:
1.gccのバージョン確認 2.gccの最新バージョンにする 3.シンボリックを貼る ↓こんな感じ ln -s /usr/local/bin/gcc-7 /usr/local/bin/gcc 4.neologdnインストール
問題2: 謎のエラーが発生する。UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfc in position 0:
tagger = MeCab.Tagger() tagger.parse('') #追加
空parseを追加するとエラーが出なくなる。