えぬえるぴーや 1ねんせい

Event:

みんなのPython勉強会#82

Presented:

2022/06/09 nikkie

BERT以後の自然言語処理入門を話します

• いい感じのタイトルは「えぬえるぴーや 1ねんせい」となりました

• 元ネタは こちら （香川照之さん）

• BERTを ばーっと理解 しましょう

注意事項

• 「私ここ知ってる！」と感じたところは 飛ばして もらってかまいません（通読の必要なし）

• 自然言語処理・機械学習が初めてでもBERTの一歩目が踏み出せるように構成しましたが、 情報量は多く なっています

  • 理解に時間をかけよう（プログラミングというより物事が出来るようになる思考法）

主な参考書籍

1. 『自然言語処理の基本と技術』(2016)

2. 『BERTによる自然言語処理入門』(2021)

3. 『Pythonによるあたらしいデータ分析の教科書』(2018)

自然言語（📚[1] 1-1）

• 私たちがふだん書いたり話したりする言語（例：日本語、英語）

• 人間の歴史の中で 自然 に発達してきた

自然言語ではない言語（📚[1] 1-1）

• プログラミング言語

• 人工言語（例： エスペラント語 ）

• e.t.c.

自然言語処理（📚[2] 1-1）

自然言語の関わる問題を コンピュータで解く

感情分析タスク

• 文書が ポジティブかネガティブか を判定

  • 👉（単純な文書として）この文はポジティブ？それともネガティブ？

• 極性判定とも言われる

ポジティブな単語、ネガティブな単語の一覧

• 日本語極性評価辞書

• https://www.cl.ecei.tohoku.ac.jp/Open_Resources-Japanese_Sentiment_Polarity_Dictionary.html から入手可能

ポジティブな単語、ネガティブな単語の一覧

• tsvファイル として読み込む（Pythonのcsvモジュール）

ネガ（経験）      あきらめる
ネガ（評価）    あざとい
ポジ（経験）    あこがれる
ポジ（評価）    あか抜ける

単語から付与する文の感情スコア

• 文書の極性＝ 単語の極性の総和

  • ポジティブな単語があれば+1

  • ネガティブな単語があれば-1

  • （極性辞書にない単語は何もしない）

文の感情スコア例

• 10語からできた文

• ポジティブな単語が 3、ネガティブな単語が 1

• 感情スコアは+2（ +3+(-1) ）

形態素解析＝単語分割＋品詞付与（📚[1] 2-5）

• 単語分割＝分かち書き

• 品詞：名詞、動詞など

分かち書きの例

吾輩/は/猫/で/ある/。
名前/は/まだ/無い/。
どこ/で/生れ/た/か/と/んと/見当/が/つか/ぬ/。

fugashi (MeCab) + unidic の結果

「オープンソース 形態素解析エンジン」MeCab

言語, 辞書,コーパスに依存しない汎用的な設計

• https://taku910.github.io/mecab/

• mecab コマンドで単語分割と品詞付与できる

Pythonで形態素解析

• ライブラリにより、 Pythonから MeCabを使える

• fugashi を紹介（ラッパーライブラリ）

• 他の言語でも https://taku910.github.io/mecab/bindings.html

fugashi による分かち書き

from fugashi import Tagger

tagger = Tagger("-Owakati")

texts = ["吾輩は猫である。", "名前はまだ無い。", "どこで生れたかとんと見当がつかぬ。"]
for text in texts:
    print("/".join(word.surface for word in tagger(text)))

付与する品詞情報の利用例

• 文中の単語は活用されている（例：ウケた）

• 品詞情報を使って、辞書に載っている形式＝ 原形に戻せる （例：ウケる） ※極性評価辞書の関係

• 今回はunidicという辞書を使っています

原形に揃える例

我が輩/は/猫/だ/有る/。
名前/は/未だ/無い/。
何処/で/生まれる/た/か/と/うんと/見当/が/付く/ず/。

fugashi (MeCab) + unidic の結果

タスクへのアプローチの変化

• 吾猫の例で示したのは 人手 🙋‍♂️によるルールを使ったアプローチ

• ルールをデータから見つける技術である 機械学習 も使われる

教師あり学習（分類も該当）

• モデルで予測したい変数（＝目的変数）は 正解ラベル

• 特徴量 （＝説明変数）を使って、モデルを訓練

• ※機械学習の用語の説明は📚[3] 1.2.3をどうぞ

機械学習でテキストを扱うには（📚[2] 1-2）

1. テキストからタスクを解くのに有用な特徴量を抽出する

• テキストを数値に変換 する必要がある（次で例示）

2. 特徴量でモデルを訓練

脱線：ニュースグループって？

• ネットニュースのグループ

• ネットニュース≒電子掲示板

• 「今で言うTwitterみたいなものね」

ニュースグループの投稿をカテゴリに分類

• scikit-learnのチュートリアル Working With Text Data から

  • 機械学習アルゴリズムや評価用ツールが集まったライブラリ（📚[3] 1.3.2）

データから特徴量を抽出

• テキスト（＝文書）＝ 文 の集合

• 個々の文は 単語 から構成される

• テキストに含まれる単語を使って、テキストを数値で表す

テキストを単語に関する数値で表す（📚[3] 5.2.3）

2つのテキスト

• 子供が走る

• 子供の脇を車が走る

単語：子供/走る/車/脇/が/の/を

テキストを単語に関する数値で表す（📚[3] 5.2.3）

• 子供が走る

  • テキストを構成する単語 子供/走る/が に何らかの数値

  • このテキストに登場しない 車/脇/の/を は0で表す

• (子供/ 走る /車/脇/ が /の/を) = (? / ? /0/0/ ? /0/0)

テキストを単語に関する数値で表す（📚[3] 5.2.3）

• 子供の脇を車が走る

  • テキストを構成する単語 子供/走る/車/脇/が/の/を に何らかの数値

• (子供/走る/車/脇/が/の/を) = (?/?/?/?/?/?/?)

TFIDFで特徴量抽出

• 1つ1つの投稿は、35788個の数値の並びで表される（ベクトル）

• 投稿に含まれる単語はTFIDFの値、含まれない単語は0

TFIDFで特徴量抽出

• 例: 'OpenGL on the GPU is fast'

gpu god opengl  ... (35000語分並ぶ)
0.67    0   0.60

openglやgpuはこのテキストに特徴的ということ

特徴量でモデルを訓練

• 特徴量：2257本 × 35788個の数値 & 正解ラベル

• 教師あり学習の設定で、モデルを作る

• ＝ 特徴量から投稿分類ルールを自動で求める

モデルの気持ち

• このカテゴリは、これらの語のTFIDFが高いぞ！

• 別のカテゴリは、別の語たちのTFIDFが高いぞ！

• ただし、機械学習は、ルールを適用した結果、 間違える可能性 がついて回ります

コード例

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.neural_network import MLPClassifier

categories = ["alt.atheism", "soc.religion.christian", "comp.graphics", "sci.med"]

twenty_train = fetch_20newsgroups(  # ニュースグループの投稿4カテゴリ分（正解ラベル付き）
    subset="train", categories=categories, shuffle=True, random_state=42
)
tfidf_vect = TfidfVectorizer()
X_train_tfidf = tfidf_vect.fit_transform(twenty_train.data)  # TFIDFで特徴量抽出

clf = MLPClassifier()
clf.fit(X_train_tfidf, twenty_train.target)

モデルの実力、見せてもらおう！

短い投稿をモデルで分類してみます

'God is love' -> soc.religion.christian
# 宗教カテゴリに分類された

'OpenGL on the GPU is fast' -> comp.graphics
# コンピュータカテゴリに分類された

ニューラルネットワーク（📚[2] 2-2）

• 機械学習アルゴリズムの1つ（先に示した）

• 変換を行う層 を（何層も） 組合せる

言語モデル（📚[2] 2-1）

• 文章の 出現しやすさ を確率によってモデル化

  • 「私はパンを食べた」>「私はパンに食べた」>「私は家を食べた」

• この確率は文章の 自然さ とも見なせる

ニューラル言語モデルの訓練

• 言語モデルとなるニューラルネットワークを訓練する

• 自然言語から ラベル付きデータを自動で作れる

  • 例：それまでの単語たちから次の単語を予測

ニューラルネットワークへの入力

• 単語を 整数ID に変換だけして入力

  • 例： 7184, 30046, 9, 6040, 12, 31, 8

• 各単語（ID）をどのようなベクトルとして扱うかも自動で見つける

Transformer（📚[2] 3-1）

• 2017年の論文「Attention is All You Need」で提案されたモデル

• BERTはTransformerで提案されたニューラルネットワークを用いる

BERT

• 2018年発表、Bidirectional Encoder Representations from Transformersの略

• BERTもニューラル言語モデル

• 1つのモデルで複数のタスクを扱える のが革新的

余談：BERTは コンビニ

• NLP2022チュートリアル で聞いた喩え

• BERTは汎用モデルで、かつタスク固有のモデルを凌いだ

• BERT（コンビニの鰻・天ぷら）／タスク固有モデル（鰻屋の鰻・天ぷら屋の天ぷら）

コードはこれだけ！

from transformers import pipeline

nlp = pipeline(
    "sentiment-analysis",
    model="daigo/bert-base-japanese-sentiment",
    tokenizer="daigo/bert-base-japanese-sentiment",
    truncation=True,
)

texts = ["吾輩は猫である。", "名前はまだ無い。", "どこで生れたかとんと見当がつかぬ。"]
for text in texts:
    print(nlp(text))

BERTによる感情分析結果

吾輩は猫である。
-> [{'label': 'ポジティブ', 'score': 0.9909781217575073}]

名前はまだ無い。
-> [{'label': 'ポジティブ', 'score': 0.5273743867874146}]
（ネガティブが0.47なので、自信がない）

どこで生れたかとんと見当がつかぬ。
-> [{'label': 'ネガティブ', 'score': 0.9475129842758179}]

コードの裏で行われていること

• 日本語の感情分析BERTの ファイル群 をダウンロード

  • https://huggingface.co/daigo/bert-base-japanese-sentiment/tree/main

• ファイル群をモデルや トークナイザ として 読み込む

事前学習

• 計算コストはめちゃかかる（一例： TPUを使って5日間）

• 誰かが一回 やればOK

• 事前学習済みのモデルがトークナイザと一緒に 公開 されている（例：東北大学乾研究室）

テキスト中のマスクした単語を埋めるタスク

• これはBERTの事前訓練で使った形式（単語がマスクされる）

• 私は[MASK]を食べた

• 私はパン[MASK]食べた

事前学習済みの日本語BERTでマスク埋め

from pprint import pprint
from transformers import pipeline

nlp = pipeline("fill-mask", model="cl-tohoku/bert-base-japanese-v2")

pprint(nlp("私は[MASK]を食べた"))
pprint(nlp("私はパン[MASK]食べた"))

オススメのファインチューニングアプローチ

• transformersリポジトリにある examplesスクリプト を利用

• コードを書かずに ファインチューニングできます（ref: NLP2022 チュートリアル）

• モデル自体を定義するアプローチもありますが、nikkieはあんまりやりません（車輪の再発明はしないという立場）

コードを書くケース

• examplesスクリプトが想定している形式にデータを 変換 するためのコードは（必要なときだけ）書きます

ファインチューニング例

• token-classification（トークンに関する分類）

• トークン＝文の構成要素（単語もしくは単語より小さいサブワード）

固有表現抽出（NER）

• トークンが 固有表現 か分類

  • 固有表現：固有名詞（人名・地名など）や日付・時間・金額（📚[1] 7-1）

  • 人名や法人名など複数のカテゴリがある

日本語BERTをファインチューニング

• Colabでファインチューニングしたnotebook

  • データ https://github.com/stockmarkteam/ner-wikipedia-dataset の形式だけ加工

  • transformersのexamplesスクリプトを実行

ご清聴ありがとうございました

Happy NLP with BERT!