コーパスの整形とSudachiによる分かち書き―RNNで文章生成〈４〉

import zipfile
from pathlib import Path

zip_dir_path = '../path/to/zipfiles_dir/books_zip'

# zipファイルからテキストを読み込み
for zip_path in Path(zip_dir_path).glob('*.zip'):
    with zipfile.ZipFile(zip_path, 'r') as zip_file:
        infos = zip_file.infolist()
        # zipファイルに中身が存在し、テキストファイルだった場合のみ処理を続ける
        if not infos or not infos[0] or not infos[0].filename.endswith('.txt'):
            continue
        raw_text = zip_file.read(infos[0]).decode('shift_jis')

自信の無さ
太宰治

-------------------------------------------------------
【テキスト中に現れる記号について】

《》：ルビ
（例）下手《へた》

［＃］：入力者注　主に外字の説明や、傍点の位置の指定
（例）前例の無い［＃「前例の無い」に傍点］
-------------------------------------------------------

　本紙（朝日新聞）の文芸時評で、長与先生が、私の下手《へた》な作品を例に挙げて、現代新人の通性を指摘して居られました。
　...(中略)...
卑屈の克服からでは無しに、卑屈の素直な肯定の中から、前例の無い［＃「前例の無い」に傍点］見事な花の咲くことを、私は祈念しています。



底本：「太宰治全集10」ちくま文庫、筑摩書房
　　　1989（平成元）年6月27日第1刷発行
　　　1998（平成10）年6月15日第4刷発行
...(中略)...
青空文庫作成ファイル：
このファイルは、インターネットの図書館、青空文庫（http://www.aozora.gr.jp/）で作られました。入力、校正、制作にあたったのは、ボランティアの皆さんです。

import re

# 青空文庫のテキストの整形
def aozora_normalizer(raw_text):
    # タイトル・著者名を削除
    text = re.sub(r'\A.*?\n.*?\n', '', raw_text)
    # 空白・改行を削除
    text = re.sub(r' |　|\n|\r', '', text)
    # ルビ説明文を削除
    text = re.sub(r'-{55}.*?-{55}', '', text)
    # 末尾の文を削除
    text = re.sub(r'底本：.*\Z', '', text)
    # かっこ等の記号を削除
    text = re.sub(r'《.*?》|｜|［.*?］|〔|〕|＃|※', '', text)

    return text

本紙（朝日新聞）の文芸時評で、長与先生が、私の下手な作品を例に挙げて、現代新人の通性を指摘して居られました。...(中略)...卑屈の克服からでは無しに、卑屈の素直な肯定の中から、前例の無い見事な花の咲くことを、私は祈念しています。

A: 国家　公務　員
B: 国家　公務員
C: 国家公務員

from sudachipy import tokenizer
from sudachipy import dictionary

# トークナイザの作成
tokenizer_obj = dictionary.Dictionary().create()
mode = tokenizer.Tokenizer.SplitMode.C

# 単語分割処理
morphemes = tokenizer_obj.tokenize(normalized_text, mode)
tokens = [m.normalized_form() for m in morphemes]
tokenized_text = ' '.join(tokens)

本紙 （ 朝日新聞 ） の 文芸 時評 で 、 長与 先生 が 、 私 の 下手 だ 作品 を 例 に 上げる て 、 現代 新人 の 通性 を 指摘 為る て 居る られる ます た 。...(中略)... 卑屈 の 克服 から だ は 無し に 、 卑屈 の 素直 だ 肯定 の 中 から 、 前例 の 無い 見事 だ 花 の 咲く こと を 、 私 は 祈念 為る て 居る ます 。

import re
import zipfile
from pathlib import Path
from sudachipy import tokenizer
from sudachipy import dictionary

zip_dir_path = '../path/to/zipfiles_dir/books_zip'

# トークナイザの作成
tokenizer_obj = dictionary.Dictionary().create()
mode = tokenizer.Tokenizer.SplitMode.C

# 青空文庫のテキストの整形
def aozora_normalizer(raw_text):
    ... # 省略

# zipファイルからテキストを読み込み
for zip_path in Path(zip_dir_path).glob('*.zip'):
    with zipfile.ZipFile(zip_path, 'r') as zip_file:
        infos = zip_file.infolist()
        if not infos or not infos[0] or not infos[0].filename.endswith('.txt'):
            continue
        raw_text = zip_file.read(infos[0]).decode('shift_jis')

        # テキストを整形
        normalized_text = aozora_normalizer(raw_text)

        # 単語分割処理
        morphemes = tokenizer_obj.tokenize(normalized_text, mode)
        tokens = [m.normalized_form() for m in morphemes]
        tokenized_text = ' '.join(tokens)