日本語処理，言語処理

Mecab，日本語の分かち書き，形態素解析，TF/IDF

• Juman++ を使ってみる（Google Colab あるいは Ubuntu 上）
• Web ページのダウンロード，単語に切り分け，形態素解析（Python, Mecab, BeautifulSoap を使用）
• R システムで形態素解析，TF/IDF （RMecab を使用）

辞書，Bag of Words，TF/IDF，Latent Semantic Indexing，Latent Dirichlet Allocation，類似検索

• 日本語文のコーパス（ドキュメントの集まり）から 辞書，Bag of Words, Latent Semantic Indexing (LSI)，Latent Dirichlet Allocation (LDA) を作る（Python，gensim を使用）
• 英文のコーパス（ドキュメントの集まり）から 辞書，Bag of Words, Latent Semantic Indexing (LSI)，Latent Dirichlet Allocation (LDA) を作る
• 日本語文のドキュメントの類似検索（Latent Semantic Indexing による）（Python，gensim を使用）
• 日本語文のドキュメントの類似検索（Latent Dirichlet Allocation による）（Python，gensim を使用）

• document2vec.html
• gensim.html