gensim を使ってみる

前準備

Python のインストール（Windows 上）

Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール: 別ページ »で説明

【サイト内の関連ページ】

Python のまとめ: 別ページ »にまとめ

【関連する外部ページ】

Word2Vec に関するサンプルプログラムを動かしてみる

次のページで公開されているプログラムを使用する．

上のページの注意書きにもある通り，2G バイトのファイルがダウンロードされます．

データのダウンロードと語彙の確認

import gensim.downloader as api
wv = api.load('word2vec-google-news-300')

for i, word in enumerate(wv.vocab):
    if i == 10:
        break
    print(word)

単語ベクトルの表示

words = ['car', 'minivan', 'bicycle', 'airplane', 'cereal', 'communism']
for w in words:
    print(wv[w])

2単語間の類似度

pairs = [
    ('car', 'minivan'),   # a minivan is a kind of car
    ('car', 'bicycle'),   # still a wheeled vehicle
    ('car', 'airplane'),  # ok, no wheels, but still a vehicle
    ('car', 'cereal'),    # ... and so on
    ('car', 'communism'),
]
for w1, w2 in pairs:
    print('%r\t%r\t%.2f' % (w1, w2, wv.similarity(w1, w2)))

単語の類似検索

print(wv.most_similar(positive=['car', 'minivan'], topn=5))

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページ »で説明再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ） [image]

gensim を使ってみる

前準備

Python のインストール（Windows 上）

gensim パッケージのインストール

Word2Vec に関するサンプルプログラムを動かしてみる