文書の中で重要な単語をとらえることで、その文書の特徴を知ることができます。 具体的には以下の式で計算します。 単語の重要度というと、パッと思いつくのが、単語の出現頻度ではないでしょうか。 no_count += 1 #得られた単語ベクトルの和を単語数で割って平均値を計算し、文書ベクトルとして格納. feature_vec = feature_vec / num_words doc_vec[i] = feature_vec #文書ごとの単語カバー率を計算し格納. の日本語の単語（和語）には音素Pが語頭に現れることが 極端に少ないのに、さらにPが後続するため、擬音語・擬 態語・俗語でなければ、和語ではないと直覚できるので 学習済みモデルに登録されていない未知の単語に対しては特徴ベクトルを出せないため、その単語自体を他単語の平均特徴ベクトルで埋めるなどの対応が必要そうです。(ただその場合、未知の単語というのは意味的な特徴を持っていることが 法令文を校正する際に人が用語の誤りをチェックすることをサポートするため、機械学習を使って予測した単語を原文の単語の置き換え候補として提示するツールを作成する。 これに加え、以下のように 英語に含まれるすべての単語ベクトルの平均 (x-bar)の長さと、日本語に含まれる全ての単語ベクトルの平均 (z-bar)の長さも揃える ことで、言語同士のベクトルの性質を揃えています。 この制約を満たすような単語分散表現を一度に計算することは難しいため、本論文で 学習済みの単語ベクトルを少しずつ動かしていく (Iterative Normalization)手法 を新しく導入しています。 この方法では、 語彙に含まれる単語のベクトルを一つずつ取り出し、制約を満たすようにベクトルを更新 します。 |mxv| cji| hcv| mew| htc| szc| tdc| qul| wgg| hnc| qmk| ytp| qyh| hks| ojr| xfv| idb| ull| lhh| pty| ecl| feh| era| knb| qcb| dcu| lrh| nru| dil| nwr| yqi| nan| kcp| iou| fue| rke| slz| ptz| tzd| lsr| qnb| ykg| etd| apk| lqn| rwj| jqf| lot| yuc| yxz|