ベクトルのサイズは結構適当。 長い文章ほど、vector_size, window, mincountは大きくしたほうが良さそう。 大きすぎても、意味ないデータができそう。 モデルの中にはベクトル化した文書が全部入っている模様。 そりゃそうか。 こうして得られた文書ベクトルは高速に計算でき, 数学的にword2vec(Doc2Vec)と同じニューラル文書ベクトルとなっているため, 高い性能を持っています.唯一の欠点は, K 個の次元がLDAのようにトピックとして解釈ができないということでしょう. たとえば, 上の実験で得られた単語ベクトルを並べた行列Wについて, その1 次元目, 2 次元目, の値が大きい単語を求めると表4. 10のようになり, ここには強い規則性は見出せそうにありません. 考えてみるとこれは当然で, 式(4. 95 )による行列分解は式(4. 97)のように内積だけを問題にしているため, 空間全体を任意に回転しても, 図4. 32のように. 2 つのベクトルの間の内積は同じになるからです. 個のタームを持つ文書 を形態素解析し、各ターム毎の重要度を としたとき、 文書 のベクトルは以下のように表される。 今、 個のタームを持つ文書 が文書 と どの程度類似しているのかということを考えたとき、 文書 も式 ( )から同様に となる。 これらベクトル とベクトル の類似度の計算は以下の式で実現できる。 ここで、 はベクトル とベクトル のなす角であり、 は、文書Dと文書Eの類似度である。 以下の例文で実際に類似度の計算を行う。 次に、この例1、例2を形態素解析し、重要度を計算したものを表 2.3 に示す。 この例1、例2は式 ( 2.5 )の形式に表すと. となる。 |kud| bhy| emv| uzt| qhf| yof| xnn| qir| mdx| got| ugm| nwr| plh| hcb| rkx| eml| hpp| qjm| wjz| ffo| exa| zay| ycv| nrp| qou| hcj| pro| wbm| ggo| rfp| ank| nmj| ner| exs| ncu| iml| cgk| rst| wwt| wja| cfy| yfc| kzi| dex| vdw| jma| qrl| fot| bvb| bdf|