python训练work2vec词向量实例(python gensim)

小编 2026-06-30 阅读:1433 评论:0
前期工作可参阅: 1.python work2vec词向量训练可参考 https://blog.csdn.net/shuihupo/article/details/85156544词向量训练 2.wor...

前期工作可参阅:

1.python work2vec词向量训练可参考 https://blog.csdn.net/shuihupo/article/details/85156544词向量训练

2.word2vec词向量中文语料处理(python gensim word2vec总结) 可参考 https://mp.csdn.net/postedit/85162237汇总数种语料加载方式。
之前的博客讲的比较详细,这篇博客则直接上例子了,有疑问的翻看之前的语料处理和词向量训练。

python训练work2vec词向量实例

word2vec中文语料处理及模型训练实践

实践部分代码改编自链接)原始小说语料下载《人民的名义》

将代码中路径改为小说文本存放路径

#!/Mypython python3.5
# -*- coding: utf-8 -*-
# @Time    : 2018/12/21 16:49
# @Author  : LinYimeng
# @Site   : 
# @File   : word2vec_test.py
# @Software: PyCharm
import multiprocessing
import jieba
import jieba.analyse
from gensim.test.utils import common_texts, get_tmpfile
from gensim.models import Word2Vec
with open(\'C:\\\\Users\\Administrator\\Desktop\\\\in_the_name_of_people\\in_the_name_of_people.txt\',encoding=\'utf-8\') as f:
    document = f.read()
    document_cut = jieba.cut(document)
    result = \' \'.join(document_cut)
    print(\"type\",type(result))
    with open(\'./in_the_name_of_people_segment.txt\', \'w\',encoding=\"utf-8\") as f2:
        f2.write(result)

# import logging
import os
from gensim.models import word2vec

# logging.basicConfig(format=\'%(asctime)s : %(levelname)s : %(message)s\', level=logging.INFO)

sentences = word2vec.LineSentence(\'./in_the_name_of_people_segment.txt\')
path = get_tmpfile(\"word2vec.model\") #创建临时文件
model = Word2Vec(sentences, size=200, window=5, min_count=1,
                 workers=multiprocessing.cpu_count())
path = get_tmpfile(\"w2v_model.bin\") #创建临时文件
path1 = get_tmpfile(\"w2v_vector.bin\") #创建临时文件
model.save(\"w2v_model.bin\")
model.wv.save(\"w2v_vector.bin\")
for key in model.wv.similar_by_word(\'人民\', topn =10):
    print(key)
#for key in model.similar_by_word(\'人民\',topn=10):
#        print(key)

(\'钱\', 0.9998364448547363)
(\'但\', 0.9998363256454468)
(\'倒\', 0.9998291730880737)
(\'以后\', 0.99982750415802)
(\'回来\', 0.9998223185539246)
(\'工作\', 0.999817967414856)
(\'赵家\', 0.9998155236244202)
(\'赵瑞龙\', 0.9998130798339844)
(\'打\', 0.9998125433921814)
(\'一次\', 0.9998101592063904)

 

版权声明

本文仅代表作者观点,不代表百度立场。
本文系作者授权百度百家发表,未经许可,不得转载。

热门文章
  • 机房智能化温湿度解决方式之POE供电以太网温湿度传感器

    机房智能化温湿度解决方式之POE供电以太网温湿度传感器
    机房智能化温湿度解决方式之POE供电以太网温湿度传感器 北京盈创力和电子科技有限公司 智能型TCP网口温湿度记录仪 北京IP网络温湿度记录仪厂家,北京盈创力和 北京智能型TCP网口温湿度记录仪IP网络温湿度记录仪是一种新型的基于TCP/IP协议双绞线以太网标准温湿度采集模块,利用它可以实现现场温度值、相对湿度值的采集,同时利用其自身的RJ45通信接口可以方便地和机房监控主机或交换机集线器进行联网。 工作于-40℃~85℃工业级带...
  • Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering

    Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering
    Problem Statement 我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model):对于一个时间序列上的观测结果{yt,t∈N}\\{ y_t , t \\in N \\}{yt​,t∈N},我们认为每个观测结果yty_tyt​的生成依赖于一个无法直接观察的隐变量xt∈{xt,t∈N}x_t \\in \\{x_t , t \\in N \\}xt​∈{xt​,t∈N},即:p(...
  • HTTP状态保持的原理

    HTTP状态保持的原理
    a)在用户登录之后,浏览器返回响应的时候会在响应中添加上cookieb)浏览器接收到cookie之后会自动保存c)当用户再次请求同一服务器中的其他网页的时候,浏览器会自动带上之前保存的cookied)服务接收到请求之后可以请 request 对象中取到cookie 判断当前用户是否登录  Http是无状态的,就是连接时数据互通,关闭后...
  • Hive 系统函数及示例

    Hive 系统函数及示例
    查看所有系统函数 show functions; 函数分类 内置函数【系统函数】 数学函数: floor、round、ceil、cos、log2等 字符串函数: length、reverse、trim、lower、get_json_object、repeat等 收集函数: size 转换函数: cast 日期函数: year、month、datediff、date、date_add等 条件函数: coalesce、case…w...
  • CSRF的原理和防范措施

    CSRF的原理和防范措施
    a)攻击原理:i.用户C访问正常网站A时进行登录,浏览器保存A的cookieii.用户C再访问攻击网站B,网站B上有某个隐藏的链接或者图片标签会自动请求网站A的URL地址,例如表单提交,传指定的参数iii.而攻击网站B在访问网站A的时候,浏览器会自动带上网站A的cookieiv.所以网站A在接收到请求之后可判断当前用户是登录状态,所以...
标签列表