Gensim训练维基百科语料库

  • 时间:
  • 浏览:0
  • 来源:5分11选5APP下载_5分11选5APP官方

下载地址:https://dumps.wikimedia.org/zhwiki/

下载pages-articles.xml文件。打开下面的链接,选最近的日期,进入页面后,搜索“pages-articles.xml”。

运行1分钟左右。

使用opencc。下载地址如下,下载opencc-1.0.1-win64.7z。

https://bintray.com/package/files/byvoid/opencc/OpenCC

1 解析xml 13分钟

2 繁体2简体 1分钟

3 jieba分词 27分钟

4 模型训练 22分钟

总计63分钟。