中文维基百科分类提取--构建知识图谱

时间:2019-07-20
本文章向大家介绍中文维基百科分类提取--构建知识图谱，主要包括中文维基百科分类提取--构建知识图谱使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

首先感谢 ：

1.https://blog.csdn.net/qq_39023569/article/details/88556301

2.https://www.cnblogs.com/CherishFX/p/5280259.html

3.https://www.cs.bgu.ac.il/~elhadad/nlp12/jwpl/wikification.html

4.https://blog.csdn.net/Icy233333/article/details/80383336

一。中文维基数据准备。

　　https://dumps.wikimedia.org/zhwiki/latest/

　　选择：

　　LANGCODE]wiki-[DATE]-pages-articles.xml.bz2
　　[LANGCODE]wiki-[DATE]-pagelinks.sql.gz
　　[LANGCODE]wiki-[DATE]-categorylinks.sql.gz

　　注：维基服务器限流，并且时不时会中断。可以直接使用linux 的 wget -c   https://xxxxxxxxxxxxxxxxxxxx 方式实现可断点续接的下载。

　　下载完后放在一个文件夹下。 我放在 F:\zhwiki2019\~  下。

二。下载JWPL DataMachine jar包解析数据文件

　　　　直接去maven库中下载整个jar-with-dependencies.jar。下载地址：http://search.maven.org/#search|ga|1|tudarmstadt.ukp

　　搜索de.tudarmstadt.ukp.wikipedia.datamachine对应的 jar-with-dependencies.jar 文件下载。

　　下载后和数据放在同一目录下。

三。打开cmd，cd到zhwiki2019目录下，输入以下命令解析。

　　java -cp jar-with-dependencies.jar de.tudarmstadt.ukp.wikipedia.datamachine.domain.JWPLDataMachine [LANGUAGE] [MAIN_CATEGORY_NAME] [DISAMBIGUATION_CATEGORY_NAME] [SOURCE_DIRECTORY]

　　其中，

　　　　LANGUAGE: 指jwpl支持的语言，选择一个你下载的wikipedia语言，比如english, chinese
　　　　MAIN_CATEGORY_NAME: 填写一个Wikipedia类别层次上属于顶层的类别，比如：Contents
　　　　DISAMBIGUATION_CATEGORY_NAME: 填写一个有消歧类别的类别名，比如：Disambiguation_pages
　　　　SOURCE_DIRECTORY: 上面三个wikipedia文件的目录，比如： ~/En2019
　　我的命令：

　　java -Dfile.encoding=utf8  -cp de.tudarmstadt.ukp.wikipedia.datamachine-0.9.1-jar-with-dependencies.jar de.tudarmstadt.ukp.wikipedia.datamachine.domain.JWPLDataMachine chinese Contents Disambiguation_pages ~/zhwiki2019

　　如果你的系统默认编码不是utf-8(比如windows), 可能需要再加一个参数：-Dfile.encoding=utf8；

　　解析的时间看数据量的大小和你的cpu。之后会在output下生成11个txt.这11个txt就是之后要导入mysql的11个表。

　　这些文件的解释：

 1 category --> 类别信息
 2      pageId：类别ID，唯一
 3      name：类别名
 4 
 5 category_inlinks --> 指向类别的链接信息
 6      id：类别ID，不唯一
 7      inLinks：该类别父类ID，也就是指向该类别的类别ID
 8 
 9 category_outlinks --> 类别指向的链接信息 
10      id：类别ID，不唯一
11      outLinks：该类别子类ID，也就是该类别指向的那些类别的ID
12 
13 category_pages --> 页面与类别的关系表
14      id：类别ID，不唯一
15      pages：属于该类别ID的页面ID
16 
17 metadata --> 该wikipedia的一些元信息，只有一条记录
18      language：语言
19      disambiguationCategory：运行DataMachine填写的消歧类别
20      mainCategory：运行DataMachine填写的顶层类别
21      nrofPages：页面个数
22      nrofRedirects：重定向个数
23      nrofDisambiguationPages：消歧页面个数
24      nrofCategories：类别个数
25      version
26 
27 page --> 页面信息
28      pageId：页面ID
29      name：名字
30      text：全文，包含wikimeida的标记信息
31      isDisambiguation：是否是消岐页面
32 
33 page_categories -->  页面与类别的关系表与category_pages信息重复
34 
35 page_inlinks --> 指向页面的页面信息
36      id：页面ID，不唯一
37      inLinks：指向该页面ID的页面ID
38 
39 page_outlinks
40      id：页面ID，不唯一
41      outlinks：该页面ID指向的页面ID
42 
43 page_redirects
44      id：页面ID，不唯一
45      redirects：重定向到该页面ID的所有页面ID
46 
47 pagemapline --> 所有页面的title信息，处理重定向等有用处
48      id：该页面ID
49      name：页面title名字
50      pageID：页面ID，如果该页面是重定向页面，该pageID是其指向的那个包含信息的页面ID
51      stem：***暂无信息
52      lemma：***暂无信息
View Code

　　

四。mysql 创建 库。

　　1.  创建数据库命令（数据库名DB_NAME可以自行设定）：注意要保证创建的数据库的编码是utf-8

CREATE DATABASE [DB_NAME] DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

　　　　我的DB_NAME是zhwiki.

　　2.创建所有的表，下载包含所有表结构的sql脚本：jwpl_tables.sql脚本，在mysql命令下执行改脚本：

mysql> use [DB_NAME];
mysql> source jwpl_tables.sql;  #注意jwpl_tables.sql所在的路径

 　　3.因为我们的数据上传到数据库是存在mysql data目录下的，可以通过命令

　　　　mysql>show global variables like "%datadir%"
　　　　来查看你的数据库文件存放目录，我这里是在C盘，空间不够，所以需要修改data路径，将数据库data移到其他空间足够的盘，具体可以参考 https://blog.csdn.net/wangyan_z/article/details/81089211

　　，来修改你的data路径，这里不过多说明。
　　4，导入数据到mysql中

　　一个表一个表的导入，进入之前创建的用户的数据库

　　load data infile 'F:/zhwiki2019/output/Category.txt' into table category;

　　这里可能遇到mysql secure_file_priv问题。参考 https://blog.csdn.net/qq_35246620/article/details/78148505

　　解决完后，因为我处理的是中文维基的数据。mysql会报错utf8转义的问题。我查了我的系统编码和mysql的编码（参考https://bbs.csdn.net/topics/392478961），没有问题，只可能是数据的问题。打开后发现存在这样的数据：  B\'z  ，因为B‘z是一个组合。所以去掉 \  就没问题了。自己可以写个小程序去掉。

五。使用JWPL jar包去访问维基百科数据

　　1.直接去maven库中下载整个jar-with-dependencies.jar。下载地址：http://search.maven.org/#search|ga|1|tudarmstadt.ukp
搜索de.tudarmstadt.ukp.wikipedia.api对应的 jar-with-dependencies.jar 文件，下载。

　　2.之后就是编码了。（ jwpl论文：https://www.researchgate.net/publication/220745815_Extracting_Lexical_Semantic_Knowledge_from_Wikipedia_and_Wiktionary?ev=auth_pub）

　　论文中，说了工具主要以三个对象展开。直接给出代码。就可以看懂。

page:

 1 import de.tudarmstadt.ukp.wikipedia.api.Category;
 2 import de.tudarmstadt.ukp.wikipedia.api.DatabaseConfiguration;
 3 import de.tudarmstadt.ukp.wikipedia.api.Page;
 4 import de.tudarmstadt.ukp.wikipedia.api.Title;
 5 import de.tudarmstadt.ukp.wikipedia.api.WikiConstants.Language;
 6 import de.tudarmstadt.ukp.wikipedia.api.Wikipedia;
 7 
 8 import static de.tudarmstadt.ukp.wikipedia.api.WikiConstants.LF;
 9 
10 public class ShowPageInfo {
11 
12     public static void main(String[] args) throws Exception {
13         // 数据库连接参数配置
14         DatabaseConfiguration dbConfig = new DatabaseConfiguration();
15         dbConfig.setHost("localhost");   //主机名
16         dbConfig.setDatabase("wikidb");  //数据库名
17         dbConfig.setUser("root");        //访问数据库的用户名
18         dbConfig.setPassword("root");    //访问数据库的密码
19         dbConfig.setLanguage(Language.english);
20         // 创建Wikipedia处理对象
21         Wikipedia wiki = new Wikipedia(dbConfig);
22         String title = "Fruit";
23         Page page = wiki.getPage(title);  
24         // wikipedia页面的title
25         System.out.println("Queried string       : " + title);
26         System.out.println("Title                : " + page.getTitle());
27         // 是否是消歧页面
28         System.out.println("IsDisambiguationPage : " + page.isDisambiguation());       
29         // 是否是重定向页面
30         System.out.println("redirect page query  : " + page.isRedirect());       
31         // 有多少个页面指向该页面
32         System.out.println("# of ingoing links   : " + page.getNumberOfInlinks());       
33         // 该页面指向了多少个页面
34         System.out.println("# of outgoing links  : " + page.getNumberOfOutlinks());
35         // 该页面属于多少个类别
36         System.out.println("# of categories      : " + page.getNumberOfCategories());
37         StringBuilder sb = new StringBuilder();
38         // 页面的所有重定向页面
39         sb.append("Redirects" + LF);
40         for (String redirect : page.getRedirects()) {
41             sb.append("  " + new Title(redirect).getPlainTitle() + LF);
42         }
43         sb.append(LF);       
44         // 页面的所述的所有类别
45         sb.append("Categories" + LF);
46         for (Category category : page.getCategories()) {
47             sb.append("  " + category.getTitle() + LF);
48         }
49         sb.append(LF);
50         // 指向该页面的所有页面
51         sb.append("In-Links" + LF);
52         for (Page inLinkPage : page.getInlinks()) {
53             sb.append("  " + inLinkPage.getTitle() + LF);
54         }
55         sb.append(LF);
56         // 该页面指向的所有页面
57         sb.append("Out-Links" + LF);
58         for (Page outLinkPage : page.getOutlinks()) {
59             sb.append("  " + outLinkPage.getTitle() + LF);
60         }       
61         System.out.println(sb);
62     }
63 }
View Code

运行的部分结果：

1 Queried string       : Fruit
2 Title                : Fruit
3 IsDisambiguationPage : false
4 redirect page query  : false
5 # of ingoing links   : 4454
6 # of outgoing links  : 811
7 # of categories      : 10
View Code

category：

 1 import de.tudarmstadt.ukp.wikipedia.api.Category;
 2 import de.tudarmstadt.ukp.wikipedia.api.DatabaseConfiguration;
 3 import de.tudarmstadt.ukp.wikipedia.api.Page;
 4 import de.tudarmstadt.ukp.wikipedia.api.WikiConstants.Language;
 5 import de.tudarmstadt.ukp.wikipedia.api.Wikipedia;
 6 import static de.tudarmstadt.ukp.wikipedia.api.WikiConstants.LF;
 7 
 8 public class ShowCategoryInfo {
 9     public static void main(String[] args) throws Exception {
10         //连接数据库的配置
11         DatabaseConfiguration dbConfig = new DatabaseConfiguration();
12         dbConfig.setHost("localhost");
13         dbConfig.setDatabase("wikidb");
14         dbConfig.setUser("root");
15         dbConfig.setPassword("root");
16         dbConfig.setLanguage(Language.english);
17         // 创建Wikipedia处理对象
18         Wikipedia wiki = new Wikipedia(dbConfig);
19         String title = "Towns in Germany";
20         // 创建类对象
21         Category cat = wiki.getCategory(title);
22         StringBuilder sb = new StringBuilder();
23         // 类别名
24         sb.append("Title : " + cat.getTitle() + LF);
25         sb.append(LF);
26         // 类别的父类信息
27         sb.append("# super categories : " + cat.getParents().size() + LF);
28         for (Category parent : cat.getParents()) {
29             sb.append("  " + parent.getTitle() + LF);
30         }
31         sb.append(LF);       
32         // 类别的子类信息
33         sb.append("# sub categories : " + cat.getChildren().size() + LF);
34         for (Category child : cat.getChildren()) {
35             sb.append("  " + child.getTitle() + LF);
36         }
37         sb.append(LF);
38         // 类别下的所有页面
39         sb.append("# pages : " + cat.getArticles().size() + LF);
40         for (Page page : cat.getArticles()) {
41             sb.append("  " + page.getTitle() + LF);
42         }       
43         System.out.println(sb); 
44     }
45 }
View Code
运行结果：
 1 Title : Towns in Germany
 2 
 3 # super categories : 4
 4   Towns by country
 5   Commons category with local link same as on Wikidata
 6   Populated places in Germany
 7   Municipalities of Germany
 8 
 9 # sub categories : 16
10   Towns in Rhineland-Palatinate
11   Towns in Lower Saxony
12   Towns in Saxony
13   Towns in Mecklenburg-Vorpommern
14   Towns in Saxony-Anhalt
15   University towns in Germany
16   Towns in Schleswig-Holstein
17   Seaside resorts in Germany
18   Towns in Baden-Württemberg
19   Towns in Thuringia
20   Towns in Hesse
21   Towns in Saarland
22   Towns in North Rhine-Westphalia
23   Towns in Brandenburg
24   Spa towns in Germany
25   Towns in Bavaria
26 
27 # pages : 2
28   Oberreichenbach
29   Urfeld am Walchensee
View Code

 其中，

 Wikipedia 对象就是另一个主要的对象。page和categorty都要对这个对象进行访问，可以通过“单例模式”进行wikipedia的实例化。来节约资源，避免重复造轮子。

代码给出：

 1 public class WikipediaUtil {
 2     private static Wikipedia wiki = null;
 3 
 4     public static Wikipedia getWikipedia() {
 5         if (wiki == null) {
 6             synchronized (wiki) {
 7                 if (wiki == null) {
 8                     try {
 9                         DatabaseConfiguration dbconfig = new DatabaseConfiguration();
10                         URL resource = WikipediaUtil.class.getClassLoader().getResource("zhwiki.properties");
11                         String file = resource.getFile();
12                         InputStream fileInputStream = new FileInputStream(file);
13                         Properties properties = new Properties();
14                         properties.load(fileInputStream);
15                         dbconfig.setHost(properties.getProperty("host"));
16                         dbconfig.setDatabase(properties.getProperty("db"));
17                         dbconfig.setUser(properties.getProperty("user"));
18                         dbconfig.setPassword(properties.getProperty("password"));
19                         dbconfig.setLanguage(WikiConstants.Language.chinese);
20                         wiki = new Wikipedia(dbconfig);
21                     } catch (Exception e) {
22                         e.printStackTrace();
23                     }
24                 }
25             }
26         }
27         return wiki;
28     }
29 }
View Code

剩下的探索吧...欢迎评论一起进步。

原文地址：https://www.cnblogs.com/dhName/p/11217606.html

随机文章
本站知识点必读
最近更新