百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分类 > 正文

AI学习基础-搭建OpenSPG环境(ai中opentype怎么用)

ztj100 2025-04-07 21:27 14 浏览 0 评论


一、基础环境及版本

最近要做一个关于知识图谱的小项目,垂直领域的短平快工作,经过一个多星期的寻找、比较,初步选择了蚂蚁的OpenSPG作为基础框架,于是本周花了不少时间搭建和研究,相关环境信息如下:

  • 单机开发环境:Macbook Pro,14寸,2021年,芯片M1 Pro(10核),内存32G
  • 本机操作系统:Sonoma 14.2.1
  • 相关软件:Docker Desktop 4.24.2,Python 3.11.5

二、Docker版下载及安装

官网首页https://spg.openkg.cn,帮助文档是用语雀整理的(
https://openspg.yuque.com/ndx6g9/nmwkzz),蛮清晰明了,不过在一些步骤上略有瑕疵,我重新按照自己的步骤整理如下。

1、服务端安装

这部分步骤非常清晰,直接参照即可,下载docker-compose.yml,然后执行,会下载4个Docker镜像,分别是openspg-server以及三个工具软件镜像(mysql、tugraph、elasticsearch)。

// docker-compose.yml文件下载地址:https://github.com/OpenSPG/openspg/blob/master/dev/release/docker-compose.yml
// 在下载目录中运行
docker-compose -f docker-compose.yml up -d

运行完成后,打开http://127.0.0.1:8887可看到前端可视化页面。

这时只有一个默认项目,里面都是空的。

2、客户端安装及样例项目加载

(1)下载客户端镜像

docker pull --platform linux/x86_64 openspg/openspg-python:latest

(2)下载源码并编译

git clone git@github.com:OpenSPG/openspg.git
cd openspg
brew install scala@2.11
mvn clean install -Dmaven.test.skip=true -Dspotless.check.skip -Dspotless.apply.skip

(3)knext环境准备

// 复制编译好的库包,当前目录为openspg
cp dev/release/python/lib/builder* python/knext/knext/builder/lib
cp dev/release/python/lib/reasoner* python/knext/knext/reasoner/lib
// 安装nn4k
cd python/nn4k
python setup.py develop
// 安装knext
cd ../../python/knext
python setup.py develop

(4)启动容器,安装对应案例

# 启动容器,将其中的${project_dir}替换成源码目录
docker run --rm --net=host -v ${project_dir}:/code -it openspg/openspg-python:latest "/bin/bash"

# 容器启动后,进入/code目录,即openspg项目源码目录
cd code

# 安装黑产挖掘项目,当前目录为openspg目录,即code目录
cd python/knext/knext/examples/riskmining/
# 项目初始化
knext project create --prj_path .
# 知识建模提交
knext schema commit
# 提交风险用户、风险APP的分类概念
knext builder execute TaxOfRiskUser,TaxOfRiskApp
knext schema reg_concept_rule --file ./schema/concept.rule
# 知识构建,提交知识导入任务
knext builder execute Cert,Company,CompanyHasCert
knext builder execute App,Device,Person,PersonFundTrans,PersonHasDevice,PersonHoldShare

# 安装企业供应链项目,当前目录为openspg目录,即code目录
cd python/knext/knext/examples/supplychain/
# 项目初始化
knext project create --prj_path .
# 知识建模提交
knext schema commit
# 提交公司事件分类数据
knext builder execute TaxOfCompanyEvent
# 提交leadto关系逻辑规则
knext schema reg_concept_rule --file ./schema/concept.rule
# 知识构建
#提交公司事件分类数据
knext builder execute TaxOfCompanyEvent
# 提交产品事件分类数据
knext builder execute TaxOfProdEvent
# 提交剩余的数据
knext builder execute Index,Trend
knext builder execute Industry,Product,ProductHasSupplyChain
knext builder execute Company,CompanyFundTrans,Person
# 提交事件
knext builder execute ProductChainEvent

# 安装医疗图谱项目,当前目录为openspg目录,即code目录
cd python/knext/knext/examples/medicine/
# 项目初始化
knext project create --prj_path .
# 知识建模提交
knext schema commit
# 提交人体部位和医院部门概念导入任务
knext builder execute BodyPart,HospitalDepartment
# 提交知识抽取任务
knext builder execute Disease

完成后,再进入本地页面,发现多了三个样例项目,共4个项目,而后面的三个项目就可以查看概念模型和相关规则,对开发自己的项目可以提供更多的参考。

三、源码版下载及调试

因docker版中server镜像只有Jar包,所以肯定要尝试重新编译打包,以便后续进行简单的调整或二次开发。

初步目标有两个:一是整体编译打包通过,IDE中运行对接其他工具的容器最佳,最低限度可打包成新的Server容器正常运行;二是更新Server容器相关配置,可对接其他通用工具,如MySQL、ElasticSearch等。

1、编译打包调试运行

在第二步中已经下载了源码(
github.com:OpenSPG/openspg.git),也通过maven进行了命令行编译,而在IDEA中编译,需要增加scala库和项目的Service。

(1)增加scala库

在菜单File-Project Structure,选择Global Libraries,点击“+”,选择Scala SDK,添加对应对应版本即可(之前安装的是版本2.11)。

(2)增加Service

在下面窗口中找到Service的Tab页,点击“+”号,选择“Run Configuration Type”,弹出框中选择Springboot即可。

选择Application,点击Run,即可编译通过并启动服务。

2、打包成容器或更新容器包

编译完成后,会生成
arks-sofaboot-0.0.1-SNAPSHOT-executable.jar文件在dev/release/server/target目录下。

镜像打包可调用dev/release/server目录下的buildx-release-server.sh。

另一种方法可以直接去更新下载的Server镜像包中的jar包文件。

// 在dev/release/server/target目录下
docker cp arks-sofaboot-0.0.1-SNAPSHOT-executable.jar :arks-sofaboot-0.0.1-SNAPSHOT-executable.jar
docker restart 

3、MySQL配置更新并连接自有数据库

工程中涉及数据库配置文件在
server/arks/sofaboot/src/main/resource/config目录下,文件名称为
application-default.properties。

// 原配置如下
server.repository.impl.jdbc.url=jdbc:mysql://${server.repository.impl.jdbc.host}:${server.repository.impl.jdbc.port}/openspg?useUnicode=true&characterEncoding=utf8
server.repository.impl.jdbc.host=127.0.0.1
server.repository.impl.jdbc.port=3306
server.repository.impl.jdbc.username=root
server.repository.impl.jdbc.password=openspg
server.repository.impl.jdbc.driver=com.mysql.jdbc.Driver

(1)表数据导出导入

将下载镜像MySQL对应容器中的数据库和表格数据导出,并导入到本机的MySQL中。

// 数据库为openspg
mysqldump -uroot --password='openspg' openspg > openspg.sql
// 在本机MySQL数据库中,创建数据库
mysql -uroot -p
create database openspg default charater set utf8mb4;
create user 'openspg'@'%' identified by 'spg@2024';
grant all previleges on openspg.* to 'openspg'@'%';
use openspg
source /openspg.sql

(2)配置本机MySQL接入信息

修改配置文件内容
application-default.properties

server.repository.impl.jdbc.url=jdbc:mysql://${server.repository.impl.jdbc.host}:${server.repository.impl.jdbc.port}/openspg?useUnicode=true&characterEncoding=utf8
server.repository.impl.jdbc.host=172.16.0.88
server.repository.impl.jdbc.port=3306
server.repository.impl.jdbc.username=openspg
server.repository.impl.jdbc.password=spg@2024
server.repository.impl.jdbc.driver=com.mysql.jdbc.Driver

结果启动后提示无法连接,出错信息为
java.lang.NullPointerException,at
com.mysql.jdbc.ConnectionImpl.getServerCharset(ConnectionImpl.java:3299) ~[
mysql-connector-java-5.1.32.jar:?]。

检查发现代码中的jdbc-connector版本为5.1.30,而本机的MySQL版本为8.0.31,为兼容适配问题,于是对pom.xml进行修改,更换jdbc版本,配置信息。

// pom.xml
      
        mysql
        mysql-connector-java
        8.0.32
      

// application-default.properties
server.repository.impl.jdbc.url=jdbc:mysql://${server.repository.impl.jdbc.host}:${server.repository.impl.jdbc.port}/openspg?useUnicode=true&characterEncoding=utf8
server.repository.impl.jdbc.host=172.16.0.88
server.repository.impl.jdbc.port=3306
server.repository.impl.jdbc.username=openspg
server.repository.impl.jdbc.password=spg@2024
server.repository.impl.jdbc.driver=com.mysql.cj.jdbc.Driver

// 在整个项目中搜索使用com.mysql.jdbc.Driver的变量进行修改

重新编译运行,已经可以连接上自有的MySQL了。

四、问题及后续思路

1、首页无法打开问题

上述都改完之后,运行后发现本地首页无法打开,直接提示404。

检查发现编译打包的
arks-sofaboot-0.0.1-SNAPSHOT-executable.jar文件中,classes目录下缺少static目录,而下载的docker镜像中,这个文件有对应的static目录,这个就暂时无法解决了,所以,只能在github上提交了一个Issue,等待维护团队的反馈。

2、后续思路

虽然存在上述问题,但通过对于白皮书和用户手册的学习,基本了解了整个项目的概要框架,下周一方面等待Issue的反馈,另外同时进行新项目的筹备工作,计划如下:

(1)按照spg的思路,对Schema进行整理,形成最基础的知识框架,可以在本机页面上进行可视化展示;

(2)整理相关的数据源,尝试用客户端进行知识抽取,并在本机页面上可视化展示。

(3)继续学习知识推理、LLM对接等内容,进行功能尝试,这部分真正投入还要在(1)、(2)步骤完成之后再细化实施。

相关推荐

30天学会Python编程:16. Python常用标准库使用教程

16.1collections模块16.1.1高级数据结构16.1.2示例...

强烈推荐!Python 这个宝藏库 re 正则匹配

Python的re模块(RegularExpression正则表达式)提供各种正则表达式的匹配操作。...

Python爬虫中正则表达式的用法,只讲如何应用,不讲原理

Python爬虫:正则的用法(非原理)。大家好,这节课给大家讲正则的实际用法,不讲原理,通俗易懂的讲如何用正则抓取内容。·导入re库,这里是需要从html这段字符串中提取出中间的那几个文字。实例一个对...

Python数据分析实战-正则提取文本的URL网址和邮箱(源码和效果)

实现功能:Python数据分析实战-利用正则表达式提取文本中的URL网址和邮箱...

python爬虫教程之爬取当当网 Top 500 本五星好评书籍

我们使用requests和re来写一个爬虫作为一个爱看书的你(说的跟真的似的)怎么能发现好书呢?所以我们爬取当当网的前500本好五星评书籍怎么样?ok接下来就是学习python的正确姿...

深入理解re模块:Python中的正则表达式神器解析

在Python中,"re"是一个强大的模块,用于处理正则表达式(regularexpressions)。正则表达式是一种强大的文本模式匹配工具,用于在字符串中查找、替换或提取特定模式...

如何使用正则表达式和 Python 匹配不以模式开头的字符串

需要在Python中使用正则表达式来匹配不以给定模式开头的字符串吗?如果是这样,你可以使用下面的语法来查找所有的字符串,除了那些不以https开始的字符串。r"^(?!https).*&...

先Mark后用!8分钟读懂 Python 性能优化

从本文总结了Python开发时,遇到的性能优化问题的定位和解决。概述:性能优化的原则——优化需要优化的部分。性能优化的一般步骤:首先,让你的程序跑起来结果一切正常。然后,运行这个结果正常的代码,看看它...

Python“三步”即可爬取,毋庸置疑

声明:本实例仅供学习,切忌遵守robots协议,请不要使用多线程等方式频繁访问网站。#第一步导入模块importreimportrequests#第二步获取你想爬取的网页地址,发送请求,获取网页内...

简单学Python——re库(正则表达式)2(split、findall、和sub)

1、split():分割字符串,返回列表语法:re.split('分隔符','目标字符串')例如:importrere.split(',','...

Lavazza拉瓦萨再度牵手上海大师赛

阅读此文前,麻烦您点击一下“关注”,方便您进行讨论和分享。Lavazza拉瓦萨再度牵手上海大师赛标题:2024上海大师赛:网球与咖啡的浪漫邂逅在2024年的上海劳力士大师赛上,拉瓦萨咖啡再次成为官...

ArkUI-X构建Android平台AAR及使用

本教程主要讲述如何利用ArkUI-XSDK完成AndroidAAR开发,实现基于ArkTS的声明式开发范式在android平台显示。包括:1.跨平台Library工程开发介绍...

Deepseek写歌详细教程(怎样用deepseek写歌功能)

以下为结合DeepSeek及相关工具实现AI写歌的详细教程,涵盖作词、作曲、演唱全流程:一、核心流程三步法1.AI生成歌词-打开DeepSeek(网页/APP/API),使用结构化提示词生成歌词:...

“AI说唱解说影视”走红,“零基础入行”靠谱吗?本报记者实测

“手里翻找冻鱼,精心的布局;老漠却不言语,脸上带笑意……”《狂飙》剧情被写成歌词,再配上“科目三”背景音乐的演唱,这段1分钟30秒的视频受到了无数网友的点赞。最近一段时间随着AI技术的发展,说唱解说影...

AI音乐制作神器揭秘!3款工具让你秒变高手

在音乐创作的领域里,每个人都有一颗想要成为大师的心。但是面对复杂的乐理知识和繁复的制作过程,许多人的热情被一点点消磨。...

取消回复欢迎 发表评论: