研究论文

唐卡图像语义信息的描述框架研究

  • 赵生辉 , * ,
  • 侯希文
展开
  • 西藏民族大学管理学院 咸阳 712082

Copy editor: 刘远颖

收稿日期: 2015-03-18

  网络出版日期: 2025-04-28

基金资助

国家社会科学基金项目 “多民族语言信息资源跨语种共享策略研究”(14BTQ0008)

教育部人文社会科学基金项目“明朝以前西藏地方档案管理问题研究”(13YJA850012)

中国博士后科学基金项目“多民族语言信息共享域的架构模型与规划方法研究”(56-134018)

西藏高校教师实践实训项目“藏文Web资源采集与保存系统研究”(2013SJSX07)

Research on the Description Framework of Semantic Information of Thangka Images

  • Zhao Shenghui , * ,
  • Hou Xiwen
Expand

Received date: 2015-03-18

  Online published: 2025-04-28

摘要

图像语义信息描述是实现唐卡智能检索和知识发现的基础工作。在介绍图像语义信息描述基础原理的基础上,根据唐卡图像的构图特征,构建唐卡图像语义信息描述的概念框架,并探讨唐卡图像语义元数据模型的结构和实现思路。认为唐卡语义信息应该从底层特征信息、对象语义信息和概念语义信息3个层面进行考虑,结合不同对象的属性和关系,设计相应的元数据模型,参照领域本体完成语义信息的著录。

本文引用格式

赵生辉 , 侯希文 . 唐卡图像语义信息的描述框架研究[J]. 知识管理论坛, 2015 , 2015(1) : 57 -62 . DOI: 10.13266/j.issn.2095-5472.2015.01.008

Abstract

The description of image semantic information is a fundamental task for realizing the intelligent retrieval and knowledge discovery of Thangka. On the basis of introducing the basic principles of image semantic information description, according to the composition characteristics of Thangka images, this paper constructs a conceptual framework for describing the semantic information of Thangka images, and explores the structure and implementation ideas of the semantic metadata model of Thangka images. It is believed that the semantic information of Thangka should be considered from three levels: underlying feature information, object semantic information, and conceptual semantic information. By combining the attributes and relationships of different objects, the corresponding metadata model is designed, and the semantic information is catalogued with reference to the domain ontology.

1 引言

唐卡(Thang-ga)指用彩缎装裱后悬挂供奉的宗教卷轴画,是藏族文化中一种独具特色的绘画艺术形式,也是中华民族文化宝库当中的瑰宝。唐卡题材内容涉及藏族的历史、政治、文化和社会生活等诸多领域,堪称藏民族的百科全书。近年来,伴随着计算机技术在藏区的大规模应用,唐卡数字化技术也得到迅速发展。通过光学扫描技术获取的唐卡图像已经在数字化修复、计算机检索、网络在线传播等领域发挥了重要作用[1]。但是,如何描述和记录唐卡图像信息所蕴含的丰富知识内涵始终是有待解决的难题之一。
与其他类型的图像检索一样,唐卡图像信息检索也面临着视觉信息和内涵信息之间的“语义鸿沟(semantic gap)”问题。将图像语义信息转换为文本信息,即基于文本的图像检索(text based image retrieval, TBIR)是解决这一问题的基本思路。传统的图像数字化加工技术主要通过在元数据当中嵌入内容描述或关键词字段,依靠人工方式进行著录以获取图像内容的文本,这是一种较为粗糙的低精度语义描述方法。后来,技术人员又发展了基于低层次视觉特征的图像内容自动标注与检索技术(content based image retrieval, CBIR)[2],针对图像信息所包含的语义对象进行检索,较关键词检索更为细致,但是在语义描述的深度和一致性方面还存在不足。近年来,随着知识管理理论的逐步成熟,基于语义的图像语义检索技术(semantic based image retrieval ,SBIR)成为图像检索领域的热点,尤其是本体技术在图像语义信息检索领域展现出广阔的应用前景。
在唐卡图像信息检索领域,以西北民族大学王维兰教授为代表的一批学者做了大量的工作。例如,进行唐卡语义对象的图像模式识别、使用概念关键词网络进行唐卡图像的语义检索[3]、构建唐卡知识库等[4]。但是,本体在唐卡图像语义检索当中的应用方式问题仍然没有解决。本文在分析图像信息的结构特征和语义描述的思路方法的基础上,拟基于本体理论,探索唐卡图像语义的描述和标注的框架模型,其创新性主要体现在:①构建体现唐卡图像表现特征的语义信息描述框架;②探讨基于语义元数据的唐卡图像语义描述框架技术实现方法。本文的研究结果对唐卡图像高精度检索和知识发现的实现具有重要的参考价值。

2 图像语义信息描述的基本原理

图像与文本的最大不同在于图像当中蕴含较为复杂的信息,这些信息通过一定的结构和规则组合在一起,当人们看到图像时,大脑会将看到的信息与已有的知识储备进行高速复杂的关联处理,从而实现对图像信息的理解。因此,要合理、完整地表达图像传递的复杂信息,必须建立图像语义信息的结构模型。

2.1 图像语义信息层次结构模型

1996年,J. P. Eakins首次提出了图像语义信息的层次结构模型,该模型奠定了图像语义分析的基础,现有的绝大多数研究都是以此模型为基础进行的修改和优化。J. P. Eakins 将图像语义信息分为底层特征语义层、对象语义层、概念特征语义层3个层次,其中:底层特征语义层主要反映图像构成的颜色、纹理、形状等物理信息;对象语义层主要反映图像当中的事物及其空间关系;概念语义层主要反映图像当中各类事物所处的场景、所进行的行为及其传递的情感信息。一般将底层特征语义信息称为低层语义,基于内容的图像语义检索(CBIR)就是针对这一层语义信息进行的检索;而将对象语义层和概念语义层合称为高层语义,通常所说的图像语义检索一般是针对高层语义信息而言的。J. P. Eakins的语义信息模型如图1所示[5]:
图1 J, P. Eakins图像语义信息层次结构模型

2.2 图像语义信息的标注方法

图像信息检索主要以J. P. Eakins图像语义信息层次结构模型为基础,设计体现图像特征的元数据模型,通过对各层信息的语义信息进行标注,将蕴含在图像当中的各类丰富的信息外化为元数据文本,可以采用和文本信息检索同样的技术手段进行图像信息检索,从而部分解决了图像语义信息和图像特征信息之间的“语义鸿沟”问题[6]。在实践中,进行图像语义标注的方法主要有人工标注、计算机自动标注两大类型。由于图像语义信息的复杂性,现有的计算机自动标注主要集中在对象语义信息的自动获取方面,通过模式识别、机器学习等方法使计算机能够自动识别图像当中对象的类型和位置关系,实现对象层语义的自动获取和标注。但是,图像所传递出的场景、行为、情感等复杂的高层语义信息往往具有极大的主观性,其自动标注的难度极大,有待随着人工智能技术的进一步成熟逐步解决。

3 唐卡图像语义信息描述的概念框架

由于绝大多数的唐卡是在宗教仪式上供奉使用的,因而主要以宗教故事为主题,宗教类主题唐卡也就成为最具典型性的唐卡类型。本文所述的唐卡主要是针对宗教类唐卡而言的,这类唐卡在构图方面具有严格的结构特征,唐卡图像语义信息的描述必须以这些特征为基础。

3.1 宗教类唐卡图像的构图特征

宗教类唐卡以描述宗教故事为主题,一般具有“本尊”“上师”和“护法”3个基本的元素,如图2所示:
图2 唐卡《吉祥天母》示例
图2当中,本尊在整体图像的中心,上师在整体图像的上部,护法在整体图像的下部。本尊即唐卡当中最主要供奉的神灵,是唐卡表现的主体形象,因而拥有最高大的形体,占据最显要的位置。上师是对本尊起引导作用的神灵,从中也能看出所属的教派,一般处于唐卡的上部的左右或中间位置。在藏传佛教中,护法神是护佑本尊,驱邪除妖,保护信众,一般位于画面的两侧及下方。唐卡中的神灵人物的头饰、穿戴、面相、座驾、法器、手型等都有其特定的宗教内涵,代表了神灵人物的身份背景和所属教派,并非唐卡制作者可以随心所欲更改的内容。此外,神灵人物还需要莲座、光背、祥云、花蔓等形象的衬托和表示美好寓意的七宝、八吉祥的点缀。

3.2 唐卡图像语义信息描述框架的构建

参照J. P. Eakins模型,对唐卡图像语义信息进行结构化分析,构建框架模型如图3所示:
图3 唐卡图像语义信息的分析框架
图3中唐卡的语义信息分为底层特征信息、对象语义信息和概念语义信息3个层面:①底层特征信息是对唐卡数字化图像像素组合模式的描述;②对象语义信息是对唐卡图像当中包含对象及其属性、关系的描述,是唐卡语义描述的重点内容;③概念语义层是对图像所反映题材和氛围所做的综合分析与概括。唐卡图像通过区域分割形成特定图像模式的图例,图例通过关联标注建立与对象语义层之间的联系,各语义对象通过与领域本体的映射建立统一的逻辑关联并按照不同的空间关系进行组合,图像所有语义对象经过综合概括形成整体图像层面上的语义信息。其中,唐卡领域知识本体在语义对象逻辑关联当中发挥着非常关键的作用,它是对唐卡所涉及领域知识体系的形式化描述,可以为唐卡语义标注过程中使用的各类术语和概念建立统一的逻辑定位体系。唐卡领域知识本体的构建是非常复杂的任务,需要对唐卡图像信息管理当中涉及的各类概念体系进行系统梳理,并明确各类概念之间的逻辑联系。总之,唐卡图像语义信息描述必须建立图像底层特征与其背后所蕴含的丰富知识体系的关联,从而为高精度图像检索和知识导航奠定基础。

4 唐卡图像语义信息描述框架的实现

唐卡图像语义信息描述框架是对语义元数据结构整体思路的规划,其实现必须通过特定的计算机语言来定义。在语言信息著录过程中,著录数据项并不是可以随意的,而是要选择本体模型当中的数据项,以建立各类数据之间的逻辑关联。

4.1 唐卡图像语义元数据的框架模型

唐卡数字图像元数据包含有丰富的数据项,实现对产生者、技术参数、使用过程、链接交互方式等信息的记录。语义元数据属于图像元数据的一个子类,其数据模型的构建思路如图4所示:
图4 唐卡图像语义元数据模型示意

4.2 唐卡图像语义元数据模型的技术实现

语义元数据的实现有多种方式,其中最具代表性的是通过XML、RDF和OWL 3种语言定义[7]。XML(可扩展标记语言)是网络信息资源定义和交换的标准语言,运行用户自由定义元数据项;RDF(资源描述框架)通过资源、属性和取值三元组方式来描述网络信息资源;OWL是W3C推荐的本体语言标准,是在网络上发布和共享本体的语义标记语言,具有非常强的语义表达能力。实践中具体采用哪种语言,需要结合应用类型和需求进行综合权衡后确定。如果要采用XML语言的DTD文件(文档定义文件)定义本尊的语义元数据,其代码如下所示:
<? Xml=“version1.0” encoding =“ GB2312” >
< !ELEMENT T_deity [
< !ELEMENT T_deity (d_no, d_name, d_sort, ...)>
< !ELEMENT d_no (# PCDATA) >
< !ELEMENT d_name (# PCDATA) >
< !ELEMENT d_sort (# PCDATA) >
] >
在语义元数据的结构文件确定之后,就可以引用该文件进行著录系统的开发。为了保证著录数据项的语义一致性,要求所有的著录项要基于领域本体,以便支持语义扩展检索和智能检索。因此,著录过程始终与本体紧密结合,从本体中选取与要表达的主题最接近的著录项完成语义元数据的著录。由于概念语义著录的复杂性,唐卡语义元数据的著录过程可以采取人工著录与自动著录相结合的方式进行,由计算机通过模式识别完成图像分割和常见对象的识别,以人工方式进行确认并完成概念性复杂语义信息的著录。

5 结语

唐卡是具有浓郁藏族文化风格的艺术绘画形式,其图像蕴含了丰富的文化知识,堪称藏民族历史和文化的“百科全书”。唐卡语义信息可以分为底层特征信息、对象语义信息和概念语义信息3个层面:底层特征信息是对唐卡数字化图像像素组合模式的描述;对象语义信息是对唐卡图像当中包含对象及其属性、关系的描述,是唐卡语义描述的重点内容;概念语义层是对图像所反映题材和氛围所做的综合分析与概括。宗教类唐卡图像包含的语义对象一般分为上师、本尊、护法、背景、圣物等,每种对象又包含了若干与之对应的属性特征。唐卡图像语义描述需要根据语义信息总体框架设计语义元数据模型,并基于领域本体进行语义信息的著录。本文的研究结论对于唐卡数字化加工之后的深度著录、唐卡的高精度智能检索以及唐卡知识发掘具有重要的意义。
[1]
刘少宇.浅谈藏传唐卡的数字化[J].艺术与设计,2006(7):210-212.

[2]
李晓杰.基于内容的唐卡图像检索技术研究[D].兰州:西北民族大学,2011.

[3]
钱建军.基于语义的唐卡图像标注与检索研究[D].兰州:西北民族大学,2010.

[4]
杨蔚.宗教类唐卡图像知识库构建研究[D].兰州:西北民族大学,2011.

[5]
Eakins J P. Automatic image content retrieval-Are we getting anywhere[C].Proceeding of Third International Conference on Electronic Library and Visual Information Research. De Montfort University, Milton Keynes: Aslib,1996: 123-135.

[6]
张捷.图像语义标注[J].电脑开发与应用,2011(1):10-13.

[7]
陶皖,廖树梅.语义元数据的描述及生成技术研究[J].计算机与现代化,2006(12):13-15.

文章导航

/

〈 〉