Review of the Research on Big Data Analysis in the Field of Libraries

  • Sun Shaodan
Expand

Received date: 2015-06-19

  Online published: 2025-04-28

Cite this article

Sun Shaodan . Review of the Research on Big Data Analysis in the Field of Libraries[J]. Knowledge Management Forum, 2015 , 2015(3) : 14 -23 . DOI: 10.13266/j.issn.2095-5472.2015.03.003

1 大数据概述

1.1 大数据的概念

对于大数据的定义有如下权威观点:
⑴Gartner公司的定义:大数据是高容量、高生成速率、种类繁多的信息,需要新的处理形式去确保判断的作出、洞察力的发现和处理的优化[1]。
⑵维基百科的定义:大数据指的是所涉及的资料量规模巨大到无法通过目前主流软件工具,在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策目的的资讯[2]。
⑶麦肯锡的定义:大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合[3]。

1.2 大数据的特征

业界人士将大数据的特征归纳为4个方面,简称4V:
⑴数据体量巨大(Volume):大型数据库,从TB到PB;
⑵数据种类繁多(Variety):来源于多种数据源,冲破了格式限制;
⑶处理速度快(Velocity):大量在线数据处理速度快;
⑷价值密度低(Value):有价值的数据少。

2 数据来源和研究方法

2.1 数据来源

CNKI 是全球信息量最大、最具价值的中文网站。据统计,CNKI 网站的内容数量大于目前全世界所有中文网页内容的数量总和,可谓世界第一中文网。CNKI 的信息内容是经过深度加工、编辑、整合、以数据库形式进行有序管理的,内容有明确的来源、出处,可信可靠,因此,CNKI 中的文献有极高的文献收藏价值和使用价值,可以作为学术研究、科学决策的依据。本文主要选取CNKI的期刊全文数据库、优秀博硕士学位论文数据库、中国重要会议数据库、中国重要报纸数据库进行研究。

2.2 研究方法

2.2.1 文献计量学方法

利用数学、统计学方法定量研究文献信息的分布和变化规律,客观评价文献发表年代、机构、作者、研究领域等方面的内容,从而对国内图书馆领域大数据的研究状况进行分析和预测。

2.2.2 共词分析和快速聚类法

本文主要对检索到的293篇文献做共词分析和聚类分析,利用两两词在同一篇文章中出现的次数做共现矩阵,并利用SPSS软件对关键词进行聚类分析,导出树状图,分析哪些类团之间的相似性更高,并且利用高频词对大数据研究的热点方面进行分析和预测。

3 国内大数据分析

3.1 年代分析

利用文献计量学方法分析国内图书馆界大数据领域发展历程,对相关论文的发文量进行年代统计来揭示我国图情领域对大数据研究的状况,并预测其发展前景。在CNKI中得到的年代统计结果如下:2009-2014年,共有相关文献253篇,其中期刊论文240篇、博硕士论文1篇、会议论文2篇、报纸文章10篇。统计如图1所示:
图1 图书馆领域大数据的发文量随年份变化情况
由图1可知,2009-2012年,发文量几乎为0,说明这段时间我国图情领域几乎没有对大数据进行研究;2013年发文量突增到56篇,说明图书馆领域逐渐开始重视大数据研究,究其原因,主要是受国外大数据研究热潮的影响,而到2014年,发文量猛增到186篇,说明图书馆领域研究大数据的热度逐渐增高,按照此趋势发展下去,未来3年国内图书馆界会继续研究大数据,保持持续发展的趋势。
由表1可知,论文的发文量占据主导地位,说明图书馆领域大数据论文研究数量占绝大多数,而其他类型的文献数量则相对较少,不足10篇,因此进行研究时可以对其忽略不计。
表1 图书馆领域大数据文献各类型的发文量
文献类型 篇名检索词 发文量(篇)
期刊论文 图书馆and 大数据 230
博硕士学位论文 图书馆and 大数据 1
会议论文 图书馆and 大数据 2
报纸文章 图书馆and 大数据 10

3.2 作者分析

利用文献计量学统计著者发文量情况,可以得出大数据领域较为活跃、知名度较高的研究人员。统计结果如表2所示:
表2 图书馆领域大数据作者发文量排名
发文数量(篇) 作者数量(人)
9 1
5 1
4 3
3 5
2 13
1 117
合计 140
由表2可知,发文量为1篇的作者有117人,共有140人作者,占作者总数的84%,由洛特卡定律的公式f(x) = f(1) /x2 ( 其中f( x) 为发表了x 篇论文的著者数量,f(1)为发表了1 篇论文的著者数量) 可知,发表1篇论文的著者占全部著者的60% 左右。根据表3的统计数据,有关大数据研究领域的作者分布中,只撰发表过1篇论文的著者数高达84%,显然发表1篇论文的作者数量不符合该定律,说明该领域的研究尚不成熟。可见,目前大数据研究领域的作者分散程度高,绝大多数作者都是“瞬时作者”,他们对大数据的研究浅尝辄止,研究的可持续性有待提高。
根据普莱斯定律,核心作者应该完成所有专业论文总和的一半,写作m = 0.749(Nmax)0.5 篇以上论文的著者为核心著者,其中Nmax为最高产著者的发文数。国际大数据研究领域最高产著者的发文数是9篇,所以m 约等于2.247,取整数3,即该领域核心作者最低发文量为3篇。根据表3 的统计数据可知,发文量3篇及以上的作者(即核心作者) 一共有10人,占全部著者数的7.2%,发文共计41篇,占全部发文数的16.2%,远远不到所有论文数的一半,说明大数据领域核心著者尚未形成。因此没有将这些作者称为核心著者,而是界定为“高产著者”。这些高产著者的研究成果代表着国内图书馆领域大数据的研究前沿。

3.3 研究领域分析

表3是利用CNKI中国知网期刊全文数据库对图书馆大数据领域的研究进行分析的结果,有218篇论文来自于图书情报与数字图书馆、54篇来自于计算机软件及计算机应用,二者占据了发文量的绝大部分。
表3 图书馆领域大数据研究论文数量
研究领域 论文数量(篇)
图书情报与数字图书馆 218
计算机软件及计算机应用 54
医学教育与医学边缘学科 3
出版 3
档案及博物馆 2
市场研究与信息 1
新闻与媒体 1
计算机硬件技术 1
图2 图书馆领域大数据研究论文数量
由图2可知,77%的文献来自于图书情报与数字图书馆领域,19%来自于计算机软件及计算机应用领域,二者共占发文总量的93%,说明研究图书馆大数据的主要是图情领域和计算机领域,与实际情况相符合。

3.4 机构分析

利用文献计量学统计机构分布状况,可以研究在大数据领域较为活跃的机构和权威性更高的机构。CNKI数据库统计结果如表4所示:
表4 图书馆领域大数据的研究机构发文数量
机构 发文数量(篇)
兰州商学院 17
解放军医学图书馆 5
桂林理工大学 4
武汉大学 4
南京财经大学 3
辽宁省图书馆 3
漯河职业技术学院 3
南京铁道职业技术学院 3
肇庆学院 3
广西国际商务职业技术学院 3
南京理工大学 3
由表4可知,兰州商学院发文量最多(17篇),说明其对图书馆大数据研究热度比较高。

3.5 基金分析

由表5可知,受国家社会科学基金资助的论文2篇,说明该项目受到国家的重视。总体来说,基金支持的项目很少,占得比重较低,大部分还是作者自身发表或者机构协助发表。
表5 图书馆领域大数据基金来源的发文数量
基金来源 发文量(篇)
国家社会科学基金 2
江苏省教育厅人文社会科学研究基地 1
国家自然科学基金 1

3.6 关键词共词聚类分析

关键词是对论文研究内容的高度提炼,通过对论文的关键词词频进行统计和共现分析,能有效得出当前该领域的研究热点。本文对检索到的253篇图书馆大数据研究的文献进行关键词统计,高频关键词在一定程度上能够反映当前国内有关图书馆大数据研究的热点主题,由表6可知,大数据出现的次数最多(203次),其次是图书馆(115次),同时,国内图情界研究主要集中于知识服务、数据分析、信息服务、云计算、图书馆服务等方面。
表6 图书馆领域大数据的关键词词频统计
关键词 词频
大数据 203
图书馆 115
高校图书馆 40
数据挖掘 27
大数据时代 26
信息服务 22
数字图书馆 18
云计算 18
知识服务 18
图书馆服务 17
数据分析 15
数据处理 10
服务创新 8
智慧图书馆 7
对策 7
挑战 7
个性化服务 7
非结构化数据 5
信息资源 4
大数据知识服务 4
图书馆大数据 4
笔者采用CNKI导出txt格式的文本文件关键词,整理后导入到excel表格,进行关键词排序整理,建立共词矩阵,然后将共词矩阵导入到SPSS中做聚类分析,得到树状图。
选择前13个关键词做共词分析,如图3所示:
图3 图书馆领域大数据关键词共词矩阵
共有349个关键词,对所截图关键词进行聚类分析,运用SPSS软件分析得到结果如图4-6所示:
由图6可知,可以将13个关键词初步分为3类:①数据挖掘和高校图书馆;②大数据和图书馆;③其他(数据处理、分析、知识服务、数字图书馆、云计算等归为一类)。可以看出,图书馆与大数据的联系较为紧密,是本领域的研究热点,数据挖掘技术在图书馆中的应用也是研究的趋势。
图7是用社会网络分析软件Ucinet和Netdraw软件绘制的高频关键词共现网络图。首先将共现矩阵导入Ucinet 6 中进行数据处理及格式转换,之后使用Netdraw 2.084 软件绘制得到大数据领域研究前沿演进知识地图,“关键词”是直达论文核心论点的“窗口”,读者往往可以通过3-4个关键词直观地判断一篇文章是否有自己关心的内容。把多个“关键词”作为文献分析的重点,以研究其相互之间的关系,能够揭示学科热点。图7中方块代表关键词,关键词与关键词之间的连线表示其共现关系,且连线粗细与关系强度正相关。同时利用点度中心性(degree centrality)进行测度。点度中心性可以测量出团体中的重要中心人物,其数值越高,表示其在网络中有着相应较高的影响力。
图7 Ucinet关键词共现网络
由图8可知,大数据作为高频关键词处在中心位置,信息分析、数据挖掘、信息服务与大数据的联系较为密切,与大数据共现频次较高。
图8 Ucinet关键词共现网络
图8为关键词频次大于3的共现图:该图以大数据为中心,与其距离的远近表明两者之间的紧密程度,此图也表明大数据在中心位置占据着主导地位,分析结果与上述雷同。

3.7 引文分析

文献之间的引用关系能够在很大程度上反映文献之间的主题相似性,能说明被引文献的学术价值和对其他学术研究的影响。表7是被引频次超过10次的文献,其中排名首位的是“图书馆需要怎样的大数据”,被引次数为62次。
表7 文献被引次数
题名 作者 来源 发表时间 被引次数 下载次数
图书馆需要怎样的大数据 樊伟红
李晨晖
张兴旺
秦晓珠
郭自宽
图书馆杂志 2012-11-15 62 4 938
大数据时代的图书馆服务浅析 杨海燕 图书与情报 2012-08-15 51 4 742
大数据时代图书馆的服务创新与发展 韩翠峰 图书馆 2013-02-15 46 3 985
大数据时代的图书馆初探 张文彦
武揣原
于洁
图书与情报 2012-12-15 42 3 648
知识咨询:大数据时代图书馆的知识服务增长点 王天妮 图书与情报 2013-04-20 35 2 480
大数据对图书馆的启示 姜山
王刚
图书馆工作与研究 2013-04-15 33 2 200
大数据时代下图书馆的挑战及其应对策略 朱静薇
李红艳
现代情报 2013-05-15 31 2 254
大数据趋势与专业图书馆 刘明
李娜
中华医学图书情报杂志 2013-02-15 28 1 372
大数据生态系统在图书馆中的应用 郭自宽
张兴旺
麦范金
情报资料工作 2013-03-25 19 1 340
大数据时代下图书馆开展信息服务的对策 王捷 现代情报 2013-03-15 18 1 386
大数据视角下图书馆的发展对策 王天妮 图书馆学刊 2013-03-30 17 1 261
大数据时代图书馆服务体系创新研究 孙琳 理论观察 2013-04-20 13 1 040
图9是知网引文分析工具做出的文献之间互引图,蓝色代表选中的文献,绿色代表参考文献,黄色代表引证文献,球的大小代表引用的次数。
图9 文献之间的互相引用情况
通过文献之间的相互引用关系,可以知道该领域哪些文献受到关注的程度较高,其中“图书馆需要怎样的大数据”“大数据时代图书馆的服务”被引次数较高,说明其受关注的程度较大。

4 建议和展望

综上所述,笔者认为我国图书馆界对大数据的研究热度呈增长趋势,文献数量持续增长,研究角度多样化,研究内容主要集中在:①大数据的含义、特征、应用范围等基础理论;②大数据为图书馆带来的机遇与挑战;③大数据环境下图书馆服务方式的改变。但总体研究实力不强,力量分散,持续性差,缺乏团队合作和实证研究,尤其是对大数据在图书馆的应用实践研究重视不够。图书馆界应该加强对大数据的实证研究,对图书馆利用大数据的方式、技术、服务模式的改进和创新等问题的研究要加强,在条件允许的情况下应更多地开展图书馆应用大数据的实证研究[4]。
[1]
Big data: The next frontier for innovation, competition, and productivity.[EB/OL].[2015-06-18]. http://www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation/.

[2]
Big data, big impact: New possibilities for international development[EB/OL].[2015-06-18]. http://www.chinacloud.cn/upload/2012-07/12071422217694.

[3]
Big data from Wikipedia[EB/OL].[2015-06-18]. http://en.wikipedia.org/wi-ki/Big data.

[4]
陆静.我国图书馆界大数据研究评述与展望[J].图书馆杂志,2014(1):20-25.

Outlines

/

〈 〉