coli-conc News

Cocoda primer

2015-04-13T00:00:00Z

This report briefly summarizes prototype and architecture of a mapping tool that is being created as part of project coli-conc at the head office of GBV Common Library Network (VZG). Project coli-conc aims at developing an infrastructure to facilitate management and exchange of concordances between library knowledge organization systems. This includes a modular web application named Cocoda.

Overview

For the most part knowledge organization systems in Cocoda are represented in the popular SKOS data model: a particular knowledge organization system is called a concept scheme consisting of a set of possibly connected concepts with, labels, notations, and other properties. A mapping relates similar concepts from one concept scheme to concepts of another concept scheme. A set of mappings between two concept schemes is called concordance. The main application of Cocoda is going to be the creation and evaluation of mappings and concordances with Dewey Decimal Classification (DDC) as primary use case.

Technical architecture

The technical architecture of Cocoda consists of seven layers. The following table lists each of them with current status and choice of technologies:

description	state	technology
web interface	first prototype	HTML, CSS, JavaScript
JavaScript client modules	alpha releases	AngularJS
JSKOS data format	incomplete draft	JSON(-LD)
JSKOS API and wrappers	drafts and ideas	HTTP, JSON
JSKOS databases	first prototype	CouchDB
mapping recommendation services	ideas & experiments	not implemented yet
quality assessment services	ideas	not implemented yet
user management	ideas	not implemented yet

Web interface

The current user interface of Cocoda web application is only a preliminary prototype to test functionalities. Later versions will be subject to usability studies.

JavaScript client modules

The web interface is build of independent JavaScript modules, which can also be used in other applications. Two of these modules have already been published as early alpha releases: ng-skos is a general module for simple knowledge organization systems and ng-suggest provides typeahead via OpenSearch Suggestions API. All modules are based on AngularJS because it seemed to be the most popular web application framework. A later version may also choose Web Components, plain jQuery or another JavaScript framework.

JSKOS data format

The JSKOS representation of knowledge organization system data is being developed based on SKOS and JSON-LD. This format combines the benefit of RDF for data aggregation and JSON for easy manipulation and storage. The current draft of JSKOS is available at https://gbv.github.io/jskos/.

JSKOS API and wrappers

Several APIs and services exist to query and store knowledge organization systems (Skosmos, Poolparty iQvoc, VocBench, Wikidata, lobid.org...). As part of coli-conc we will evaluate and compare these APIs and create wrappers to a common JSKOS-API. The current prototype makes use of API of lobid.org RVK. Both wrappers and API specification will be made available at https://gbv.github.io/jskos-api/.

JSKOS databases

CouchDB databases are used to store concepts and mappings in JSKOS format. A copy of German DDC in MARCXML has been transformed to this format for easy access with Cocoda web application. Both database and DDC data are not public by now.

Mapping recommendation services

The creation and management of mappings will be supported by several mapping recommendation services based automatic search for concept labels, existing mappings, connected concepts, and occurrences in library catalogs. The current prototype contains some static examples for illustration and testing.

Open Source KOS software

2016-03-24T00:00:00Z

This report gives an overview about Open Source software for Knowledge Organization Systems (KOS).

Motivation

Project coli-conc aims at concordances between Knowledge Organization Systems (KOS). To manage such concordances it first requires access to KOS and its concepts. The lack of a satisfying general data format and method of access to KOS, apart from SKOS and SPARQL, resulted in the (ongoing) specification of JSKOS data format and JSKOS-API. To integrate existing KOS via these standards, there are three options:

Conversion of KOS to JSKOS import into a database with support of JSKOS-API
Creation of JSKOS-API wrappers to existing terminology services
Add support of JSKOS-API to existing KOS software

The first option is executed at VZG for the most needed systems such as Dewey Decimal Classification (DDC) and Regensburger Verbundklassifikation (RVK). First examples of the second option are given at https://github.com/gbv/jskos-php-examples. But only the third option will scale to larger number of KOS. Open source luckily allows to extend existing software. For this reason an overview of Open Source software for Knowledge Organization Systems (KOS) is needed.

Existing lists of KOS software (a metabibliography)

Project coli-conc does not include creation of software to manage KOS because such software already exists in form of thesaurus editors, vocabulary management systems and similar tools. The following lists of KOS software were used to find open source software (including commercial products with an open source version):

The coli-conc Zotero library contains a section on software with almost 30 entries.
The ANDS appraisal of thesaurus software tools is an Excel sheet created by members of the Vocabulary Services Interest Group of Research Data Alliance (RDA). It contains 39 software systems, some of
The TaxoBank Terminology Registry has a list of Software for building and editing thesauri originally created by Leonard D. Will

Several more lists of taxonomy tools, ontology editors etc. exists so some tools may have been missed. Feedback is welcome!

Open Source KOS software

Name and Link	Language	License
Apelon Distributed Terminology System (DTS)	Java	Apache
ASKOSI	Java	GPL
Django Controlled Vocabularies	Python	BSD
FreeMind	Java	Apache
iQvoc	Ruby	Apache
OpenSKOS	PHP	GPL
Protégé	Java	BSD
Semantic MediaWiki	PHP	GPL
SISSVoc	Java & XSLT	Apache
SKOS API	Java	LGPL
Skosify	Python	MIT
SKOSjs	JavaScript	Apache
Skosmos	PHP	MIT
skosprovider	Python	MIT
TemaTres	PHP	GPL
VocBench	Java	?
Web Protégé	Java	BSD
XMind	Java	LGPL & EPL
VoCol	Java & JavaScript	MIT
Wandora	Java	GPL
Wikibase	PHP	GPL

Summary

The resulting list of software contains small and large projects, web applications and desktop applications, popular and less used software. Additional evaluation is needed to decide which products to focus on. Nevertheless the list shows that Java and PHP are the most used programming languages, so programming libraries for JSKOS(-API) should first be implemented in these languages (in addition to JavaScript which is needed for web clients). A first start has been made with a JSKOS programming library in PHP.

A novel approach to terminology mappings

2016-04-01T00:00:00Z

Introduction

The need of mappings between terminologies, vocabularies, ontologies, and other kinds of knowledge organization systems has been articulated since introduction of such systems at large scale.^[1] For this reason project coli-conc aims at developing an infrastructure to facilitate management and exchange of (cross-)concordances between terminologies. This report outlines a novel architecure of terminology mappings to ultimately connect all knowledge organization systems.

Background

As soon as concordances cross more than two vocabularies, multiple architectures can be applied [@ISO25964-2]. For small numbers, a many-to-many architecture is feasable, but for more terminologies a hub architecture becomes more appropriate [@Binding2015; @Soergel2011]. This requires people to agree on a common hub, but people tend to not agree especially on issues of knowledge organization. Networks of cross-concordances have been applied with success [@Mayr2008] but web-scale applications of distributed mappings require a new architecure.

Many-to-many architecture	Hub architecture

The noodle architecture

We propose the "noodle achitecture" as opposed to the many-to-many architecture and the hub architecture for managing a large number of concordances. In our model each knowledge organization system is once mapped to one other system. This second system is not a central hub but just another terminoloy that happens to be the last one not connected with two other terminologies yet. The resulting data structure has the shape of a very long noodle.

Noodle architecture

This architecture scales as well as the hub architecture but no central terminology is required. We expect this to result in much less debate among information architects because all terminologies are treated equally. To ensure that only one terminology is added at a time at the end of the noodle, the whole data structure is managed as blockchain: this kind of distributed database known from Bitcoin can be applied to other domains as well [@Nakamoto2008].

Summary

This report introduces a novel approach to manage a very large^[2] number of mappings between any kind of knowledge organization systems. The so called noodle architecture combines the benefit of a hub architecture with less struggle about which system to use as central hub.

References

For instance at the 1910 conference of the International Federation for Information and Documentation (FID). ↩︎
In notions of big data as explained by @Shaw2015. ↩︎

Anforderungen an Normdatendienste

2016-04-21T00:00:00Z

Die vorliegende Übersicht fasst das Ergebnis einer Session "Anforderungen an Normdatendienste" auf dem DINI AG KIM Workshop am 4./5. April in Mannheim zusammen.

Einleitung

Normdaten im weitesten Sinne, d.h. Wissensorganisationssysteme wie Klassifikationen, Thesauri und Normdateien, ermöglichen die verlässliche Identifizierung von Personen, Orten, Sachgebieten und anderen Entitäten. Daher spielen Normdaten sowohl bei der Erhebung als auch bei der Auswertung von Daten (bibliographische Daten, Forschungsdaten etc.) eine besondere Rolle. Um die Nutzbarkeit von Normdaten zu verbessern, müssen diese in geeigneter Weise bereitgestellt werden. In der Session "Anforderungen an Normdatendienste" auf dem Workshop der DINI AG KIM wurde deshalb am 5. April 2016 der Frage nachgegangen, welche Nutzungsarten von Normdaten besonders relevant sind und wie diese über einheitliche Schnittstellen bereitgestellt werden können.

Vorgehen

Um den rund 50 TeilnehmerInnen eine konstruktive Diskussion zu ermöglichen, wurden Gruppen von etwa sechs Personen gebildet, deren MitgliederInnen zunächst einzeln und dann gemeinsam nach Anwendungsfällen suchen sollten. Zur Erfassung der Ergebnisse gab es einzelne Formulare für Anwendungsfälle eines Normdaten-Iterfaces (GUI) oder einer Normdaten-API (Webservice). Das an die so genannte "Design Studio Methode" angelehnte Entwicklungsmethode besteht aus mehreren, zeitlich strikt begrenzten Phasen und ermöglichte es, innerhalb von 90 Minuten zahlreiche Anwendungsfälle und Anforderungen an Normdatendienste zusammenzustellen. Die begleitenden Folien enthalten eine Einleitung und fassen das Vorgehen zusammen [@Voss2016b].

Ergebnisse

Die folgende Liste enthält eine Auswahl von allgemeinen Anwendungsfällen und Anforderungen an Normdatendiensten, die im Rahmen der Session ermittelt wurden.

Abfrage von Synonymen (alternativen Benennungen), ggf. in ausgewählten Sprachen und über Mappings zu anderen Normdateien, zur Suchexpansion beim Volltextretrieval
(Fuzzy-)Suche in Normdateien zur Ermittlung unbekannter, passender Begriffe
Metasuche nach Begriffen in mehreren Normdateien
Multilinguale Suche mittels mehrsprachiger Normdateien und Konkordanzen
Autovervollständigung/Typeahead zum Vorschlagen von Begriffen bei der Eingabe
Abfrage der kanonischen Form (Vorzungsbenennung) eines Begriffs
Entity-Kurzinfo ("Steckbrief") mit wesentlichen Daten z.B. zur Anzeige als Popup
Abfrage von Änderungen an Normdateien und Begriffen (Lifecycle, Provenienz...)
Nutzungsstatistik welche Normdateien und Begriffe wo und wie häufig verwendet werden
Ermittlung von Ressourcen die mit einem gegebenen Begriff indexiert sind
Anreicherung von Normdaten mit Informationen aus anderen Normdateien
Feedback-Möglichkeit zur Korrektur oder Ergänzung von Normdaten durch Nutzer
Anreicherung von Übersetzungen mittels Crowdsourcing für mehr Mehrsprachigkeit
Abfrage von Konkordanzen und Mappings zu anderen Normdateien und deren Begriffen.
Erstellung von Mappings mit Vorschlagsfunktion (z.B. auf Basis von Kookkurrenzen)
Named Entity Recognition, d.h. automatische Erkennung von Begriffen in einem Text
Concept mining zur Ermittlung von Begriffen oder Begriffskandidaten aus Texten

Ausblick

Die vorliegende Sammlung bedarf noch einer genaueren Gruppierung, Priorisierung und Ausarbeitung der ermittelten Anwendungsfälle sowie des Abgleichs mit weiteren Anforderungskatalogen wie die Sammlung der RDA Vocabulary Services Interest Group. Für die weitere Beurteilung wären auch die Untersuchung vorhandener Umsetzungen (best practice, falls vorhanden) hilfreich.

Im Rahmen des Projekt coli-conc sollen Anforderungen an Normdatendienste in die Spezifikation der JSKOS-API und in die Entwicklung von Normdatendiensten der VZG eingehen [@Voss2016a]. Die Koordination mit vorhandenen Normdatendiensten (lobid.org, econ-ws, entity facts...) kann über die DINI AG KIM Normdaten erfolgen. Für eine umfassende Umsetzung, Evaluation und Dokumentation der Anforderungen ist jedoch aufgrund des Arbeitsumfangs eine zusätzliche Förderung angebracht.

Literaturnachweise

Open Source web applications for Knowledge Organization Systems

2016-08-31T00:00:00Z

This report gives an overview about Open Source web applications to create, manage, and publish Knowledge Organization Systems (KOS).

Background

To manage concordances between Knowledge Organization Systems (KOS) in project coli-conc, access to each of these KOS is required. To access and manage KOS there are several tools, as listed in a first report [@ColiConcTR2]. This new report contains an update of this list, narrowed down to web applications. The collection only contains applications with main focus on KOS management. More application exist to make use of controlled vocabularies as part of another task, ^[1] but their evaluation would require a much larger study.

Open Source web applications for KOS

The list given in coli-conc report 2 has been updated with information about KOS editing and API features, source code repository, year of last update, and rough number of contributors.

Name and Link	Editor	API	Language	License	Source	Update	Contributors
Semantic MediaWiki	yes	yes	PHP	GPL	GitHub	2016	50
Wikibase	yes	yes	PHP	GPL	Wikimedia	2016	30
TemaTres	yes	yes	PHP	GPL	GitHub	2016	3
iQvoc	yes	yes	Ruby	Apache	GitHub	2016	12
SKOS Editor	yes	yes	Java	LGPL	GitHub	2016	7
Ginco	yes	yes	Java	CeCILL	GitHub	2016	9
VocBench	yes	no	Java	?	Bitbucket	2016	4
Web Protégé	yes	?	Java	BSD	GitHub	2015	4
SKOSjs	yes	no	JavaScript	Apache	GitHub	2014	4
VoCol	yes	no	JavaScript	MIT	GitHub	2016	5
OpenSKOS	no	yes	PHP	GPL	GitHub	2016	10
Django C.V.^[2]	no	no	Python	BSD	GitHub	2016	4
Skosmos	no	yes	PHP	MIT	GitHub	2016	4
SKOS Play	no	no	Java	CC-BY-SA	Bitbucket	2016	1
SISSVoc	no	yes	XSLT	Apache	GitHub	2015	6
ASKOSI	no	?	Java	GPL	Archive	2011	1

Software development

The updated list contains 16 web applications for knowledge organization systems, written in six different programming languages (Java: 7, PHP: 5, JavaScript: 2, Ruby/Python/XSLT: 1 each). All applications except SISSVoc and Django Controlled Vocabularies also use JavaScript for their web interface. All projects except ASKOSI use git for version control, mainly hosted at GitHub. At least half of the applications implement a web API to query or modify KOS content in machine-readable form.

ASKOSI and SKOSjs will be excluded from the following evaluation because they have not been updated since more then two years. All remaining projects except SISSVoc have been updated in the last nine month, showing active development. The number of contributors gives a rough estimate of the developer community.

Typology of KOS applications

The applications can be grouped by several criteria for further evaluation.

KOS tools vs. general ontology tools

Semantic MediaWiki, Wikibase, and Web Protégé are no KOS applications in a stricter sense but they aim at the creation and management of ontologies, semantic neworks, or knowledge bases. It is possible to use them for KOSs but more serious work requires some configuration, usage guidelines, and additional tools or extensions [@Voss2016].

KOS editors vs. KOS publishing tools

KOS editors can be used to create and modify taxonomies, thesauri, glossaries or other kinds of KOS. Nine applications (including the general ontology tools) can be used as KOS editor and five only provide read access. For instance VocBench provides advanced editing capabilities with workflow and user management but it recommends a SKOS Browser such as Skosmos to provide public access to the resulting systems. KOS editors can further be grouped into simple KOS editors and tools for KOS management. The latter include an editorial workflow with user roles (e.g. editors and publishers) and publication states (e.g. new, suggested, published, and deleted concepts).

Resulting categories

The analysis of Open Source KOS web application types results in four categories. KOS management tools and editors can mostly be used also for KOS publishing but with less access-oriented features.

type	applications
Ontology editor	Semantic MediaWiki, Wikibase, Web Protégé
KOS management	iQvoc, TemaTres, VocBench, Ginco
KOS editor	SKOS Editor, VoCol
KOS publishing	OpenSKOS, Skosmos, SKOS Play, SISSVoc, Django Controlled Vocabularies

Two applications should be sorted out before evaluation because of their specialized use case:

SKOS Play generates visualizations and printable forms of KOS given in SKOS format.
VoCol is a framework to support collaborative management of vocabularies in git repositories.

Evaluation

An in-deep evaluation would first require definition of criteria and goals. This report only gives an overview and recommendations for project coli-conc. The project does not include editing KOS but creation of uniform access methods to KOS information from multiple sources in JSKOS format [@JSKOS]. For each KOS applications the question is whether to

engage into adding JSKOS features to the software,
create a wrapper to access the application's API,
or to use exported SKOS files (if available).

ASKOSI, SKOSjs, SKOS Play and VoCol have been selected to be ignored. For ontology editors it neither makes sense to create a dedicated JSKOS API. A wrapper to convert Wikidata (based on Wikibase) to JSKOS has already been started instead.^[3] Focus on most used programming languages also makes iQVoc (Ruby), Django Controlled Vocabularies (Python), and SISSVoc (XSLT) candidates for more wrappers instead of adding features to them.

Engagement in developer community should be considered for six projects to natively support an API for querying KOS information in JSKOS format: TemaTres, Skosmos, OpenSKOS (PHP) and SKOS Editor, Ginco, VocBench (Java). A PHP framework for JSKOS processing and access is already being developed as part of project coli-conc to build on.^[4]

Summary

This report collected information about sixteen Open Source web applications for Knowledge Organization Systems (KOS). The applications can be grouped in four categories (ontology editor, KOS management, KOS editor, KOS publishing). The report does not include a detailed evaluation but recommendations for project coli-conc. Three PHP-based projects and three Java-based projects have been identified for possible collaboration in software development.

References

For instance Annotation applications such as Annot. ↩︎
Django Controlled Vocabularies ↩︎
See https://github.com/gbv/jskos-php-examples ↩︎
See https://github.com/gbv/jskos-php ↩︎

Ein Vergleich ausgewählter Normdatendienste

2017-05-31T00:00:00Z

Dieser Report fasst Ergebnisse eines Vergleichs von APIs zum Zugriff auf ausgewählte Wissensorganisationssysteme zusammen.

Einführung

Im Rahmen des Projekt coli-conc wurden in einem Workshop der DINI AG KIM allgemeine Anforderungen an Normdatendienste zum Zugriff auf verschiedene Wissenssorganisationssysteme ermittelt [@TR4]. Der vorliegende Report untersucht die Eigenschaften einiger vorhandener Normdatendienste. Die Untersuchung basiert auf den Ergebnissen eines umfangreicheren Vergleichs von APIs zum Zugriff auf kontrollierte Vokabulare [@Horn2016].

Untersuchte Normdatendienste

Untersucht wurden vier Schnittstellen zum Zugriff auf die folgenden Vokabulare:

Vokabular	Typ	API-Betreiber
Regensburger Verbundklassifikation (RVK)	Klassifikation	Uni Regensburg^[1]
Gemeinsame Normdatei (GND)	Normdatei	hbz (lobid.org)^[2]
Standardthesaurus Wirtschaft (STW)	Thesaurus	ZBW^[3]
Library of Congress Subject Headings (LCSH)	Thesaurus	LoC^[4]

Rückgabeformate

Abgesehen von der RVK-API, die ein eigenes JSON- bzw. XML-Format verwendet, basieren die Rückgabeformate aller APIs auf RDF, das in unterschiedlichen Serialisierungen (RDF/XML, Turtle...) ausgewählt werden kann. Die RDF-Formate basieren bei STW und LCSH auf SKOS [@SKOS], während für die GND eine eigene Ontologie definiert wurde [@Haffner2016]. Das Format der STW beschränkt sich weitgehend auf SKOS. Die Library of Congress bietet mit MADS/RDF zusätzlich eine Erweiterung an.^[5] Noch umfangreicher ist die GND-Ontologie mit 228 Eigenschaften.

Umfang der zurückgelieferten Daten

Trotz unterschiedlicher Rückgabeformate lassen sich Gemeinsamkeiten in den über die verschiedenen APIs abfragbaren Datenfeldern ausmachen. Die folgende Übersicht beschränkt sich auf einen Vergleich der abfragbaren Verknüpfungen: Dies sind hierarchische (broader, narrower, ancestors) und assoziative Verknüpfungen (related) zwischen Begriffen eines Vokabulars sowie mappings auf andere Vokabulare.

Feld	RVK	GND	STW	LCSH
broader	X	X	X	X
narrower	X	-	X	X
ancestors	X	-	-	-
related	-	X	X	X
mappings	-	X	X	X

Die RVK-API bietet als einzige der untersuchten Dienste eine Möglichkeit alle transitiv übergeordneten Klassen (ancestors) einer Klasse abzufragen, was allerdings bei monohierarchischen Klassifikationen auch einfacher umzusetzen ist. Allerdings wird bei Auswahl einer Klasse nur mitgeteilt, ob untergeordneten Klassen vorhanden sind, die in diesem Fall mit einer weiteren Abfrage ermittelt werden können. In der GND fehlen untergeordnete Begriffe ganz.

Die Einträge von STW zu GND und LCSH zu GND sind jeweils über Mappings miteinander verknüpft. Zudem enthält die LCSH Mappings auf die Normdatei RAMEAU der französischen Nationalbibliothek. In der GND sind diese Mappings zwar auch enthalten, werden aber nicht über die API mitgeliefert. Die GND enthält dafür Verknüpfungen zu den eigenen GND Subject Categories und der DDC. Sowohl GND als auch STW sind weiterhin (über de.wikipedia bzw. DBPedia) mit Wikipedia verknüpft^[6]). In den STW-Daten sind zusätzlich Verlinkungen auf Einträge im Katalog des ZBW enthalten.

Abfragemöglichkeiten für typische Anwendungsfälle

Die folgende Tabelle liefert einen Vergleich der APIs mit den von @TR4 genannten Anwendungsfällen und Anforderungen mit Ausnahme von Schreib-Zugriffen.

Anforderung	RVK	GND	STW	LCSH
Abfrage von Synonymen	X	-	X	-
(Fuzzy-)Suche in Normdateien	X	X	(X)	-
Metasuche in mehreren Normdateien	-	-	-	X
Multilinguale Suche	-	-	X	-
Autovervollständigung/Typeahead	X	X	X	-
Entity-Kurzinfo	(X)	X	(X)	X
Abfrage der kanonischen Form	-	X	(X)	(X)
Abfrage von Konkordanzen und Mappings	-	-	X	-
Abfrage von Änderungen	-	-	X	(X)
Nutzungsstatistik	-	-	-	-
Ermittlung von indexierten Ressourcen	-	-	(X)	-

Einige Anwendungsfälle können mit den vorhandenen APIs nicht oder nur eingeschränkt (z.B. indirekt über andere Abfragen) umgesetzt werden. Die APIs der STW bieten den weitesten Funktionsumfang, was allerdings auch mit der Komplexität des Vokabulars zusammenhängt. Die API der LCSH kann mit ihrer Beschränkung auf einfachem Linked Open Data, d.h. Abfrage per bekannter URI, den wenigsten Anforderungen genügen. Die Typeahead-Funktionen sind bei allen APIs mangelhaft, da sie anscheinend nicht auf Ranking-Verfahren basieren.

Zusammenfassung und Ausblick

Zusammenfassend lässt sich feststellen dass die verschiedenen untersuchten Normdatendienste trotz grundsätzlicher Vergleichbarkeit sehr unterschiedlich ausfallen. Selbst die RDF-basierten APIs sind uneinheitlich umgesetzt. Generell lassen sich mit SKOS zwar Ansätze einer Vereinheitlichung erkennen, solange aber SKOS-Erweiterungen, Umfang der zurückgelieferten Daten und Abfragemöglichkeiten variieren, ist eine einheitliche Abfrage verschiedener Normdatendienste aber nicht möglich.

Im Rahmen des Projekt coli-conc wird deshalb neben der Vereinheitlichung von SKOS-Varianten mit dem Format JSKOS [@JSKOS] eine darauf basierende API zur Abfrage von Wissenssorganisationssystemen entwickelt. Eine Teilmenge dieser JSKOS-API wurde bereits unter dem Namen ELMA [@ELMA] festgelegt und umgesetzt.

Zur weiteren Entwicklung und Evaluation von Normdatendiensten sollen im Verlauf des Projektes neben Normdatendiensten für einzelne Vokabulare die APIs verschiedener Webanwendungen zum Zugriff auf Wissensorganisationssysteme verglichen werden [@TR7].

Nachweise

http://rvk.uni-regensburg.de/Portal_API/ (nicht dokumentierter Endpunkt) ↩︎
http://lobid.org/api ↩︎
http://zbw.eu/labs/de/project/econ-ws (Sammlung mehrerer APIs) ↩︎
http://id.loc.gov/authorities/subjects.html ↩︎
http://www.loc.gov/standards/mads/rdf/ ↩︎
Inzwischen wäre ein Mapping mit Wikidata sinnvoller. ↩︎

Cocoda Technical Architecture

2018-05-31T00:00:00Z

This report gives an update on the architecture of Cocoda, a mapping tool for concordances between library knowledge organization systems that is being developed at the head office of GBV Common Library Network (VZG). A new implementation or Cocoda has been started from scratch.

Background

The aim of project coli-conc is an infrastructure to facilitate management and exchange of concordances between library knowledge organization systems. In particular this includes a web application to manage, create, and evaluate mappings. Since its beginning in 2015, the technical and organizational background of the project and its mapping tool have evolved. After some attempts with a monolithical Java application we revisited our original plan of a modularized web application. Based on experiences with two prototypes and the mapping data collected so far we started with a new implementation in May 2018. This report supersedes the Cocoda primer [@tr1] with an overview of the current technical architecture.

JSKOS Data Format

The core of the concordances infrastructure turned out to be the JSKOS data format for knowledge organization systems. In short this format is an application profile of JSON-LD [@JSONLD] for SKOS [@SKOS] extended by support of mappings, concordances, usage statistics, and optional closed world statements [@JSKOS]. The specification has reached a stable state with only minor additions to be discussed.

Cocoda Web Application

The new version of Cocoda is build as singe page web application using the Vue JavaScript framework instead of AngularJS. We had some good experiences with the latter [@code4lib] but Vue turned out to be more manageable. The application can be broken down into four main components:


concept browser	based on a hierarchical navigation and a detailled display of selected concepts
mapping editor	to create, modify, and annotate mappings
mapping browser	to show existing mappings and mapping recommendations from multiple sources
occurrences table	to show the number of times selected concepts are used in library catalogs

These components shall also be usable independently from Cocoda for instance to provide hierarchical browsing in one classification. Additional parts of the application for interaction with backend services may be pubished as npm modules which can also be used for server side applications.

The web application is developed publically at https://github.com/gbv/cocoda with technical documentation published at https://gbv.github.io/cocoda/. We use a Kanban board at Waffle.io for project management and travis-ci for continuous integration.

Backend Web Services

The web application communicates with independent backend services, mainly in JSKOS format:

terminology services such https://api.dante.gbv.de/, Skosmos etc. [@poster]
mapping providers with concordances and mapping recommendations
occurrence services that look up (combined) usage of concepts in library catalogs
mapping stores allow creation, modification, and annotation of mappings
identiy providers manage user accounts and provide access tokens via OAuth2

Additional Data Processing

Backend services and additional data processing pipelines are implemented with different technologies. In particular we use and contribute to:

mc2skos command line application for converting MARC 21 records to JSKOS
Catmandu data processing toolkit for access to and transformation of other library data
wikidata-taxonomy and wdmapper Wikidata authority file extraction and mapping tools

References

Übersicht von GND-Konkordanzen

2018-11-29T00:00:00Z

Diese Übersicht fasst vorhandene Mappings zwischen der Gemeinsamen Normdatei (GND) und anderen Vokabularen zusammen soweit diese ermittelt werden konnten (Stand November 2018).

Konkordanzen auf die GND

Mappings von Einträgen anderer Vokbaulare zu GND-Datensätzen stammen aus verschiedenen Projekten und werden mit unterschiedlichen Verfahren erstellt und gepflegt.

Mappings	Vokabular	Beschreibung und Stand
~17.886.000	VIAF	Vor allem Personensätze (monatlich aktualisiert)
~670.000	Wikidata	Alle Arten von Wikidata-Items (laufend aktualisiert)
~95.000	RVK	GND-Registerbegriffe in der RVK (vierteljährliche Updates)
21.579	STW	Verschiedene Relationstypen, vorrangig Sachbegriffe der Wirtschaftswissenschaften und angrenzender Disziplinen (aktuell)
14.051	TheSoz	Verschiedene Relationstypen, vorrangig Sachbegriffe der Sozialwissenschaften und angrenzender Disziplinen (Aktualisierung erforderlich)
~9.500	MeSH	Verschiedene Relationstypen, vorrangig Sachbegriffe der Medizin (Stand 2008, Aktualisierung bis 2020 geplant)
6.250	AGROVOC	Verschiedene Relationstypen, vorrangig Sachbegriffe der Agrar- und Lebenswissenschaften und angrenzender Disziplinen (Stand 2008, Aktualisierung bis 2020 geplant)

Die umfangreichste Konkordanz mit der Virtual International Authority File (VIAF) wird algorithmisch bestimmt [@Hickey2014] während Mappings in Wikidata manuell und offen von Freiwilligen eingetragen werden. Zuvor wurden seit 2005 Wikipedia-Personenartikel mit PND-IDs versehen [@Voss2005].^[1] VIAF und Wikidata weisen beide die Besonderheit auf, dass es sich um Mapping-Hubs handelt, die neben der GND mit weiteren Vokabularen verknüpft werden; sie können also auch genutzt werden um von GND indirekt auf andere Vokabulare zu mappen. Alle anderen hier aufgeführten Konkordanzen wurden von Expert*innen erstellt.

Konkordanzen von der GND

Mappings von GND-Datensätzen werden zum größten Teil direkt in der GND eingetragen. Bei Personendatensätzen wird dafür PICA-Field 024 mit Standard Identifier Source Codes [@IdentifierSourceCodes] verwendet, dabei sind jedoch nur 1-zu-1-Mappings möglich. Die DDC-Mappings stehen mit unterschiedlichem Determiniertheitsgrad in PICA-Feld 083. Weitere Mappings sind bereits im RDF-Format verfügbar. Mit dem Projekt GNDmul sollen ab 2020 alle vorhandenen Mappings in der GND eingetragen und in verschiedenen Formaten verfügbar gemacht werden.

Mappings	Vokabulare	Beschreibung und Stand
~228.000	DDC	Aufbauend auf CrissCross-SWD (laufend aktualisiert)
~101.000	LCSH/RAMEAU	Vorrangig Äquivalenz- oder Nullrelationen für Sachbegriffe mit hohem Dokumentenaufkommen in zugehörigen Bibliothekskatalogen (Aktualisierung erforderlich)
11.200	AGROVOC	Siehe AGROVOC-GND-Konkordanz
6.262	ORCID	Neue Personendatensätze (laufend aktualisiert)
3.405	VIAF	Neue Personendatensätze (laufend aktualisiert)
2.249	SCOPUS	Neue Personendatensätze (laufend aktualisiert)
2.026	ISNI	Neue Personendatensätze (laufend aktualisiert)
1.732	LCCN	Neue Personendatensätze (laufend aktualisiert)
843	Wikidata	Neue Personendatensätze (laufend aktualisiert)
677	ResearcherID	Neue Personendatensätze (laufend aktualisiert)
27	Getty ULAN	Neue Personendatensätze (laufend aktualisiert)

Nutzung der GND-Konkordanzen

Die Mappings aller vorhandenen Konkordanzen werden nach und nach in die coli-conc-Konkordanzdatenbank eingetragen und können dort abgefragt und heruntergeladen werden. Eine aktuelle Übersicht speziell von GND-Mappings findet sich unter http://coli-conc.gbv.de/concordances/gnd. Zur Erstellung und Pflege weiterer Mappings steht die Webanwendung Cocoda zur Verfügung.^[2] Eine Auswertung vorhandener Mappings nach Abdeckungsgrad und Konsistenz steht noch aus.

Literatur

Siehe https://de.wikipedia.org/wiki/Hilfe:GND. Die Wikipedia-Mappings sind weitgehend nach Wikidata migriert, werden aber von der deutschprachigen Wikipedia-Community noch parallel weitergepflegt. ↩︎
Siehe </cocoda/> und https://github.com/gbv/cocoda. ↩︎

Cocoda 1.4.0

2020-06-30T00:00:00Z

Die neue Version 1.4.0 des Mapping-Tool Cocoda beinhaltet neben mehreren Bugfixes interne Umstrukturierung (Refactoring): wesentliche Funktionen zum Zugriff auf Vokabulare und andere JSKOS-Daten können mit dem Modul cocoda-sdk nun auch unabhängig von Cocoda genutzt werden. Außerdem wir mit der Bereitstellung von Docker-Images begonen, um die Installation von Cocoda weiter zu vereinfachen.

Weitere Details zur neuen Version finden sich in den Release-Notes bei GitHub.

Neue Webseite

2020-07-09T00:00:00Z

Wir arbeiten gerade an dieser tollen neuen Webseite.

Prototyp von coli-rich zur Kataloganreicherung

2020-08-24T00:00:00Z

Unter https://gbv.github.io/coli-rich/ gibt es einen ersten Prototyp der Webanwendung coli-rich zur Anreicherung der Sacherschließung mittels Konkordanzen. Über die Weboberfläche lassen sich Datensätze aus dem K10Plus-Katalog laden und die darin vorhandenen Sacherschließungsdaten analysieren. Falls das coli-conc Konkordanz-Register passende Mappings zu Vokabularen enthält, mit denen der Datensatz noch nicht erschlossen ist, wird eine entsprechende Anreicherung vorgeschlagen. Mappings können mit Cocoda direkt zum Konkordanz-Register hinzugefügt oder dort bewertet werden.

Im Laufe des Jahres soll coli-rich erweitert werden, so dass nur geprüfte Mappings Verwendung finden. Wenn sich Mappings als falsch herausstellen, kann die Anreicherung zurückverfolgt und automatisch korrigiert werden. Nach der Testphase wird die Anreicherung auf größerer Teile des K10Plus-Katalog ausgeweitet und automatisiert.

Bislang werden Basisklassifikation (BK), Regensburger Verbundklassifikation (RVK), Sachgruppen der Deutschen Nationalbibliografie und Dewey-Dezimalklassifikation (DDC) unterstützt.

Cocoda 1.4.1

2020-08-25T00:00:00Z

Release 1.4.1 of Cocoda contains a few bugfixes and updated dependencies. DDC and SDNB notations are now displayed in a special way.

You can find the full release notes on GitHub.

New Website

2020-09-29T00:00:00Z

After more than five years, the coli-conc website at </> got a fresh layout and internal refactoring. All URLs should still be working! (If not, please let us know.) The sources are managed in a public GitHub repository like all of our software. Selected pages are available in both English and German.

Instead of being served through PHP, the website is now built from Markdown files via a static site generator called Eleventy. This made it possible to better separate logic from content. Dynamic elements can be added client side with our favorite JavaScript framework Vue.

This post is also part of our new blog! We converted existing reports to blog posts, so there are already some posts available. We will share updates about the project and our services here from now on. You can subscribe to our blog via RSS and follow us on Twitter.

Verbundzentrale des GBV übernimmt BARTOC

2020-11-04T00:00:00Z

Die Verbundzentrale des GBV (VZG) hat zum November 2020 den Betrieb des Vokabular-Verzeichnis BARTOC übernommen. BARTOC enthält Informationen zu über mehr als 5.000 Wissensorganisationssysteme wie Klassifikationen, Thesauri, Ontologien und Normdateien. Die Inhalte werden durch eine internationale Gruppe von Redakteuren betreut und stehen in verschiedener Form frei zur Verfügung. Das "Basic Register of Thesauri, Ontologies & Classifications" (bisher "Basel Register of Thesauri, Ontologies & Classifications") wurde 2013 von Andreas Ledl an der UB Basel entwickelt und dort betrieben. Mit dem Umzug an die VZG in Göttingen wurde die Datenbank auf eine neue technische Infrastruktur im Rahmen des Projekt coli-conc umgestellt. BARTOC wird damit zu einem zentralen Bestandteil weiterer Normdatendienste wie der Webanwendung Cocoda zur Erstellung und Pflege von Konkordanzen und den einheitlichen Schnittstellen zum Zugriff auf Vokabulare.

Die Adresse https://bartoc.org/ und alle BARTOC-URLs bleiben bestehen. Das Redaktionsteam freut sich über Hinweise auf Ergänzungen und Korrekturen.

Mapping Wikidata and other vocabularies with Cocoda

2020-11-19T00:00:00Z

Last month the WikiCite Virtual Conference took place with 32 hours of presentations and discussion in 5 languages. Recordings are available, there is a lot of interesting input! In particular we co-organized a session on Knowledge Organization and bibliographic data. After a keynote by Andrea Scharnhorst we gave a German introduction how to create and manage mappings between Wikidata and other vocabularies using Cocoda. The presentation was later repeated in English as well (7 minutes).

In Wikidata there is also a detailled documentation page about Cocoda. Have a look and try out mapping!

Cocoda 1.4.3

2020-11-24T00:00:00Z

Release 1.4.3 of Cocoda contains a few bugfixes and updated dependencies. It also adds support for Skomos hierarchies (including the ILC vocabulary) as well as a "Share Link" for mapping searches.

You can find the full release notes on GitHub.

DFG-Bewilligung

2020-12-08T00:00:00Z

Wir freuen uns mitzuteilen, dass das Projekt coli-conc für die abschließende Projektphase 2021/2022 eine weitere zweijährige finanzielle Unterstützung von der DFG bewilligt bekommen hat. Wir werden an dieser Stelle regelmäßige Updates zum weiteren Projektverlauf veröffentlichen.

Stable release of BARTOC.org

2021-02-04T00:00:00Z

At the end of 2020 the terminology registry BARTOC was migrated to the head office of common library network (VZG). Team coli-conc is responsible for its maintenance since then. In the last month we fixed the pending bugs and polished the user interface to finally reach a stable release version 1.0.0. Major improvements include an enhanced search with multiple sort options and improved vocabulary editing.

BARTOC is continuously extended, your feedback and suggestions are highly appreciated! To add or modify vocabulary metadata please contact the editors.

New layout:

Old layout:

Stellenausschreibung

2021-02-10T00:00:00Z

Wir suchen zum nächstmöglichen Zeitpunkt als Verstärkung für unser Team eine*n Systembibliothekar*in. Die Stelle ist teilzeitgeeignet mit umfangreicher Möglichkeit zur Telearbeit, ein Umzug nach Göttingen ist also nicht notwendig. Zu den geplanten Tätigkeiten gehört:

Erstellung und Bewertung von Normdaten-Konkordanzen und Vokabularpflege
Datenpflege, Datenkonvertierung und Aufbereitung von Statistiken
Erstellung von Informationsmaterial
Durchführung von Workshops und Schulungen (bis auf Weiteres primär online)
Kommunikation mit bibliothekarischen Einrichtungen und Herausgeberinnen und Herausgeber

Bewerbungsschluss ist Ende März. Weitere Details in der Stellenausschreibung. Für Rückfragen stehen wir gerne zur Verfügung!

Vocabulary browsing in BARTOC

2021-03-23T00:00:00Z

The vocabulary registry BARTOC contains metadata about several thousand library classifications, thesauri, ontologies and other controlled vocabularies to improve visibility and findability of knowledge organization systems. With the migration to coli-conc infrastructure, we also aim to improve direct access to vocabulary content. This includes information about public APIs to access vocabularies, for instance Skosmos, Skohub, JSKOS API, SPARQL, and other kinds of webservices.

Based on these APIs we started to implement searching and browsing in vocabularies as part of BARTOC user interface. See Library of Congress Genre/Form Terms, EuroVoc, Regensburger Verbundklassifikation (RVK), and DDC. The latter is only available in German because of the license.

Unification of vocabulary services in BARTOC will be presented at poster at Code4Lib 2021 conference. A small slideset is available via https://doi.org/10.5281/zenodo.4629367.

Analysis of Synthesized DDC Numbers

2021-03-25T00:00:00Z

The Dewey Decimal Classification (DDC) has been in use for more than 100 years in libraries in more than 138 countries around the world. In addition to the classes listed in the schedules, the DDC system allows to build so called synthesized numbers based on sophisticated rules. The way back is not straigthforward and it cannot easily be seen which DDC classes are contained in a synthesized DDC number. The automatic analysis of DDC numbers is carried out at the VZG as part of the project Colibri/DDC by Ulrike Reiner, PhD. We are happy to share the first publicly available version of an API and web interface to look up and show the most detailed anaylsis of synthesized DDC numbers. As of today, the database contains 11,360 analyzed DDC numbers from the main classes 100 and 700. More information and a short screencast can be found on the coli-ana project page.

Präsentationen zu BARTOC und Sacherschließung

2021-06-18T00:00:00Z

Das Projekt coli-conc umfasst inzwischen mehrere Dienste und Projekte im Bereich der Sacherschließung an der VZG. Aus diesem Grund haben wir im Rahmen des Bibliothekstag 2021 den aktuellen Stand und neue Entwicklungen im Rahmen einer Sprechstund vorgestellt. Die dazu gehörigen Folien gibt es hier. Außerdem haben wir in einem Vortrag das Vokabularverzeichnis BARTOC genauer vorgestellt und sind auf die aktuelle Entwicklung zu einem vollständigen Datendienst zu Vokabulardaten eingegangen.

...Vortragsfolien (OPUS), Aufzeichnung des Vortrags (?)...

...direkte Links von Einträgen eines Vokabulars in Kataloge. Derzeit ist diese Funktion für folgende Vokabulare umgesetzt:

Geplant ist die Erweiterung um mindestens folgende Vokabulare:

Cocoda 1.4.5

2021-06-21T00:00:00Z

Release 1.4.5 of Cocoda contains a few bugfixes and updated dependencies. It also adds direct integration of coli-ana to allow analyzing synthesized DDC numbers right in Cocoda.^[1]

You can find the full release notes on GitHub.

Note that this integration is still a work in progress. For more information, please refer to this GitHub issue. ↩︎

Stellenausschreibung

2021-08-27T00:00:00Z

Wir suchen zum nächstmöglichen Zeitpunkt als Verstärkung für unser Team eine*n Systembibliothekar*in bzw. Data Librarian. Die Stelle ist teilzeitgeeignet und ein Umzug nach Göttingen ist nicht notwendig, da wir primär vom Home‐Office aus arbeiten. Zu den geplanten Tätigkeiten gehört:

Erstellung und Bewertung von Normdaten-Konkordanzen und Vokabularpflege
Datenpflege, Datenkonvertierung und Aufbereitung von Statistiken (Data Science)
Erstellung von Informationsmaterial
Durchführung von Workshops und Schulungen (bis auf Weiteres primär online)
Kommunikation mit bibliothekarischen Einrichtungen und Herausgeberinnen und Herausgeber

Bewerbungsschluss ist der 5. Oktober. Weitere Details gibt es in der Stellenausschreibung. Für Rückfragen stehen wir gerne zur Verfügung!

Cocoda supports MeSH, LCSH, LCNAF, and more

2021-10-15T00:00:00Z

Release 1.4.7 of the mapping tool Cocoda adds support of several English vocabularies, in particular:

Both are integrated via the official vocabulary API of MeSH (https://www.nlm.nih.gov/mesh/) and LoC (https://id.loc.gov) respectively. Access may be delayed a bit for large sets of concepts but the data is always up-to-date.

Cocoda started with focus on German library classification systems. Now more and more English vocabularies are supported as well. Further examples include:

Thema subject classification scheme of books
EuroVoc
Iconclass
Mathematics Subject Classification
STW Thesaurus for Economics
Systematics of the subjects and colleges of the German Research Association
Hornbostel-Sachs-System
Nomisma
Wikidata

With Cocoda all vocabularies can be browsed and searched in a unified interface to create and evaluate mappings between them. The tool can be used freely and it is available as Open Source. Existing mappings between the new vocabularies will be added to our mapping database in the comming weeks.

Cocoda 1.4.8

2021-10-21T00:00:00Z

Release 1.4.8 of the mapping tool Cocoda improves scrolling performance and includes bug fixes. Full release notes: https://github.com/gbv/cocoda/releases/tag/1.4.8

Cocoda 1.5.0

2021-11-22T00:00:00Z

Release 1.5.0 of Cocoda contains changes that vastly improve the performance of the tool, as well as many bug fixes and smaller adjustments.

You can find the full release notes on GitHub.

Neue Version von coli-ana zur Analyse von DDC-Notationen und Eintragung im K10plus

2022-02-04T00:00:00Z

Die Dewey-Dezimalklassifikation (DDC) wird seit mehr als 100 Jahren weltweit von Bibliotheken zur Beschreibung von Publikationen eingesetzt. Eine Besonderheit dieser Klassifikation ist, dass sich komplexe Sachverhalte durch Kombination verschiedener Aspekte in einer Notation ausdrücken lassen. Ein Beispiel ist hierfür ist die Notation 641.50902, die sich aus den Klassen 641.5 (Kochen) und T1--0902 (6.–15. Jahrhundert) zusammensetzt und unter der sich Bücher zum "Kochen wie im Mittelalter" finden. Die automatische Zerlegung von DDC-Notationen in ihre elementaren Bestandteile ist jedoch alles andere als trivial. Im Rahmen des Forschungsprojekt Colibri/DDC wurde ein Programm zur Analyse von DDC-Notationen entwickelt und als Webanwendung coli-ana zur Verfügung gestellt.

Die bereits auf der SWIB21-Konferenz vorgestellte Anwendung (siehe Video und Vortragsfolien) wurde nun überarbeitet. Die Änderungen betreffen vor allem das Benutzerinterface und die Eintragung von Zerlegungen im K10plus-Katalog, während der Zerlegungs-Algorithmus ("vc_day") weitgehend gleich bleibt.

Neue Funktionen und Verbesserungen

Zu den Verbesserungen der Version 0.3.0 gehört:

Anzeige von Titeln aus dem K10plus, die mit der analysierten Notation erschlossen sind
Verbesserte Erkennung unvollständiger oder teilweise falscher Zerlegungen
Links von DDC-Notationen zu WebDewey Deutsch (Account erforderlich)
Einheitliche Hervorhebung der elementaren Bestandteile einer DDC-Notation in Listenansicht und im PICA+ Format
Anpassung der Bestimmung der Grundnotation
Möglichkeit der Abkürzung von Notationen (Klick auf den Hierarchie-Indikator in der linken Spalte)
Layout-Anpassungen (Icons, Abstände...)

Die Möglichkeit, mehrere Notationen auf einmal zu analysieren und nachzuschlagen, welche Zerlegungen einen Notationsbestandteil enthalten, wurden dagegen zunächst entfernt.

Eintragung im K10plus

Zur Verbesserung des Retrievals sollen die Zerlegungen von DDC-Notationen in Titeldatensätze des K10plus-Katalog eingetragen werden. Eine Suche nach Literatur zum Mittelalter (T1--0902) sollte dann beispielsweise auch Titel liefern, die mit der DDC-Notation 641.50902 erschlossen sind. Im Datenformat des K10Plus sind für DDC zwei PICA-Felder vorgesehen:

Feld 045F (Pica3 5310) für einfache DDC-Notationen
Feld 045H/20 (Pica3 5420) für DDC-Notationen mit Zerlegung

Bislang enthalten rund 12% der Datensätze DDC-Notationen. Insgesamt kommen je nach Einbeziehung korrigierbarer Tippfehler rund 700.000 bis 750.000 verschiedene DDC-Notationen vor, von denen etwa zwei Drittel vollständig von coli-ana analysiert werden können. Die Rate wird mit Weiterentwicklung des Dienstes und mit Berücksichtigung unvollständiger Zerlegungen noch steigen. Eine Zerlegung aller vorkommenden Notationen ist jedoch nicht möglich, da der Algorithmus nur für die neueste Ausgabe der DDC umgesetzt ist und weil bereits Fehler bei den DDC-Notationen im Katalog vorkommen.

Zur Bestimmung der Analysequalität wurde eine Stichprobe von 250 unterschiedlichen DDC-Notationen aus dem K10plus-Katalog entnommen und deren Zerlegung intellektuell überprüft. Bei 4 Fehlern ergibt sich mit Konfidenz von 99% eine Fehlerrate zwischen 0,3% und 5%. Zu beachten ist allerdings dass die ersten Bestandteile einer DDC-Notationen praktisch immer richtig erkannt werden und dass vorgesehen ist, bei Korrekturen am Algorithmus die angereicherten Datensätze entsprechend anzupassen.

In einem ersten Durchlauf sollen rund 5 Millionen Datensätze des K10plus um DDC-Notationen angereichert werden.

Weitere Informationen zu coli-ana gibt es auf der coli-ana Projektseite.

Neue Vokabulare verfügbar

2022-04-25T00:00:00Z

Seit Anfang des Jahres 2022 wurden weitere deutschsprachige Klassifikationen bereitgestellt. Die Vokabulare können im Vokabular-Verzeichnis BARTOC und im Mapping-Tool Cocoda genutzt und über die JSKOS-API abgerufen werden. Hinzugekommen sind:

Außerdem kamen im Zuge eines Forschungsprojektes an der Herzog August Bibliothek Wolfenbüttel drei historische Klassifikationen hinzu:

Im Rahmen des Projekt coli-conc versuchen wir möglichst alle relevanten bibliothekarischen Erschließungssysteme zu erfassen und über einheitliche Formate und Schnittstellen bereitzustellen. Bei Bedarf an zusätzlichen Vokabularen sprechen Sie uns gerne an!

Cocoda 1.7.0

2022-04-27T00:00:00Z

Release 1.7.0 of Cocoda adds support for creating and managing concordances as well as assigning mappings to a concordance. Previously, this could only be done manually in the backend. At the moment, creating new concordances is restricted to certain users. If you want to create your own concordances in our database or contribute to our concordances, please contact us.

The release also includes some additional changes and bug fixes. You can find the full release notes on GitHub.

Eigene Vokabulare per API in Cocoda einbinden

2022-05-13T00:00:00Z

Die Bibliothek der Universität Konstanz erfasst ihre Bestände mit der Konstanzer Systematik (KonSys), die in einer eigenen Datenbank verwaltet wird. In solchen Fällen bietet es sich an, das Vokabular in der jeweils aktuellsten Version über eine Web-API in BARTOC und Cododa einzubinden. Die Bibliothek hat dazu den wesentlichen Teil der JSKOS-API implementiert:

Neben der Referenzimplementierung JSKOS-Server ist die API ist auch im Vokabularserver DANTE umgesetzt. Damit ist die Bibliothek Konstanz die dritte Umsetzung der Schnittstelle zum einheitlichen Zugriff auf Vokabulare. Während DANTE ein Dienst der VZG ist, kann JSKOS-Server auch unabhängig eingesetzt werden. Dies macht z.B. die UB Bielefeld mit Ihrer Systematik.

Eine weitere Alternative ist die Nutzung einer API, die von cocoda-sdk unterstützt wird. Im Wesentlichen ist das bislang die freie Software Skosmos. Die direkte Unterstützung von Skohub unter weiterer etablierter Vokabular-Provider ist geplant.

Kommen Sie gerne auf uns zu, wenn Sie weitere Informationen zur Anbindung ihrer Vokabulare benötigen!

Added support of SkoHub vocabularies

2022-06-23T00:00:00Z

We regularly inform about updates of Cocoda mapping application and BARTOC terminology registry, but under the hood internal components get improved as well. The major software components developed within project coli-conc include jskos-server, a web API to manage vocabularies, mappings and other terminology-related information in a database and cocoda-sdk, a software library to access terminologies from various sources. The latter just got an update to support access to vocabularies hosted via SkoHub vocabulary publication software.

One goal of coli-conc is to provide an infrastructure to all kinds of vocabularies (terminologies such as authority files, classifications, and ontologies). These vocabularies can be managed by diverse organizations in many ways. Getting all vocabulary publishers to agree one common standard is futile, so we take another approach:

vocabularies are cataloged in BARTOC with information how to access them. BARTOC includes a growing list of known vocabulary APIs.
vocabulary models (SKOS, OWL, GND Ontology, custom formats...) have been unified with JSKOS data format
cocoda-sdk implements wrappers to access diverse vocabulary APIs uniformly as JSKOS data

By now 362 vocabularies are known to be accessible via cococda-sdk via the following APIs:

API	vocabularies
Skosmos	266
JSKOS API	94
SkoHub	3
Reconciliation Servic API	4 (only search)
Library of Congress (id.loc.gov)	2 (custom API)

In addition Wikidata is wrapped via an independent wrapper service.

If you plan to implement an API to your vocabulary, please consider JSKOS API (as recently done by Konstanz University Library for their KonSys classification) or use an established software such as Skosmos and SkoHub. Several terminology registries help with hosting vocabularies. Wrappers to more terminology services such as OntoPortal, OLS, and iQvoc might be implemented in cocoda-sdk when needed.

Inhaltserschließung des K10plus als Open Data

2022-07-12T00:00:00Z

Der K10plus-Katalog umfasst bibliographische Angaben und Bestandsnachweise der Bibliotheken des Südwestdeutsche Bibliotheksverbund (SWB), des Gemeinsamen Bibliotheksverbundes (GBV) und weiterer Forschungseinrichtungen. Mit mehr als 200 Millionen Nachweisen zu rund 80 Millionen Publikationen ist er der umfangreichste Katalog im deutschsprachigen Raum. Die Daten des K10plus sind über Schnittstellen und als Datenbankdump in MARC und RDF als Open Data verfügbar.

Zur Auswertung von Sacherschließungsdaten wurde nun im Rahmen des Projekt coli-conc ein Auszug des K10plus mit allen Sacherschließungsdaten als Forschungsdatensatz veröffentlicht:

https://doi.org/10.5281/zenodo.6817455 (Stand Juni 2022 mit 47.686.063 von 74.127.563 Datensätzen)
https://doi.org/10.5281/zenodo.6810556 (Stand Juni 2021 mit 41.786.820 von 71.429.482 Datensätzen)

Die Datensätze umfassen rund 14 Gigabyte im normalisierten PICA+ Format. Eine Beschreibung der Daten und eine zufällige Stichprobe von 10.000 Datensätzen sind enthalten. Die Beschreibung der PICA-Felder ist unter https://format.k10plus.de/avram.pl abrufbar.

Aufbauend auf diesem Forschungsdatensatz sollen weiter aufbereitete Daten und Auswertungen erstellt und publiziert werden. Hinweise zur Verarbeitung der Daten werden in einem git-Repository gesammelt.

P.S.: Inzwischen gibt es auch eine reduzierte und bereinigte Version der Daten für ausgewählte Vokabulare als Tabelle und in RDF: https://doi.org/10.5281/zenodo.7016625 (Stand Juni 2022 mit 82.937.252 Links von 24.009.936 Datensätzen).

Cocoda 1.8.0

2022-10-18T00:00:00Z

With release 1.8.0 of Cocoda, the mapping tool now provides a filter by annotation within the mapping search.

We have also reimplemented mapping suggestions via catalog co-occurrences for a selected concept in the mapping navigator. This feature is based on a data dump of K10plus (more information on Github and in this blog post) and uses a new occurrences-api.

SkoHub vocabularies are now partially supported (see also Added support of SkoHub vocabularies); MyCoRe vocabs like Sachgruppen der Schleswig-Holsteinischen Bibliographie are now fully supported.

The release also includes some additional changes. You can find the full release notes on GitHub.

Cocoda 1.9.0

2023-04-03T00:00:00Z

Release 1.9.0 of Cocoda improves how concept data is displayed. All important information is now visible in the first tab as well as inside a popover in Mapping Search/Navigator.

The latter will make it easier to choose the right mapping suggestion without having to select the concept.

The German user documentation was completely revised and should now match the English version.

This release also includes some additional changes, including important changes to Docker usage. You can find the full release notes on GitHub for more information.

Cocoda 1.10.0

2023-06-26T00:00:00Z

Release 1.10.0 of Cocoda introduces several small bug fixes and improvements, a new edition of the user manual and two new features:

Support of non-indexing concepts: these structural entities are used for grouping in some classifications but they should not be used for subject indexing or mapping. Cocoda now shows a special icon to differentiate these concepts and a warning if someone tries to map with them.
Extension of the review workflow to support justifications of negative evaluation of a mapping. The following reasons, listed in the Mapping Mismatch Vocabulary, can be given:
- redundant mapping: The mapping is unnecessary as it has no applications or it can be derived from other mappings
- wrong mapping relation: The mapping relation is missing or incorrect
- incompatible scope: Scope of source and target concept are incompatible

You can find the full release notes on GitHub.

Abschlussbericht des Projekts coli-conc veröffentlicht

2024-04-29T00:00:00Z

Vor rund 10 Jahren begannen an der Verbundzentrale des GBV (VZG) die Planungen zur Entwicklung eines Werkzeugs zur Erstellung und Pflege von Konkordanzen zwischen bibliothekarischen Klassifikationen (siehe Förderantrag aus dem November 2014). Das Ergebnis ist nicht nur die Webanwendung Cocoda, sondern eine ganze Infrastruktur aus Standards und Diensten für die Anwendung und Interoperabilität von Wissensorganisationssystemen. Eine Übersicht gibt der Abschlussbericht der letzten Förderphase. Die wesentlichen im Rahmen des Projekts entwickelten Anwendungen, Dienste und Standards werden innerhalb und außerhalb der VZG im Produktivbetrieb eingesetzt und aktualisiert. Geplant für die nächsten Jahre sind unter anderem der Einsatz und Ausbau für die Nationale Forschungsdateninfrastruktur (NFDI) und umfangreiche Verbesserungen des Vokabularverzeichnisses BARTOC. Bei Fragen zum Einsatz von Cocoda und anderen Ergebnissen von coli-conc, sprechen Sie uns gerne an!

New release of JSKOS specification

2025-01-20T00:00:00Z

JSKOS is a JSON data format for knowledge organization systems (KOS) and semantic artifacts, such as classifications, thesauri, authority files, and knowledge graphs. The format has been created in 2014 in preparation of project coli-conc and its application and scope has been broadened ever since.

JSKOS is and will be part of the mapping tool Cocoda, the (meta)registry BARTOC, the terminology service DANTE and the NFDI Terminology services TS4NFDI. The current release 0.6.0 of JSKOS specfication includes some major extensions and improvements:

ranks and qualified statements, similar to Wikibase/Wikidata
extended date/time format (EDTF) to allow values such as time intervals and uncertain dates
new field basedOn to connect KOS versions
layout, structure and wording of the specification

In contrast to previous releases, there is also a breaking change in (rarely used) fields replacedBy und relatedDate.

The most comprehensive new features of JSKOS 0.6.0 are qualified statements for links and properties of arbitrary type and ranks to weight statements. Both are also known in the data model of Wikibase, the database management system behind Wikidata. The extension derived from use cases in terminology service DANTE, so we came to a similar solution like Vrandečić et al. with Wikibase. In contrast to the latter, JSKOS data is also JSON-LD so it can directly be converted to RDF.

Qualified statements will help to improve usability of JSKOS with knowledge graphs, property graphs, and semantic artifacts. The feature should be used with care, as additional flexibility comes at cost of interoperability: JSKOS allows to extend the common data model (also known as "ontology") of knowledge organization systems, so people may extend it in different ways. JSKOS Mappings may help if people use different property types for similar purpose.

BARTOC development and open position

2025-03-28T00:00:00Z

Since its migration to VZG in 2020/2021, we planned a rewrite and extension of the terminology registry BARTOC. Last year the funding proposal was accepted for three years, so we started the development this month, with a warm welcome to our new developer Rodolfo! Now we are looking for a (data) librarian to complete our team.

More information in the job posting or just contact us!

BARTOC launches – the team is complete

2025-07-30T00:00:00Z

With Uma Balakrishnan as Lead Head, Dr. Jakob Voß as Technical Coordinator, Rodolfo Maraffa as Software Developer, and Mareike Röhl as System Librarian, the BARTOC team is now complete and ready to start updating and enhancing the registry.

BARTOC Search: New Search Function

2026-02-09T00:00:00Z

With BARTOC Search, a redesigned interface introduces a new search experience. Faceted filters help you refine results by KOS type, language, format group, licence group, or country - while improved ranking brings the most relevant results to the top in a clearly structured list.

Try out BARTOC Search and explore the new search features.