Kysy kirjastonhoitajalta

Aineisto koostuu koneoppimisessa käytettäväksi tarkoitetuista TF-IDF-datamatriiseista, jotka on koostettu "Kysy kirjastonhoitajalta" -kysymys/vastauskorpuksesta. Korpus on suomenkielinen. Datamatriisit soveltuvat erityisesti hyvin paljon luokkia sisältävien nk. Extreme Multi-label Text Classification (XMTC)-koneoppimismallien koulutukseen. Alkuperäinen korpus sisältää 3150 suomenkielistä lyhyehköä dokumenttia Kysy kirjastonhoitajalta -palvelusta. Jokainen dokumentti on yleisön esittämä kysymys, johon kirjastonhoitaja on vastannut. Korpus poimittiin yli 25000 kysymys/vastaus-parin kokoelmasta rajaten niin, että dokumentissa on oltava vähintään 4 subjektia. Korpus on jaettu seuraaviin hakemistoihin: all: sisältää kaikki dokumentit (N = 3150) train: sisältää ennen vuotta 2016 esitetyt kysymykset (N = 2625), jotka on tarkoitettu koulutukseen maui-train: satunnainen otosjoukko (N = 200) train-hakemistosta, joka on tarkoitettu Maui-mallin kouluttamiseen validate: sisältää vuonna 2016 esitettyjä kysymyksiä (N = 213), jotka on tarkoitettu validointiin (esim. hyperparametrien valitsemiseen luokittelijalle) test: sisältää vuonna 2017 esitetyt kysymykset (N = 312), jotka on tarkoitettu lopulliseen arviointiin Alkuperäinen korpus on saatavissa osoitteesta https://github.com/NatLibFi/Annif-corpora/tree/master/fulltext/kirjastonhoitaja Varsinainen Kysy kirjastonhoitajalta -palvelu löytyy osoitteesta https://www.kirjastot.fi/kysy. Kirjastot.fi-toimitus vastaa palvelun kehittämisestä ja ylläpidosta.