doc_sim_tfidf.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "doc_sim_tfidf.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "authorship_tag": "ABX9TyNX3aaj5/Fp7OTmhl0lrI1q",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/TurkuNLP/Text_Mining_Course/blob/master/doc_sim_tfidf.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Y1c4TskcyW4s"
      },
      "source": [
        "# Document-level similarity\n",
        "\n",
        "* Often needed when deadling with large document collections\n",
        "* Supported by most search engines like Solr (MoreLikeThis function)\n",
        "* Document-by-document similarity matrix is input to many clustering algorithms\n",
        "* Useful for pairing different document sources"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "GTRHl9noy4sv"
      },
      "source": [
        "# TF-IDF based document-level similarity\n",
        "\n",
        "* Columns of term-by-document matrix represent documents (or rows of a document-by-term matrix, naturally)\n",
        "* All-by-all cosine similarity is easy to calculate even for relatively large document collections\n",
        "* In the following, let us try to pair news from HS and YLE from the beginning of 2020"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "iz9rwm-FzrYl"
      },
      "source": [
        "# YLE-HS News Data\n",
        "\n",
        "* http://dl.turkunlp.org/textual-data-analysis-course-data/hs_yle_spring_2020.json.gz \n",
        "* A single json object whih holds YLE/HS data from 1.1.2020 to roughly mid-march 2020 (i.e. the Raise of Coronavirus data :)\n",
        "* This will be one of the datasets we can use throughout the course\n",
        "* It has been gathered from public RSS feeds of YLE News and HS\n",
        "* Note: historical STT and YLE news data can also be obtained via kielipankki.fi"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "q1ZXYKnRzd6g"
      },
      "source": [
        ""
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "W6ak2sMnmdEJ",
        "outputId": "ecb34663-8d40-4787-a4a5-ac6a5b651cfe"
      },
      "source": [
        "!wget http://dl.turkunlp.org/textual-data-analysis-course-data/hs_yle_spring_2020.json.gz"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "--2021-03-09 16:29:31--  http://dl.turkunlp.org/textual-data-analysis-course-data/hs_yle_spring_2020.json.gz\n",
            "Resolving dl.turkunlp.org (dl.turkunlp.org)... 195.148.30.23\n",
            "Connecting to dl.turkunlp.org (dl.turkunlp.org)|195.148.30.23|:80... connected.\n",
            "HTTP request sent, awaiting response... 200 OK\n",
            "Length: 20590829 (20M) [application/octet-stream]\n",
            "Saving to: ‘hs_yle_spring_2020.json.gz’\n",
            "\n",
            "hs_yle_spring_2020. 100%[===================>]  19.64M  8.47MB/s    in 2.3s    \n",
            "\n",
            "2021-03-09 16:29:34 (8.47 MB/s) - ‘hs_yle_spring_2020.json.gz’ saved [20590829/20590829]\n",
            "\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "I3MPtvZwWR4L",
        "outputId": "b1547d2b-b9c7-43fe-e30e-866561f3f4b7"
      },
      "source": [
        "import json\n",
        "import gzip\n",
        "from pprint import pprint  #pprint is prettyprint\n",
        "\n",
        "with gzip.open(\"hs_yle_spring_2020.json.gz\") as f:\n",
        "    news_data=json.load(f)\n",
        "\n",
        "pprint(news_data.keys())\n",
        "pprint(news_data[\"2020\"].keys())\n",
        "pprint(news_data[\"2020\"][\"02\"].keys())\n",
        "pprint(news_data[\"2020\"][\"02\"][\"yle-text\"][:2]) #first two YLE news articles in Feb 2020\n",
        "pprint(news_data[\"2020\"][\"02\"][\"hs-text\"][:2]) #first two HS news articles in Feb 2020\n",
        "\n",
        "#So we have a dictionary whose key is year, its value is a dictionary whose key is month, its value is a dictionary whose key is data source\n",
        "#and its value is a list of articles, each being a dictionary with keys \"orig_filename\" and \"text\"\n",
        "\n"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "dict_keys(['2020'])\n",
            "dict_keys(['01', '02', '03'])\n",
            "dict_keys(['hs-text', 'yle-text'])\n",
            "[{'orig_filename': '2020-02-01-01-01-03--3-11187676.txt',\n",
            "  'text': 'Taksimatkan hinnaston täytyy näkyä taksin kyljessä tästä päivästä '\n",
            "          'lähtien\\n'\n",
            "          'Traficomin mukaan määräyksen myötä taksien hintojen muodostumisesta '\n",
            "          'tulee selkeämpää ja ymmärrettävämpää.\\n'\n",
            "          'Taksimatkan hinta tai hinnan määräytyminen tulee tästä päivästä '\n",
            "          'alkaen ilmoittaa siten, että hintatiedot ovat luettavissa taksin '\n",
            "          'ulkopuolelta jo ennen matkan alkua.\\n'\n",
            "          'Liikenne- ja viestintävirasto Traficomin valtakunnallinen määräys '\n",
            "          'koskee ennalta tilaamattomia, siis esimerkiksi taksitolpalla '\n",
            "          'odotettavia takseja. Ennakkoon tilattavat ja hankintasopimuksella '\n",
            "          'ajavat taksit ovat määräyksen ulkopuolella.\\n'\n",
            "          'Takseille tunnuksellisen keltamustan hinnaston tulee näkyä '\n",
            "          'asiakkaalle auton oikealla puolella. Hinnaston koko, ulkoasu ja '\n",
            "          'siinä käytetyt symbolit on tarkkaan määritetty.\\n'\n",
            "          'Traficom pyrkii määräyksellään yhtenäistämään taksien '\n",
            "          'hinnoitteluilmoituskäytäntöä. Uuden hinnastomääräyksen myötä '\n",
            "          'taksien hintojen muodostumisesta tulee viraston mukaan selkeämpää '\n",
            "          'ja ymmärrettävämpää.\\n'\n",
            "          'Kiistelty nykyinen taksilaki tuli voimaan toissa vuoden '\n",
            "          'heinäkuussa. Sitä ennen taksien hinnoittelu määräytyi yhtenäisten '\n",
            "          'taksojen mukaan, jolloin oli hinnan puolesta yhdentekevää, mihin '\n",
            "          'kyytiin nousi.\\n'},\n",
            " {'orig_filename': '2020-02-01-01-52-54--3-11187678.txt',\n",
            "  'text': 'Lähes 260 ihmistä on kuollut Kiinassa koronavirukseen, '\n",
            "          'sairastuneiden määrä lähenee 12 000:ta\\n'\n",
            "          'Koko maassa tartuntojen määrän kerrotaan nousseen perjantaista yli '\n",
            "          'kahdella tuhannella.\\n'\n",
            "          'Kiinassa yhteensä 259 ihmistä on kuollut koronavirukseen.\\n'\n",
            "          'Viruksen ydinalueella Hubein maakunnan viranomaiset kertoivat '\n",
            "          'aikaisin lauantaina, että uhriluku oli kasvanut yli 40:llä.\\n'\n",
            "          'Todettujen tartuntojen määräksi maa kertoo lähes 11 800. Koko '\n",
            "          'maassa tartuntojen määrän kerrotaan nousseen perjantaista yli '\n",
            "          'kahdella tuhannella. Hubein maakunnan tuoreet tiedot kertovat yli 1 '\n",
            "          '300 uudesta tartunnasta.\\n'\n",
            "          'Myöhään torstaina Maailman terveysjärjestö WHO julisti uuden '\n",
            "          'koronaviruksen leviämisen kansainväliseksi terveysuhaksi. Virusta '\n",
            "          'on tavattu Kiinan lisäksi yli 20 maassa.\\n'\n",
            "          'Lue myös:\\n'\n",
            "          'Karanteenissa olleen testitulos valmistui – ei uusia '\n",
            "          'koronavirustartuntoja Lapin keskussairaalassa\\n'\n",
            "          'Suomutunturin hotelliyrittäjä menetti hetkessä kaikki talven '\n",
            "          'asiakkaansa koronaviruksen vuoksi – \"Erilaisia muuttujia tulee ja '\n",
            "          'menee, se on vain nieltävä\"\\n'\n",
            "          'Koronavirus sai netin pelonlietsojat ja salaliittoteoreetikot '\n",
            "          'liikkeelle\\n'\n",
            "          'WHO kehuu Kiinan toimia koronaviruksen hoidossa – Suomalaiset '\n",
            "          'Kiina-asiantuntijat: Nuoleskelun makua, joskus kerrotaan selviä '\n",
            "          'valheita\\n'}]\n",
            "[{'orig_filename': '2020-02-01-00-03-37---f52ce519f97f85197e561043ead718a1.txt',\n",
            "  'text': 'Lontoo\\n'\n",
            "          'Britannian EU-eron kannattajille perjantai on juhlapäivä: brexit '\n",
            "          'koittaa viimeinkin vuosien odottelun jälkeen.\\n'\n",
            "          'Brexit-puolue on järjestänyt Lontoon keskustaan parlamenttitalon '\n",
            "          'kupeeseen brexiteerien kansanjuhlan. Ohjelmassa on myöhemmin muun '\n",
            "          'muassa isänmaallista yhteislaulua sekä puheita.\\n'\n",
            "          'HS näyttää illan tapahtumista uutistoimisto Reutersin välittämää '\n",
            "          'suoraa lähetystä. Lähetyksessä saattaa olla katkoksia.\\n'\n",
            "          'Brexitiä pitkään kannattanut Avril Garside oli saapunut Lontooseen '\n",
            "          'perjantaiaamuna Cumbriasta Pohjois-Englannista.\\n'\n",
            "          '”Halusin olla parlamenttiaukiolla nyt historiallisena päivänä ja '\n",
            "          'kokea tunnelman.”\\n'\n",
            "          'Välillä oli kuulemma ollut mennä usko poliitikkoihin EU-eron '\n",
            "          'toteuttamisessa.\\n'\n",
            "          '”Brexitiin sen sijaan luottamus ei horjunut”, sanoi niin ikään '\n",
            "          'pohjoisesta Lontoon brexit-juhliin saapunut Tony Smith. Hänelle on '\n",
            "          'tärkeää se, että Britannia saa taas ”päättää itse omista '\n",
            "          'asioistaan”.\\n'\n",
            "          'Pohjois-Englannista brexit-juhliin Lontooseen olivat saapuneet Tony '\n",
            "          'Smith ja Avril Garside.\\n'\n",
            "          \"(KUVA: Conor O'Leary)\\n\"\n",
            "          'Smith ja Garside istuivat parlamenttitalon lähellä odottamassa '\n",
            "          'illan huipentumista. Kellot kilkattivat ja musiikki soi. Kumpikin '\n",
            "          'pitää EU-eroa aktiivisesti ajaneen Nigel Faragen ansiona sitä, että '\n",
            "          'brexit saatiin viimein maaliin.\\n'\n",
            "          'Virallinen valtiovalta juhlii perjantaina hillitymmin, jotta ei '\n",
            "          'ärsyttäisi EU-eron vastustajia. Britannia on yhä hyvin jakaantunut '\n",
            "          'brexitin osalta.\\n'\n",
            "          '”Hallituksen – ja minun – työ on yhdistää maa ja viedä meidät '\n",
            "          'eteenpäin. Tänä yönä tärkeintä on muistaa, että tämä ei ole loppu, '\n",
            "          'vaan alku”, pääministeri Boris Johnson aikoo sanoa illalla Downing '\n",
            "          'Streetin ennakkotietojen mukaan.\\n'\n",
            "          'Johnson pitää brexit-puheensa kello 22 Britannian aikaa eli kello '\n",
            "          '24 Suomen aikaa. Brexit koittaa virallisesti kello 23 Britannian '\n",
            "          'aikaa eli kello 1 lauantaina aamuyöllä Suomen aikaa.\\n'\n",
            "          'Samalla päättyy Britannian EU-jäsenyys, joka alkoi vuonna 1973.\\n'\n",
            "          'Essexin kreivikunnasta Lontooseen brexit-juhliin olivat saapuneet '\n",
            "          'Sheila ja Steven O’Neill.\\n'\n",
            "          'Kumpikin oli äänestänyt EU-eron puolesta kansanäänestyksessä. He '\n",
            "          'ovat osallistuneet aiemmin myös useille brexit-marsseille. Brexit '\n",
            "          'merkitsee heille Britannian suvereniteetin palauttamista.\\n'\n",
            "          'Sheila ja Steven O’Neill juhlivat perjantaina brexitiä.\\n'\n",
            "          \"(KUVA: Conor O'Leary)\\n\"\n",
            "          'O’Neillit eivät pelkää brexitin kielteisiä vaikutuksia.\\n'\n",
            "          '”Uskon, että Britannian talous on tarpeeksi vahva. Aiempi '\n",
            "          'epävarmuus on tosin heikentänyt puntaa, mutta parempaan suuntaan '\n",
            "          'mennään”, Sheila O’Neill sanoi.\\n'\n",
            "          'Suomen Kuusamossa hiihtämässä käyneellä pariskunnalla on muutakin '\n",
            "          'Suomi-tietoutta: ”Teillä Suomessahan on se vaalea naismeppi, joka '\n",
            "          'puolusti brexitiä.”\\n'\n",
            "          'Tarkoitatteko ehkä Laura Huhtasaarta (ps)?\\n'\n",
            "          '”Kyllä, hän juuri.”\\n'\n",
            "          'Huhtasaaren brexit-kannanotoista on uutisoinut Britanniassa ainakin '\n",
            "          'oikeistopopulistinen ja hyvin brexit-henkinen Daily Express '\n",
            "          '-lehti.\\n'\n",
            "          'O’Neillit eivät olleet perjantaina parlamenttiaukioilla ainoita, '\n",
            "          'jotka ottivat Huhtasaaren brexit-sympatiat puheeksi kuultuaan, että '\n",
            "          'toimittaja on Suomesta.\\n'\n",
            "          '”Vaalean suomalaisen naismepin” mainitsivat myös intohimoiset '\n",
            "          'brexitin kannattajat David Morgan ja Dedge Kempster.\\n'\n",
            "          '”EU:n tavoitteet ovat federalistiset. EU:n päättäjiä ei voi '\n",
            "          'äänestää pihalle”, Morgan perusteli brexit-kantaansa.\\n'\n",
            "          'Brexiteerit David Morgan (vas.) ja Dedger Kempster ovat '\n",
            "          'tyytyväisiä, että EU-ero viimein toteutuu.\\n'\n",
            "          \"(KUVA: Conor O'Leary)\\n\"\n",
            "          'Britannian Brysselin-lähetystö poisti EU:n lipun kiinteistönsä '\n",
            "          'alueelta perjantai-iltana auringon laskiessa eli jo hyvissä ajoin '\n",
            "          'ennen brexitin virallista voimaantuloa, kertoo uutistoimisto '\n",
            "          'Reuters. Myös Brysselin europarlamentissa poistettiin illalla '\n",
            "          'Britannian lippuja.\\n'\n",
            "          'Britanniassa suunta oli toinen.\\n'\n",
            "          'Britannian parlamenttitalon ja ministeriöiden lähelle oli '\n",
            "          'pystytetty Britannian lippujen eli Union Jack -lipun rivistöjä '\n",
            "          'uuden alun merkiksi. Hallintorakennukset pidetään perjantaina '\n",
            "          'valaistuina.\\n'\n",
            "          'Juhlahumua Lontoon keskustassa perjantaina.\\n'\n",
            "          \"(KUVA: Conor O'Leary)\\n\"\n",
            "          'Koiran kyltissä lukee ”vapaus”.\\n'\n",
            "          '(KUVA: HENRY NICHOLLS / Reuters)\\n'\n",
            "          'Brexitin vastustajat ilmoittivat, että taistelu jatkuu.\\n'\n",
            "          '(KUVA: Glyn Kirk / AFP)\\n'\n",
            "          'Pääministerin virka-asunnon seinään heijastetaan myöhemmin illalla '\n",
            "          'kello, joka mittaa brexit-aikaan siirtymistä.\\n'\n",
            "          '”Juhlin ja sallin itselleni hymyn ja lasin samppanjaa. Mutta juhlin '\n",
            "          'hienovaraisesti, jotta kunnioitan sitä aitoa surua, jota muut '\n",
            "          'tuntevat samaan aikaan”, konservatiivipuolueen kansanedustaja ja '\n",
            "          'pitkän linjan brexiteeri Steve Baker sanoi alahuoneessa kuluvalla '\n",
            "          'viikolla.\\n'\n",
            "          'Big Ben ei soittanut brexitin kunniaksi, mutta brexiteeri oli '\n",
            "          'rakentanut korvaavan Little Benin.\\n'\n",
            "          \"(KUVA: Conor O'Leary)\\n\"\n",
            "          'Britannian EU-kansanäänestys järjestettiin kesäkuun 23. päivänä '\n",
            "          '2016. Kansanäänestys päätyi EU-eron kannalle prosentein 52–48. '\n",
            "          'Englanti ja Wales äänestivät brexitin puolesta, ja Skotlanti ja '\n",
            "          'Pohjois-Irlanti brexitiä vastaan.\\n'\n",
            "          '”Rakas Eurooppa, me emme äänestäneet tämän [brexitin] puolesta. '\n",
            "          'Muistakaa jättää valot palamaan Skotlantia varten”, Skotlannin '\n",
            "          'itsenäisyyttä kannattava The National -lehti sanoi perjantaina '\n",
            "          'etusivullaan. Sivua kuvittivat EU:n tähdet, palava kynttilä sekä '\n",
            "          'taustalla häämöttävä Skotlannin sinivalkoinen lippu.\\n'\n",
            "          'Johnsonin konservatiivihallitus kokoontui perjantaina '\n",
            "          'Sunderlandissa Koillis-Englannissa. Sunderland oli ensimmäinen '\n",
            "          'kaupunki, joka julkisti tukensa brexitille EU-kansanäänestyksen '\n",
            "          'ääntenlaskuyönä 2016.\\n'\n",
            "          'Brexitin läpivieminen on kestänyt kolme vuotta, seitsemän kuukautta '\n",
            "          'ja risat. Vielä viime vuonna näytti siltä, että oppositio voisi '\n",
            "          'onnistua lykkäämään EU-eroa vielä neljännen kerran ja vaatia jopa '\n",
            "          'uuden kansanäänestyksen järjestämistä.\\n'\n",
            "          'Lopullisesti brexitin varmisti kuitenkin joulukuisten '\n",
            "          'parlamenttivaalien tulos. Johnsonin konservatiivipuolue otti '\n",
            "          'vaaleissa murskavoiton, minkä jälkeen brittiparlamentti hyväksyi '\n",
            "          'erosopimuksen.\\n'\n",
            "          'Eroa EU:sta ei kuitenkaan näy heti käytännössä. Siirtymäaikaa '\n",
            "          'kestää tämän vuoden loppuun, ja sinä aikana Britannia säilyy yhä '\n",
            "          'EU:n tulliliitossa ja sisämarkkinoilla. Helmikuussa alkavat '\n",
            "          'neuvottelut EU:n ja Britannian uudesta suhteesta.\\n'\n",
            "          'Brexitin kannattajat juhlivat perjantaina Lontoossa.\\n'\n",
            "          '(KUVA: HENRY NICHOLLS / Reuters)\\n'\n",
            "          'Myös EU-eron vastustajia kokoontui Lontoossa.\\n'\n",
            "          '(KUVA: Glyn Kirk / AFP)\\n'},\n",
            " {'orig_filename': '2020-02-01-00-03-38---ac38f593b98bf33bbb820aa188330a69.txt',\n",
            "  'text': 'Sekä koronavirukseen kuolleiden että vahvistettujen '\n",
            "          'virustartuntojen määrät jatkavat kasvuaan Kiinassa.\\n'\n",
            "          'Maan viranomaiset kertoivat perjantaina, että virukseen on kuollut '\n",
            "          'jo ainakin 213 ihmistä. Viruksen ydinalueella Hubein maakunnassa '\n",
            "          'kuolleiden määrä nousi torstain luvusta yli 40 ihmisellä.\\n'\n",
            "          'Maassa raportoitiin myös lähes 2\\xa0000 uutta vahvistettua '\n",
            "          'tartuntaa, joista noin 1\\xa0200 Hubeista. Kaikkiaan tartuntoja on '\n",
            "          'todettu Kiinassa yli 9\\xa0800, Kiinan YK-lähettiläs Wang Qun kertoi '\n",
            "          'perjantaina.\\n'\n",
            "          'Mahdollisen koronavirukseen liittyvän hengitystieinfektion takia '\n",
            "          'tarkkailussa on Kiinassa noin 102\\xa0000 ihmistä, uutistoimisto AFP '\n",
            "          'kertoo.\\n'\n",
            "          'Koronavirus lähti leviämään Hubeissa sijaitsevan Wuhanin '\n",
            "          'miljoonakaupungin torilta. Kiinan viranomaiset ovat eristäneet '\n",
            "          'kaupungin.\\n'\n",
            "          'Tartuntatapauksia on vahvistettu niin Euroopassa, '\n",
            "          'Pohjois-Amerikassa, Australiassa kuin useissa Aasian maissakin.\\n'\n",
            "          'Yhdysvallat julisti perjantaina viruksen kansalliseksi '\n",
            "          'terveysuhaksi. Lisäksi se kertoi kieltävänsä ulkomaalaisia, jotka '\n",
            "          'ovat matkustaneet Kiinaan viimeksi kuluneiden kahden viikon aikana '\n",
            "          'saapumasta Yhdysvaltoihin.\\n'\n",
            "          'Yhdysvallat on myös määrännyt 14 vuorokauden pakollisen karanteenin '\n",
            "          'niille kansalaisilleen, jotka ovat vierailleet Hubein alueella '\n",
            "          'kahden viimeksi kuluneen viikon aikana.\\n'\n",
            "          'Euroopan tartuntojen kokonaismäärä lähentelee jo kahtakymmentä.\\n'\n",
            "          'Perjantaina alkuillasta Ruotsi kertoi ensimmäisestä vahvistetusta '\n",
            "          'koronavirustartunnasta. Ruotsin yleisradioyhtiön SVT:n mukaan '\n",
            "          'tartunta on tavattu Jönköpingissä, jossa sairastunutta naista '\n",
            "          'hoidetaan Ryhovin sairaalassa. Nainen oli palannut Ruotsiin '\n",
            "          'Kiinasta Wuhanin alueelta. Oireena hänellä oli yskä.\\n'\n",
            "          'Perjantaina iltapäivällä Venäjä ilmoitti, että maasta on löydetty '\n",
            "          'kaksi ensimmäistä tartuntatapausta. Viranomaisten mukaan tartunta '\n",
            "          'on todettu kahdella Kiinan kansalaisella, toisella Siperian '\n",
            "          'Tjumenissa, toisella Taka-Baikalian aluepiirissä.\\n'\n",
            "          'Myös Britannia kertoi perjantaina maan ensimmäisistä '\n",
            "          'tartuntatapauksista. Terveysviranomaisten mukaan tartunta on '\n",
            "          'todettu kahdella saman perheen jäsenellä.\\n'\n",
            "          'Italiassa ensimmäiset kaksi tartuntaa vahvistettiin torstaina. '\n",
            "          'Perjantaina hallitus julisti maahan kansallisen hätätilan '\n",
            "          'tartuntojen takia. Aiemmin pääministeri Giuseppe Conte kertoi, että '\n",
            "          'kaikki lennot Italian ja Kiinan välillä on keskeytetty '\n",
            "          'toistaiseksi, kertoo uutistoimisto Reuters.\\n'\n",
            "          'Ranska kertoi torstaina jo kuudennesta vahvistetusta tartunnasta. '\n",
            "          'Italia puolestaan ilmoitti ensimmäisestä kahdesta sen alueella '\n",
            "          'paljastuneesta tartuntatapauksesta.\\n'\n",
            "          'Saksassa tapausten määrä kasvoi torstaina viiteen. Suomen '\n",
            "          'ensimmäinen tapaus vahvistettiin keskiviikkona, kun Lapin '\n",
            "          'keskussairaalaan tuodulla kiinalaisturistilla todettiin Wuhanista '\n",
            "          'peräisin oleva koronavirustartunta.\\n'\n",
            "          'Lue lisää: Koronavirukselle altistuneita on karanteenissa Lapissa, '\n",
            "          'sairastunut koronapotilas hyväkuntoinen\\n'\n",
            "          'YK:n alainen Maailman terveysjärjestö (WHO) on julistanut uuden '\n",
            "          'koronavirusepidemian kansainväliseksi terveysuhaksi. Järjestö '\n",
            "          'ilmoitti asiasta torstai-iltana Suomen aikaa.\\n'\n",
            "          'WHO ei kuitenkaan pidä tarpeellisena rajoittaa kansainvälistä '\n",
            "          'matkustamista. Myöskään kaupankäyntiä Kiinan kanssa ei WHO:n mukaan '\n",
            "          'tarvitse rajoittaa.\\n'\n",
            "          'Genevessä torstai-iltana pidetyssä tiedotustilaisuudessa järjestö '\n",
            "          'kiitteli vuolaasti Kiinaa sen viruksen leviämisen estämiseksi '\n",
            "          'tekemästä työstä.\\n'\n",
            "          '”Selvyyden vuoksi todettakoon, että päätöksemme ei ole '\n",
            "          'epäluottamuksen osoitus Kiinaa kohtaan”, totesi WHO:n pääjohtaja '\n",
            "          'Tedros Adhanom Ghebreyesus.\\n'\n",
            "          '”Suurin huolenaiheemme on viruksen mahdollinen leviäminen maihin, '\n",
            "          'joissa terveydenhuoltojärjestelmä on heikompi.”\\n'\n",
            "          'Useat maat ovat kehottaneet kansalaisiaan olemaan matkustamatta '\n",
            "          'Kiinaan.\\n'\n",
            "          'Myös monet lentoyhtiöt ovat peruneet lentojaan Kiinaan, mikä on '\n",
            "          'vaikeuttanut poistumista maasta. Perjantaina Finnair tiedotti '\n",
            "          'peruvansa kaikki Manner-Kiinan lennot helmikuun loppuun saakka.\\n'\n",
            "          'Useat maat ovatkin evakuoineet kansalaisiaan Wuhanista. Perjantaina '\n",
            "          'muun muassa Ranska ja Britannia evakuoivat kansalaisiaan. Myös '\n",
            "          'Saksa lähetti perjantaina Wuhaniin ilmavoimien lentokoneen, jolla '\n",
            "          'on ulkoministeri Heiko Maasin mukaan tarkoitus kotiuttaa yli sata '\n",
            "          'saksalaista.\\n'\n",
            "          'Japani evakuoi kansalaisiaan jo keskiviikkona. Sen mukaan '\n",
            "          'evakuoiduista kolmella todettiin koronavirustartunta. Yhdysvallat '\n",
            "          'puolestaan kertoi, että sen evakuoimista vajaasta 200 '\n",
            "          'yhdysvaltalaisesta kenelläkään ei ollut tartuntaa.\\n'\n",
            "          'Myös Kiina ilmoitti perjantaina, että se aikoo hakea ulkomailla '\n",
            "          'olevia kansalaisiaan takaisin Kiinaan ”niin pian kuin mahdollista”. '\n",
            "          'Kotiuttamiset koskevat Hubein maakunnasta kotoisin olevia '\n",
            "          'kiinalaisia. Kansalaiset on tarkoitus hakea Kiinan järjestämällä '\n",
            "          'tilauslennolla.\\n'\n",
            "          'Ensimmäiset kaksi kotiutuslentoa suuntaavat Thaimaan Bangkokiin '\n",
            "          'sekä Malesian Kota Kinabaluun, Kiinan ilmailuviranomaiset kertoivat '\n",
            "          'perjantaina uutistoimisto Reutersin mukaan.\\n'\n",
            "          'Kiinan ulkoministeriön mukaan kotiuttamiset johtuvat käytännön '\n",
            "          'vaikeuksista, joita Hubeista, etenkin Wuhanin kaupungista kotoisin '\n",
            "          'olevat kiinalaiset ovat kohdanneet ulkomailla.\\n'\n",
            "          'Kiinan viranomaiset ovat kieltäneet kiinalaisten ryhmämatkat '\n",
            "          'ulkomaille. Myös monet maat ovat pyrkineet rajoittamaan ihmisten '\n",
            "          'tuloa Kiinasta.\\n'\n",
            "          'Venäjä on ilmoittanut sulkeneensa maantieliikenteen Kiinaan '\n",
            "          'kaikilla viidellä hallintoalueella Kiinan-vastaisella rajalla '\n",
            "          'Venäjän kaukoidässä. Maarajojen sulkemisesta ovat kertoneet myös '\n",
            "          'Kazakstan ja Mongolia.\\n'\n",
            "          'Myös useat saarivaltiot ovat ryhtyneet järeisiin toimiin estääkseen '\n",
            "          'viruksen saapumisen maaperälleen. Yhdysvalloille kuuluva '\n",
            "          'Pohjois-Mariaanien saariryhmä julisti torstaina hätätilan ja asetti '\n",
            "          'porttikiellon kaikille kiinalaisille matkailijoille.\\n'\n",
            "          'Marshallsaaret taas vaatii Kiinasta saapuvia henkilöitä viettämään '\n",
            "          'ennen maahan pääsyä vähintään 14 päivää maassa, jossa ei ole '\n",
            "          'tavattu koronavirusta. Palaun keskeytti kaikki lennot Kiinasta, '\n",
            "          'Hongkongista ja Macaosta. Papua-Uusi-Guinea tiedotti jo '\n",
            "          'keskiviikkona, ettei se päästä maahan Aasiasta tulevia ollenkaan.\\n'\n",
            "          'Kiinalaisten turismi on tärkeä talouden kulmakivi monille '\n",
            "          'Tyynenmeren valtioille.\\n'\n",
            "          'Kiinassa on peruttu kuluvan viikon aikana useita kiinalaisen '\n",
            "          'uudenvuoden tapahtumia ja julkisia tiloja, kuten temppeleitä, '\n",
            "          'elokuvateattereita ja ravintoloita on suljettu varotoimenpiteenä. '\n",
            "          'Torstaina ruotsalainen huonekalujätti Ikea ilmoitti sulkevansa '\n",
            "          'kaikki liikkeensä koronaviruksen vuoksi. Yhtiöllä on 30 myymälää '\n",
            "          'Kiinassa.\\n'\n",
            "          'Koronavirus sai myös Kansainvälisen yleisurheiluliiton siirtämään '\n",
            "          'Kiinan Nanjingiin maaliskuulle kaavaillut MM-hallikisat ensi '\n",
            "          'vuoteen.\\n'}]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qsQ4G4no1KD9"
      },
      "source": [
        "# Find corresponding news in HS/YLE\n",
        "\n",
        "* This is an easy, yet quite useful task\n",
        "* Let us look for news article correspondence, i.e. pair news from YLE and HS\n",
        "* Often needed in various data aggregation tasks\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "o3oxbFT51stG",
        "outputId": "c918d855-fb81-4efb-ce66-160892161c2d"
      },
      "source": [
        "#1) Vectorize\n",
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "\n",
        "yle_texts=[item[\"text\"] for item in news_data[\"2020\"][\"02\"][\"yle-text\"]] #The texts\n",
        "hs_texts=[item[\"text\"] for item in news_data[\"2020\"][\"02\"][\"hs-text\"]]   #...\n",
        "\n",
        "v=TfidfVectorizer() #you might want to explore other options here, this leaves everything on the default\n",
        "yle_vec=v.fit_transform(yle_texts)\n",
        "hs_vec=v.transform(hs_texts)          #That's all there is to it :D\n",
        "\n",
        "print(\"YLE\",yle_vec.shape)\n",
        "print(\"HS\",hs_vec.shape)"
      ],
      "execution_count": 38,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "YLE (1853, 119006)\n",
            "HS (6811, 119006)\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "3sUMC-D43rVX"
      },
      "source": [
        "*   (Often, this job is all about knowing the correct libraries)\n",
        "*   [sklearn's metrics.pairwise module](https://scikit-learn.org/stable/modules/classes.html#module-sklearn.metrics.pairwise) has a bunch of useful functions to calculate different pairwise metrics\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "rieIAs2U4lWa"
      },
      "source": [
        ""
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "oxJd2oZv3ort",
        "outputId": "48cbf923-d0a6-4a09-9a56-9d8b3bdaf1c4"
      },
      "source": [
        "#2) Compare\n",
        "import sklearn.metrics.pairwise as pairwise\n",
        "\n",
        "yle_hs_sims=pairwise.cosine_similarity(yle_vec,hs_vec) #can it be made any easier than this?!\n",
        "print(yle_hs_sims.shape) #we now have all YLE-vs-HS cosine similarities :)\n"
      ],
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "(1853, 6811)\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "_hMLO6DX58K9",
        "outputId": "7e9d6db8-53f7-4958-ba27-48d10ff7a38f"
      },
      "source": [
        "#3) Pick most similar\n",
        "# \n",
        "# This is easy, in the end, but needs some amount of numpy magic ;)\n",
        "\n",
        "import numpy as np\n",
        "sorted_indices=np.argsort(-yle_hs_sims)[:,:1]\n",
        "# argsort (argument sort, gives indices rather than sorted values)\n",
        "# sort is always ascending but we want descending, the solution is to sort -yle_hs_sims\n",
        "# [:,:1] means \"take all rows and the first column\" but do keep as a 2-dim array  [:,0] would produce a 1-dim array\n",
        "print(\"Sorted_indices shape\",sorted_indices.shape) #as many rows as there are YLE articles, and the index of the most similar HS article\n",
        "print(\"First ten sorted indices\",sorted_indices[:10])\n",
        "\n",
        "#But now we want to see the YLE articles that have the highest correspondence to any HS article\n",
        "#for that we need to sort again. For that, we also need the scores!\n",
        "scores=np.take_along_axis(yle_hs_sims,sorted_indices,-1)  #pick values from yle_hs_sims using the sorted_indices, on the last axis (does your head spin?)\n",
        "print(\"scores.shape\",scores.shape)\n",
        "scores_sorted_indices=np.argsort(-scores.flatten()) #We need to flatten before sort or else the 2nd dimension (which has only one element) will get sorted\n",
        "#this is now indices to YLE texts sorted in descending order by their similarity to any HS article\n",
        "\n"
      ],
      "execution_count": 36,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Sorted_indices shape (1853, 1)\n",
            "First ten sorted indices [[ 858]\n",
            " [  54]\n",
            " [  71]\n",
            " [ 567]\n",
            " [ 580]\n",
            " [4356]\n",
            " [2809]\n",
            " [  33]\n",
            " [2809]\n",
            " [1352]]\n",
            "scores.shape (1853, 1)\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "YbL2h7y7EJBr",
        "outputId": "ccf429bf-e0e7-4644-cba3-c266347f1f49"
      },
      "source": [
        "#4) Inspect!\n",
        "\n",
        "#Can we convince ourselves this works?\n",
        "for yle_i in scores_sorted_indices[:5]: #first five YLE articles with the highest sim to HS\n",
        "    #Which is the corresponding HS?\n",
        "    hs_i=sorted_indices[yle_i][0] #so which is the HS index? look it up in sorted_indices, and since that is a 2-dim array, pick the first column (numpy arrays can be head-spinning experience)\n",
        "    print(\"------------------------------------------\")\n",
        "    print(\"yle_i\",yle_i,\"hs_i\",hs_i) #now we know which row (YLE) and column (HS) we are referring to\n",
        "    sim=yle_hs_sims[yle_i,hs_i] #this is the similarity\n",
        "    print(\"Sim\",sim)\n",
        "    print(\"*********** YLE\")\n",
        "    print(yle_texts[yle_i][:500]) #this is the YLE article, first 500 chars\n",
        "    print(\"*********** HS\")\n",
        "    print(hs_texts[hs_i][:500]) #...and this is the HS article, first 500 chars\n",
        "    print(\"------------------------------------------\")\n",
        "    print()"
      ],
      "execution_count": 37,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "------------------------------------------\n",
            "yle_i 1290 hs_i 4710\n",
            "Sim 0.975945391128141\n",
            "*********** YLE\n",
            "Helsingin Laakson sairaalan lääkärit pelkäävät potilasturvallisuuden vaarantuvan lääkäripulan vuoksi – myös osastojen sulkeminen vaihtoehtona\n",
            "\"Nyt olemme kriisitilanteessa\", lääkärit sanovat. Lääkäreistä on vajetta ympäri Suomen.\n",
            "Helsingin Laakson sairaalan lääkärit ovat erittäin huolissaan sairaalan pitkään jatkuneesta ja yhä pahenevasta lääkäripulasta.\n",
            "Lääkärien mukaan potilasturvallisuus on vaarantunut toistuvasti.\n",
            "Laakson sairaalan lääkärit ovat lähestyneet Helsingin kaupunkia ja myös työsuo\n",
            "*********** HS\n",
            "Helsingin Laakson sairaalan lääkärit ovat erittäin huolissaan sairaalan pitkään jatkuneesta ja yhä pahenevasta lääkäripulasta.\n",
            "Lääkärien mukaan potilasturvallisuus on vaarantunut toistuvasti.\n",
            "Laakson sairaalan lääkärit ovat lähestyneet Helsingin kaupunkia ja myös työsuojelua kirjelmillä, joissa kerrotaan lääkäripulan vaikutuksista.\n",
            "”Tämän seurauksena me apulaisylilääkärit ja osastonlääkärit olemme jo parin vuoden ajan tehneet työtä jaksamisemme äärirajoilla, ja nyt olemme kriisitilanteessa”, lää\n",
            "------------------------------------------\n",
            "\n",
            "------------------------------------------\n",
            "yle_i 341 hs_i 1385\n",
            "Sim 0.9704408252866435\n",
            "*********** YLE\n",
            "Sakot saanut tuomari: Axl Smithin uhrien nimien paljastuminen oli inhimillinen virhe\n",
            "Tuomari oli itse salannut uhrien nimet rikoksen arkaluontoisuuden takia, mutta nimiä jäi näkyviin.\n",
            "Korkein oikeus (KKO) alkoi torstaina käsitellä juontaja Axl Smithin salakatseluoikeudenkäynnin tuomarin tekemää virhettä. Helsingin käräjäoikeuden tuomari tuomittiin sakkoihin viime vuoden huhtikuussa, sillä tuomioon oli jäänyt näkyviin salakatselun uhrien nimiä.\n",
            "Tuomari oli itse päättänyt salata nimet asian arkalu\n",
            "*********** HS\n",
            "Korkein oikeus (KKO) alkoi torstaina käsitellä juontaja Axl Smithin salakatseluoikeudenkäynnin tuomarin tekemää virhettä. Helsingin käräjäoikeuden tuomari tuomittiin sakkoihin viime vuoden huhtikuussa, sillä tuomioon oli jäänyt näkyviin salakatselun uhrien nimiä.\n",
            "Tuomari oli itse päättänyt salata nimet asian arkaluontoisuuden takia. Uhrien nimiä päätyi ainakin useiden tiedotusvälineiden edustajien tietoon.\n",
            "Salakatselujutussa oli 29 uhria. Smith oli kuvannut seksin aikana useita naisia muun muass\n",
            "------------------------------------------\n",
            "\n",
            "------------------------------------------\n",
            "yle_i 1675 hs_i 6281\n",
            "Sim 0.9659482129144448\n",
            "*********** YLE\n",
            "Elinkeinoelämän luottamus lähitulevaisuuteen laski viime kuussa – kuluttajien luottamus pysyi ennallaan\n",
            "Luvuissa ei näy vielä koronaviruksen vaikutus.\n",
            "Teollisuusyritysten luottamus lähitulevaisuuteen nousi helmikuussa, kertoo Elinkeinoelämän keskusliitto. Luottamusindikaattorissa ei kuitenkaan näy vielä juuri koronaviruksen vaikutusta.\n",
            "Luottamus oli helmikuussa yhä alle pitkän aikavälin keskiarvon. EK arvioi, että käänne huonompaan on ollut nopea ja virus on nyt suurin uhka globaalille taloudell\n",
            "*********** HS\n",
            "Kuluttajien luottamus pysyi helmikuussa liki ennallaan, kertoo Tilastokeskus. Luottamusindikaattorin pisteluku oli –4,5, kun se oli tammikuussa –4,6 ja joulukuussa –4,2.\n",
            "Kuluttajien arviot oman talouden nykytilasta ja lähitulevaisuudesta heikkenivät helmikuussa tammikuuhun verrattuna. Odotukset Suomen talouden lähitulevaisuudesta pysyivät ennallaan, mutta arviot rahankäytöstä kestokulutustavaroihin nousivat jonkin verran.\n",
            "Oman rahatilanteensa kuluttajat arvioivat helmikuussa varsin hyväksi. Kulu\n",
            "------------------------------------------\n",
            "\n",
            "------------------------------------------\n",
            "yle_i 13 hs_i 83\n",
            "Sim 0.9601583902372642\n",
            "*********** YLE\n",
            "Valtio-omisteisten yhtiöiden hallituspalkkiot nousevat ensimmäistä kertaa vuosiin – pelkona on, ettei huippuosaajia muuten löydy\n",
            "Korotusehdotusten tekemistä on vaikeuttanut se, että hallitus ei ole vieläkään päässyt yksimielisyyteen omistajaohjauksen periaatepäätöksestä.\n",
            "Valtio-omisteisten yhtiöiden hallituspalkkiot ovat nousemassa ensimmäistä kertaa vuosiin. Palkkiot ovat jääneet merkittävästi jälkeen markkinatasosta, ja pelkona on, että se vaikeuttaa kansainvälisten osaajien rekrytoimista.\n",
            "Val\n",
            "*********** HS\n",
            "Valtio-omisteisten yhtiöiden hallituspalkkiot ovat nousemassa ensimmäistä kertaa vuosiin. Palkkiot ovat jääneet merkittävästi jälkeen markkinatasosta ja pelkona on, että se vaikeuttaa kansainvälisten osaajien rekrytoimista.\n",
            "Valtion omistajaohjausosaston osastopäällikkö Kimmo Viertola kertoo STT:lle, että hallituspalkkioiden jäädytys on tarkoitus lopettaa, mutta korotukset ovat maltillisia.\n",
            "”Jäädytys on tarpeen lopettaa, jotta myös jatkossa saadaan kansainvälisiä osaajia kiinnostumaan yhtiöistä. \n",
            "------------------------------------------\n",
            "\n",
            "------------------------------------------\n",
            "yle_i 406 hs_i 1591\n",
            "Sim 0.9597350054196988\n",
            "*********** YLE\n",
            "Syyttäjä: Mies yritti murhata poliisin keittiöveitsellä viime kesänä Kuopiossa, partio onnistui kuitenkin puolustautumaan\n",
            "Veitsenisku lävisti oven, jonka taakse poliisi perääntyi.\n",
            "Syyttäjä vaatii Pohjois-Savon käräjäoikeudessa vankeutta miehelle, joka yritti syyttäjän mukaan murhata poliisin keittiöveitsellä viime kesänä.\n",
            "Poliisipartio oli tullut miehen asunnolle häiriökäyttäytymisestä tehdyn hätäkeskusilmoituksen perusteella.\n",
            "Syyttäjän mukaan mies otti asunnon eteisessä käteensä kookkaan keitti\n",
            "*********** HS\n",
            "Syyttäjä vaatii Pohjois-Savon käräjäoikeudessa vankeutta miehelle, joka yritti syyttäjän mukaan murhata poliisin keittiöveitsellä viime kesänä. Poliisipartio oli tullut miehen asunnolle häiriökäyttäytymisestä tehdyn hätäkeskusilmoituksen perusteella.\n",
            "Syyttäjän mukaan mies otti asunnon eteisessä käteensä kookkaan keittiöveitsen ja kohotti sen lyöntiasentoon, mutta poliisi ehti potkaista miestä vatsaan. Mies seurasi potkusta huolimatta toista poliisia veitsi kädessään ja löi veitsellä vielä uudell\n",
            "------------------------------------------\n",
            "\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "1F5APN0OESyV"
      },
      "source": [
        "# That worked like charm!"
      ]
    }
  ]
}