psychologieheute.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "4ae78b35-2c9d-47a6-939c-127bca6d1794",
   "metadata": {},
   "source": [
    "# Scrape Stories from Psychologie Heute\n",
    "\n",
    "Scrape German Corona stories from the website of Psychologie Heute (psychology today): https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html.\n",
    "\n",
    "All the stories are on the main page.\n",
    "\n",
    "The stories are stored in dictionaries with the following fields:\n",
    "\n",
    "- `link`: The link of the main page (string)\n",
    "- `title`: The title of the main page (string)\n",
    "- `subtitle`: The subtitle of the story (string)\n",
    "- `intro_text`: The introductory text giving some background on all stories (string)\n",
    "- `date`: The date when the stories where published (string)\n",
    "- `author`: The author of each story (string)\n",
    "- `box_text`: The story text in each box (string)\n",
    "\n",
    "The web pages containing the stories are stored as `.html`. The notebook requires a folder at `DATA_DIR`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "9aadbdf9-f875-4a1d-aaed-35099dcf8f53",
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\" Scrape stories from Psychologie Heute \"\"\"\n",
    "\n",
    "import os\n",
    "from urllib.request import urlopen, Request\n",
    "from bs4 import BeautifulSoup"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "2091c680-2b8b-4ece-9bde-c6a0da8796bf",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Set URL of the main page containing the links to the story pages\n",
    "\n",
    "URL = \"https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\"\n",
    "\n",
    "# Set directory for storing web pages\n",
    "\n",
    "DATA_DIR = \"../psychologieheute.de/scraped/\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "0fb44fb5-499c-4761-a247-1e657d83bfb8",
   "metadata": {},
   "outputs": [],
   "source": [
    "def check_dir(data_dir):\n",
    "    \"\"\" Check if directory for saving web page exists \"\"\"\n",
    "    if not os.path.isdir(data_dir):\n",
    "        os.makedirs(data_dir)\n",
    "        print(f\"Created saving directory at {data_dir}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "6c502ff9-8bc0-4807-a2e3-2deeb42b1771",
   "metadata": {},
   "outputs": [],
   "source": [
    "def load_web_page(url, file_name, data_dir):\n",
    "    \"\"\" Check if web page can be loaded from disk;\n",
    "    otherwise fetch website and save as .html to disk \"\"\"\n",
    "    check_dir(data_dir)\n",
    "    if os.path.exists(file_name):\n",
    "        with open(file_name, \"r\", encoding=\"utf-8\") as file:\n",
    "            page = file.read()\n",
    "        print(f\"Loaded web page from {file_name}\")\n",
    "    else:\n",
    "        req = Request(url, headers={\"User-Agent\": \"Mozilla/5.0\"})\n",
    "        page = urlopen(req).read()\n",
    "        with open(file_name, \"w\", encoding=\"utf-8\") as file:\n",
    "            file.write(page.decode())\n",
    "        print(f\"Saved web page to {file_name}\")\n",
    "    return page"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "ecd57d9d-a6e8-4088-8a08-a9b127741bfc",
   "metadata": {},
   "outputs": [],
   "source": [
    "def extract_text_from_url(url, data_dir):\n",
    "    \"\"\" Extract links to the story pages from main page \"\"\"\n",
    "    new_file_name = data_dir + \"psychologieheute-de.html\"\n",
    "    new_page = BeautifulSoup(load_web_page(\n",
    "        url, new_file_name, data_dir), \"html.parser\")\n",
    "    new_title = new_page.title.string\n",
    "    new_subtitle = (\n",
    "        new_page.find(\n",
    "            \"h2\", attrs={\"class\": \"articleSubtitle\"}).get_text().strip()\n",
    "    )\n",
    "    new_intro_text = new_page.find(\n",
    "        \"div\", attrs={\"class\": \"box-standard\"}\n",
    "    ).previousSibling.get_text()\n",
    "    new_date = new_page.find(\"span\", attrs={\"class\": \"date\"}).string\n",
    "    new_authors = [auth.string for auth in new_page.find_all(\"b\")]\n",
    "    new_box_text = new_page.find_all(\"div\", attrs={\"class\": \"box-standard\"})\n",
    "    new_box_text_stripped = [text.get_text(\n",
    "        separator=\"\\n\") for text in new_box_text]\n",
    "\n",
    "    docs = []\n",
    "\n",
    "    for i in range(len(new_box_text_stripped)):\n",
    "        new_doc = {\n",
    "            \"link\": url,\n",
    "            \"title\": new_title,\n",
    "            \"subtitle\": new_subtitle,\n",
    "            \"intro_text\": new_intro_text,\n",
    "            \"date\": new_date,\n",
    "            \"author\": new_authors[i],\n",
    "            \"box_text\": new_box_text_stripped[i],\n",
    "        }\n",
    "        docs.append(new_doc)\n",
    "\n",
    "        print(f\"Extracted story {i+1} from {url}\")\n",
    "\n",
    "    print(\"Done\")\n",
    "\n",
    "    return docs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "349e1388-f914-48d0-8b8f-aac78c4927a4",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Loaded web page from ../psychologieheute.de/scraped/psychologieheute-de.html\n",
      "Extracted story 1 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 2 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 3 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 4 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 5 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 6 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 7 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 8 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 9 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 10 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 11 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 12 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 13 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 14 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Extracted story 15 from https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "Done\n"
     ]
    }
   ],
   "source": [
    "docs = extract_text_from_url(URL, DATA_DIR)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "c21e186c-5ae8-4e54-ac0d-4f007cb56b99",
   "metadata": {},
   "outputs": [],
   "source": [
    "def print_doc(doc):\n",
    "    \"\"\" Print doc \"\"\"\n",
    "    for field in doc.keys():\n",
    "        print(field + \": \" + doc[field] + \"\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "cb7186e1-2830-4083-9fc0-16eabd466136",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "link: https://www.psychologie-heute.de/gesellschaft/artikel-detailansicht/40776-corona-geschichten.html\n",
      "\n",
      "title: Corona-Geschichten: Unsere Leser erzählen\n",
      "\n",
      "subtitle: Wir haben unsere Leser gefragt, wie es ihnen in der Coronakrise geht. Sie haben geantwortet. Denn Geschichten bringen uns zusammen.\n",
      "\n",
      "intro_text: Deshalb haben wir als Psychologie Heute unsere Leser über Socia Media und unseren Newsletter aufgerufen, ihre ganz persönliche Corona-Geschichte zu erzählen. Wir  bedanken uns für die Einsendungen und freuen uns, sie hier auf unserer Webseite zu veröffentlichen. Weil wir glauben, dass wir durch Erzählen und Zuhören mehr von der Welt verstehen. Und es uns ein Stück näher zusammenbringt.\n",
      "\n",
      "date: 03. Sep 2020\n",
      "\n",
      "author: Stefanie Heß\n",
      "\n",
      "box_text: Hallo zusammen,\n",
      "Mir ging es vor Corona oft schlecht. Ich habe eine PTBS, dadurch war der Weg zur Arbeit und die Arbeit selbst eine riesige Kraftanstrengung, Termine bei Ärzten und Therapeuten verstärkten dies und ich war oft krankgeschrieben. Seit Jahren habe ich Heimarbeit beantragt, wenigstens für Tage mit Arzt- und Therapieterminen, es wurde immer wieder abgelehnt. Eine Reha wurde ebenfalls jahrelang abgelehnt und ich dachte am Anfang des Jahres ich müsse bald eine Erwerbsminderungsrente beantragen.\n",
      "Dann kam Corona und alles wurde anders, für mich wurde plötzlich alles besser. Plötzlich „musste“ ich Heimarbeit machen, eine riesige Erleichterung, meine Therapie wurde auf Videosprechstunde umgestellt und auch diesen Weg musste ich nicht mehr machen, auf einmal hatte ich soviel Zeit und auch Energie um sie zu füllen. Ich bin in den ersten Wochen der harten Maßnahmen/Kontaktbeschränkungen so gerne raus gegangen, ich habe mich noch nie so frei gefühlt wie in diesen Wochen, da war einfach niemand, der mir Angst machte, alle machten einen großen Bogen um mich und ich musste den Impuls des Abstandhaltens nicht mehr unterdrücken, er war sogar goldrichtig. Irgendwie fühlte es sich an, als wäre die Gesellschaft in mein ängstliches Boot zugestiegen, nur war ich im Gegensatz zur Mehrheit schon sehr vertraut mit diesem Boot.\n",
      "Da ich eine Nähmaschine habe, habe ich natürlich Masken genäht, auch für Freunde und Familie, sogar für eine Klinik habe ich etwas nähen können und dafür gab es Dank und Wertschätzung. Ich war und bin nicht mehr die leistungsgeminderte Dauerkranke, sondern wieder jemand der etwas kann, sogar über die reine Erwerbsarbeit hinaus.\n",
      "Bis heute habe ich das Privileg der Heimarbeit und ich bin immer noch leistungsfähig wie lange nicht mehr, ich war nicht mehr krank seit März, das ist einfach unglaublich für mich.\n",
      "Mir ist klar, dass viele Menschen, in dieser unsicheren Zeit sehr leiden, und es mag seltsam klingen, aber ich fühle mich wie ein Krisengewinner. Natürlich wünsche ich mir für die Mehrheit, dass bald wieder Normalität möglich ist, auch wenn sie mich wieder einschränken wird.\n",
      "Liebe Grüße, \n",
      "Stefanie Heß\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print_doc(docs[0])"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "navigating-stories",
   "language": "python",
   "name": "navigating-stories"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}