topic-analysis.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Topic analysis\n",
    "\n",
    "Compare the word frequencies in one group of tweets with the word frequencies in another group of tweets to find out the topics discussed in the tweets."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import csv\n",
    "import datetime\n",
    "import math\n",
    "import os\n",
    "import pandas as pd\n",
    "import re\n",
    "import sys\n",
    "from IPython.display import clear_output\n",
    "from nltk.tokenize import TweetTokenizer\n",
    "sys.path.append(\"/home/erikt/projects/newsgac/fasttext-runs\")\n",
    "import tscore"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "DATADIRTEXT = \"/home/erikt/projects/puregome/data/text/\"\n",
    "DATADIRTOKENS = \"../data/tokens/\"\n",
    "DATADIRTOKENSTOPIC = \"../data/tokens-topic/\"\n",
    "DATEFORMAT = \"%Y%m%d\"\n",
    "FILESUFFIX = \".csv.gz\"\n",
    "FREQ = \"freq\"\n",
    "IDSTR = \"id_str\"\n",
    "NBROFEXAMPLES = 20\n",
    "QUERYTOPIC = r\"corona|covid|mondkapje|rivm|blijfthuis|houvol|huisarts|flattenthecurve\"\n",
    "TEXT = \"text\"\n",
    "TOKEN = \"token\"\n",
    "TOKENFILE = \"tokens.csv\"\n",
    "USER = \"user\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "def squeal(text=None):\n",
    "    clear_output(wait=True)\n",
    "    if not text is None: print(text)\n",
    "        \n",
    "def tokenize(text):\n",
    "    return(TweetTokenizer().tokenize(text))\n",
    "\n",
    "def isInterestingToken(token):\n",
    "    return(re.search(r\"[a-z]\",token) and not re.search(\"http\",token))\n",
    "\n",
    "def getTokenCountsFromTweets(datePattern,query=\"\",baseDict={}):\n",
    "    tokenCounts = dict(baseDict)\n",
    "    fileList = sorted(os.listdir(DATADIRTEXT))\n",
    "    for inFileName in fileList:\n",
    "        if re.search(datePattern,inFileName):\n",
    "            squeal(inFileName)\n",
    "            df = pd.read_csv(DATADIRTEXT+inFileName,index_col=IDSTR)\n",
    "            if query != \"\":\n",
    "                df = df[df[TEXT].str.contains(query,case=False)]\n",
    "            for i in range(0,len(df)):\n",
    "                text = df.iloc[i][TEXT]\n",
    "                text = re.sub(r\"\\\\n\",\" \",text)\n",
    "                text = re.sub(r\"\\s+\",\" \",text)\n",
    "                for token in set(tokenize(text.lower())): \n",
    "                    if isInterestingToken(token):\n",
    "                        if not token in tokenCounts: \n",
    "                            tokenCounts[token] = 0\n",
    "                        tokenCounts[token] += 1\n",
    "    return(tokenCounts)\n",
    "\n",
    "def dictTopN(dictionary,N=NBROFEXAMPLES):\n",
    "    return([(x[1],x[0]) for x in dictionary.items()][0:N])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "NBROFTOKENS = \"totalFreq\"\n",
    "NBROFTYPES = \"nbrOfWords\"\n",
    "WORDFREQS = \"wordFreqs\"\n",
    "\n",
    "def makeTscoreData(tokenList):\n",
    "    data = { NBROFTOKENS:0, NBROFTYPES:0, WORDFREQS:{} }\n",
    "    for token in tokenList:\n",
    "        if not math.isnan(tokenList[token]):\n",
    "            data[WORDFREQS][token] = tokenList[token]\n",
    "            data[NBROFTYPES] += 1\n",
    "            data[NBROFTOKENS] += tokenList[token]\n",
    "    return(data)\n",
    "\n",
    "def sortTscores(tscores):\n",
    "    return({token:tscores[token] \\\n",
    "            for token in sorted(tscores.keys(),key=lambda t:tscores[t],reverse=True)})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "def makeDateFromFileName(fileName):\n",
    "    return(fileName[0:8])\n",
    "\n",
    "def sortDict(myDict):\n",
    "    return({m:myDict[m] for m in sorted(myDict.keys(),key=lambda m:myDict[m],reverse=True)})\n",
    "\n",
    "def writeTokenCounts(tokenCounts,outFileName):\n",
    "    pd.DataFrame.from_dict([tokenCounts]).T.to_csv(outFileName,index_label=TOKEN,header=[FREQ])\n",
    "    \n",
    "def readTokenCounts(date,dataDir=DATADIRTOKENS):\n",
    "    return(pd.read_csv(dataDir+date+FILESUFFIX,index_col=TOKEN).to_dict(orient=\"dict\")[FREQ])\n",
    "\n",
    "def combineTokenCounts(tokenCountsList):\n",
    "    if len(tokenCountsList) == 0: return({})\n",
    "    else:\n",
    "        tokenCountsOut = dict(tokenCountsList[0])\n",
    "        for tokenCounts in tokenCountsList[1:]:\n",
    "            for token in tokenCounts:\n",
    "                if token in tokenCountsOut: tokenCountsOut[token] += tokenCounts2[token]\n",
    "                else: tokenCountsOut[token] = tokenCounts[token]\n",
    "    return(tokenCountsOut)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Store token counts for all tweets"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "FILEPATTERN = \"20200[2-9]|20201[01]\"\n",
    "\n",
    "datesSeen = {}\n",
    "inFileNames = sorted(os.listdir(DATADIRTEXT))\n",
    "for inFileName in inFileNames:\n",
    "    if re.search(FILEPATTERN,inFileName):\n",
    "        date = makeDateFromFileName(inFileName)\n",
    "        outFileName = DATADIRTOKENS+date+FILESUFFIX\n",
    "        if not date in datesSeen and not os.path.exists(outFileName):\n",
    "            datesSeen[date] = True\n",
    "            writeTokenCounts({},outFileName)\n",
    "            tokenCounts = sortDict(getTokenCountsFromTweets(date))\n",
    "            writeTokenCounts(tokenCounts,outFileName)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Store token counts for tweets with topic words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "20201127-23.out.gz\n"
     ]
    }
   ],
   "source": [
    "FILEPATTERN = \"20200[89]|20201[01]\"\n",
    "\n",
    "datesSeen = {}\n",
    "inFileNames = sorted(os.listdir(DATADIRTEXT))\n",
    "for inFileName in inFileNames:\n",
    "    if re.search(FILEPATTERN,inFileName):\n",
    "        date = makeDateFromFileName(inFileName)\n",
    "        outFileName = DATADIRTOKENSTOPIC+date+FILESUFFIX\n",
    "        if not date in datesSeen and not os.path.exists(outFileName):\n",
    "            datesSeen[date] = True\n",
    "            writeTokenCounts({},outFileName)\n",
    "            tokenCounts = sortDict(getTokenCountsFromTweets(date,query=QUERYTOPIC))\n",
    "            writeTokenCounts(tokenCounts,outFileName)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Compute topic words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "DATADIRSENT = \"../data/sentiment/pattern/\"\n",
    "DEFAULTFILEPATTERN = \"\"\n",
    "SENTIMENT = \"sentiment\"\n",
    "COUNT = \"count\"\n",
    "\n",
    "def getSentimentQuery(query,filePattern=DEFAULTFILEPATTERN):\n",
    "    fileList = sorted(os.listdir(DATADIRSENT))\n",
    "    sentimentPerHour = {}\n",
    "    for inFileName in fileList:\n",
    "        if re.search(filePattern,inFileName):\n",
    "            squeal(inFileName)\n",
    "            try:\n",
    "                dfSent = pd.read_csv(DATADIRSENT+inFileName,header=None)\n",
    "                dfText = pd.read_csv(DATADIRTEXT+inFileName)\n",
    "            except: continue\n",
    "            dictSent = {dfSent.iloc[i][0]:dfSent.iloc[i][1] for i in range(0,len(dfSent))}\n",
    "            sentScores = {}\n",
    "            for i in range(0,len(dfText)):\n",
    "                if re.search(query,dfText.iloc[i][TEXT],flags=re.IGNORECASE):\n",
    "                    try:\n",
    "                        idStr = dfText.iloc[i][IDSTR]\n",
    "                        sentScore = dictSent[idStr] \n",
    "                        sentScores[idStr] = sentScore\n",
    "                    except: pass\n",
    "            if len(sentScores) > 0:\n",
    "                sentiment = sum(sentScores.values())/len(sentScores)\n",
    "                hour = inFileName[0:11]\n",
    "                sentimentPerHour[hour] = { SENTIMENT:sentiment, COUNT:len(sentScores) }\n",
    "    totalSentiment = sum([sentimentPerHour[hour][SENTIMENT]*sentimentPerHour[hour][COUNT] for hour in sentimentPerHour])\n",
    "    totalCount = sum([sentimentPerHour[hour][COUNT] for hour in sentimentPerHour])\n",
    "    if totalCount == 0: return(None)\n",
    "    else: return(totalSentiment/totalCount)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "def dateStringToDate(dateString):\n",
    "    return(datetime.datetime.strptime(dateString,DATEFORMAT))\n",
    "\n",
    "def dateToDateString(date):\n",
    "    return(datetime.datetime.strftime(date,DATEFORMAT))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {},
   "outputs": [],
   "source": [
    "def get_tweets(date, topic, query=\"\"):\n",
    "    df = {}\n",
    "    for hour in range(0,24):\n",
    "        hour = str(hour).zfill(2)\n",
    "        file = f\"{date}-{hour}.out.gz\"\n",
    "        squeal(file)\n",
    "        tweets = pd.read_csv(DATADIRTEXT+file, index_col=\"id_str\")\n",
    "        if query != \"\":\n",
    "            tweets = tweets[tweets[\"text\"].str.contains(query, case=False)]\n",
    "        if topic != \"\":\n",
    "            tweets = tweets[tweets[\"text\"].str.contains(topic, case=False)]\n",
    "        if len(tweets) > 0:\n",
    "            if len(df) == 0: \n",
    "                df = tweets\n",
    "            else:\n",
    "                df = pd.concat([df,tweets])\n",
    "    if len(df) > 0:\n",
    "        groups = df.groupby([\"text\"]).groups\n",
    "        return([(len(groups[group]),group) for group in sorted(groups, key=lambda group:len(groups[group]), reverse=True)])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "20200311 & WHO declares COVID-19 to be a pandemic\\\\\n",
    "20200312 & Schools remain open after announcing first national measures\\\\\n",
    "20200313 & Hoarding in Dutch supermarkets\\\\\n",
    "20200314 & People stay at home\\\\\n",
    "20200315 & New measures: schools, bars and restaurant close\\\\\n",
    "20200316 & Prime-minister addresses the nation\\\\\n",
    "20200317 & Applauding event for health care workers\\\\\n",
    "20200318 & RIVM boss Van Dissel speaks with parliament\\\\\n",
    "20200319 & Calls for more intensive car beds\\\\\n",
    "20200320 & King addresses the nation\\\\\n",
    "20200321 & Calls for social distancing\\\\\n",
    "20200322 & Calls for staying at home\\\\\n",
    "20200323 & Tougher measures to battle the pandemic\\\\\n",
    "20200325 & Virus detected in Dutch sewer\\\\\n",
    "20200326 & Problems in supply of test fluid from Swiss company\\\\\n",
    "20200327 & KLM resumes flights to COVID-19-hit countries\\\\\n",
    "20200330 & EU provides financial support to Morocco to fight COVID-19\\\\\n",
    "20200331 & Prolongation of COVID-19 measures\\\\\n",
    "&\\\\\n",
    "20200401 & Debate in the parliament about COVID-19\\\\\n",
    "20200403 & RIVM rejects testing on Schiphol\\\\\n",
    "20200405 & Germany declares Netherslands as risk area\\\\\n",
    "20200407 & National press conference announces work on COVID-19 app\\\\\n",
    "20200410 & Promising Israeli treatment\\\\\n",
    "20200411 & Netherlands sent face masks to China in February\\\\\n",
    "20200414 & Call for extra protection for health care workers\\\\\n",
    "20200416 & Disturbances of youths in Monnickendam\\\\\n",
    "20200419 & COVID-19 app proves to be unsafe\\\\\n",
    "20200420 & Denmark put restrictions on companies asking for support\\\\\n",
    "20200421 & Nationalpress conference\\\\\n",
    "20200423 & Netherlands supplied face masks to Montenegro\\\\\n",
    "20200424 & Trump recommends disinfectant as medicine\\\\\n",
    "20200425 & China removes critical notes from WHO reports\\\\\n",
    "20200426 & Nurse complains about lack of public compliance to measures\\\\\n",
    "20200427 & Kings Day: calls to stay at home\\\\\n",
    "20200428 & Complaints about number of people allowed in IKEA shops\\\\\n",
    "20200429 & Public offers to order face masks for government\\\\\n",
    "20200430 & Schiedam storage contains face masks to be send abroad\\\\\n",
    "&\\\\\n",
    "20200501 & Marseille professor cures people with hydrochloroquine\\\\\n",
    "20200502 & Dutch company DSM is involved in producing face masks\\\\\n",
    "20200504 & Different celebration of WWII death remembrance\\\\\n",
    "20200505 & Different celebration of Liberation Day\\\\\n",
    "20200506 & National press conference: face masks in public transport\\\\\n",
    "20200508 & Incident at Rotterdam suprmarket about COVID-19 measures\\\\\n",
    "20200509 & RIVM disapproved testing in care homes\\\\\n",
    "20200510 & Warning for illness effects on young people\\\\\n",
    "20200511 & Relaxation of COVID-19 measures\\\\\n",
    "20200512 & RIVM refuses to publish reproduction number\\\\\n",
    "20200514 & Belgian economist proposes COVID-19 tax for elderly\\\\\n",
    "20200515 & Government party VVD profits from COVID-19 strategy in polls\\\\\n",
    "20200516 & Government bought bad face masks\\\\\n",
    "20200517 & RIVM has movie with medicine claims removed from YouTube\\\\\n",
    "20200518 & Dutch doctor claims success of anti-malaria medicine\\\\\n",
    "20200519 & National press conference\\\\\n",
    "20200520 & COVID-19 debate in parliament\\\\\n",
    "20200521 & Calls to stay at home, despite the weather\\\\\n",
    "20200522 & Government thinks about postposing 2021 elections\\\\\n",
    "20200523 & Church service contamination in Frankfurt\\\\\n",
    "20200524 & Different celebration of Ramadan ending\\\\\n",
    "20200525 & Unknown children's disease, possible COVID-19 link\\\\\n",
    "20200526 & Dicussion about aerosol contamination, influence of ventilation\\\\\n",
    "20200528 & Netherlands has more per capita COVID-19 deaths than the USA\\\\\n",
    "20200529 & Government works on emergency law on phone location data research\\\\\n",
    "20200530 & COVID-19 outbreak in The Hague mosque\\\\\n",
    "20200531 & Preparing for Black Lifes Matter demonstration in Amsterdam\\\\\n",
    "&\\\\\n",
    "20200601 & Black Lifes Matter demonstration in Amsterdam\\\\\n",
    "20200602 & Call to cancel all COVID-19 fines\\\\\n",
    "20200603 & Black Lifes Matter demonstration in Rotterdam\\\\\n",
    "20200604 & COVID-19 debate in parliament\\\\\n",
    "20200605 & Stand-up comedian Hans Teeuwen includes COVID-19 in show\\\\\n",
    "20200606 & Government discusses COVID-19 law\\\\\n",
    "20200607 & Patient reports second contamination\\\\\n",
    "20200609 & Critique on emegency COVID-19 law\\\\\n",
    "20200610 & Dutch vaccin enters testing phase in July\\\\\n",
    "20200611 & Protest of fancy fair workers\\\\\n",
    "20200612 & COVID-19 causes long-term lung problems\\\\\n",
    "20200614 & Volkskrant editor says that science, government and media need to tell same story\\\\\n",
    "20200616 & Mayors publish manifest on effects COVID-19 on society\\\\\n",
    "20200617 & RIVM announces that finding contamination sources is hard\\\\\n",
    "20200619 & The Hague forbids anti-COVID-19 measures demonstration\\\\\n",
    "20200620 & NRC newspaper publishes timeline of Dutch pandemic experiences\\\\\n",
    "20200621 & The Hague demonstration against COVID-19 measures still held\\\\\n",
    "20200622 & RIVM forbids ventilator usage in health care homes\\\\\n",
    "20200623 & Parliament forbidsbreading animals sentsitive for COVID-19\\\\\n",
    "20200624 & National press conference\\\\\n",
    "20200625 & COVID-19 debate in parliament\\\\\n",
    "20200627 & Call to stop social distancing rule\\\\\n",
    "20200628 & Poll reveals disapprovement (87%) of governments COVID-19 policies\\\\\n",
    "20200629 & DUtch Railways cuts 2,300 jobs\\\\\n",
    "20200630 & Government parties vote against increasing healt care worker salaries\\\\\n",
    "&\\\\\n",
    "20200702 & Doctors demand motivations for national COVID-19 measures\\\\\n",
    "20200705 & Nurse Boy Eddema dies from COVID-19\\\\\n",
    "20200706 & People demonstrate against incorrect COVID-19 news\\\\\n",
    "20200708 & National COVID-19 app is named: CoronaMelder\n",
    "20200709 & Medical staff protests against national pandemic measures\\\\\n",
    "20200710 & Dordrecht forbids demosntration against COVID-19 law\\\\\n",
    "20200711 & Health minister forced doctor to give satisfying intensive care bed estimate\\\\\n",
    "20200712 & French busdriver killed in incident about face masks\\\\\n",
    "20200713 & 23rd Dutch mink farm with COVID-19 found\\\\\n",
    "20200714 & Mob profited from COVID-19 relief fund for companies\\\\\n",
    "20200715 & Calls for testing even with mild symptoms\\\\\n",
    "20200717 & 38 Schiphol-bound flights contained COVID-19 patients\\\\\n",
    "20200719 & No passenger checks in Schiphol flights from contaminated areas\\\\\n",
    "20200722 & Calls for more face mask wearing\\\\\n",
    "20200723 & Discussion about achievability of face mask obligation\\\\\n",
    "20200725 & Despite reports, three-year old did not die of COVID-19\\\\\n",
    "20200726 & Doctor protests against national COVID-19 measures\\\\\n",
    "20200727 & Scar tissue found on hearts of COVID-19 patients\\\\\n",
    "20200728 & Calls for keeping following the COVID-19 measures\\\\\n",
    "20200729 & CNS reports that excess deaths is double of COVID-19 deaths\\\\\n",
    "20200730 & Amsterdam and Rotterdam ask people in busy areas to wear face masks\\\\ "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 113,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "20201121\n",
      "(15.902292753272638, 'vertrouw')\n",
      "(15.76260005988869, 'afgepakt')\n",
      "(15.756971947098165, 'lichaamstaal')\n",
      "(15.679972106854247, 'verraadt')\n",
      "(15.557911617218917, 'testen')\n",
      "(15.44568002212619, 'vaccin')\n",
      "(15.188240303060786, 'ongeacht')\n",
      "(15.180082567299596, 'geloof')\n",
      "(14.990857894301922, '#rutte')\n",
      "(14.99073004672204, 'omlaag')\n",
      "(14.060196772440339, 'feestdagen')\n",
      "(13.692286497509627, 'intochten')\n",
      "(13.173566396768472, 'proces')\n",
      "(13.156659955993591, 'zo')\n",
      "(12.975520458239512, 'snel')\n",
      "(12.82523144900849, 'demonstreren')\n",
      "(12.670309768397468, 'veiligheid')\n",
      "(12.600127432612426, 'gaan')\n",
      "(12.535583122335126, 'kozp')\n",
      "(12.471881348480695, 'duurt')\n",
      "\n",
      "20201122\n",
      "(24.0770072185415, '@rivm')\n",
      "(22.474543287748, 'technische')\n",
      "(22.419171579825914, 'richtlijn')\n",
      "(22.374154508438924, 'verhoogd')\n",
      "(22.218822333010575, 'pcr-test')\n",
      "(21.594247368574674, 'weigert')\n",
      "(21.38255352432723, 'cycli')\n",
      "(21.169250551537164, 'targets')\n",
      "(21.098799108501343, 'verlaagd')\n",
      "(20.81980284166435, '#pcrgate')\n",
      "(20.324240739167646, 'antwoorden')\n",
      "(19.949181768298438, 'minister')\n",
      "(19.346164385628168, 'waarop')\n",
      "(18.099416365644082, '@wybrenvanhaga')\n",
      "(17.23981314929473, '#blijfthuis')\n",
      "(16.333583728765294, 'vragen')\n",
      "(16.298304328033353, 'rot')\n",
      "(16.19334644612771, 'terminale')\n",
      "(16.162440384441787, 'meldden')\n",
      "(16.145869747801953, 'corona-besmetting')\n",
      "\n",
      "20201123\n",
      "(19.534850227534065, '#boa')\n",
      "(18.597424443834058, '@spoorwegpolitie')\n",
      "(18.182210861633077, 'ontheffing')\n",
      "(17.828754944289805, '#trein')\n",
      "(17.200720463587285, '7d')\n",
      "(17.08093064755492, '@edwinveldhuizen')\n",
      "(16.970127074513126, 'trekken')\n",
      "(16.883310190018697, 'opdracht')\n",
      "(16.516991241469697, 'okt')\n",
      "(16.46632826309867, 'einde')\n",
      "(16.293307349777, 'ervoor')\n",
      "(16.18908299814294, 'nov')\n",
      "(15.886738686074013, 's')\n",
      "(14.355793657333203, 'status')\n",
      "(14.325743644648304, 'dagen')\n",
      "(14.265044873860532, 'jij')\n",
      "(13.994582921292862, 'laatste')\n",
      "(13.801511643182252, 'daarbij')\n",
      "(13.717102231043874, 'astrazeneca')\n",
      "(13.678183736708135, 'great')\n",
      "\n",
      "20201124\n",
      "(27.20516833127861, 'motie')\n",
      "(26.884729794327065, 'd66')\n",
      "(26.855538971930343, 'kamer')\n",
      "(26.701847264197653, 'aangenomen')\n",
      "(26.42040767418408, 'stemden')\n",
      "(26.26857356792572, 'nepliberalen')\n",
      "(26.150477626478445, '#pvv')\n",
      "(26.106806696043247, 'drang')\n",
      "(25.98698555123241, '#wilders')\n",
      "(25.980922479300414, 'vrijwillige')\n",
      "(25.8332717397773, 'dwang')\n",
      "(24.00068060844351, 'vvd')\n",
      "(23.636161632756256, '#vaccinatie')\n",
      "(23.581191584360628, 'basis')\n",
      "(20.89704901496435, '#vaccin')\n",
      "(20.0417866496122, 'advocaat')\n",
      "(19.87810658607052, '@geertwilderspvv')\n",
      "(19.858745533674686, 'svp')\n",
      "(19.786543191367837, '#corona')\n",
      "(19.765637949744136, 'gezocht')\n",
      "\n",
      "20201125\n",
      "(21.290241764854287, 'democratie')\n",
      "(20.711862634066318, 'vws')\n",
      "(20.49740926535042, 'wijst')\n",
      "(19.500613789400006, 'forum')\n",
      "(18.69767058220625, '#fvd')\n",
      "(17.891836277673182, 'gisteren')\n",
      "(17.348991219881654, '7d')\n",
      "(17.11690092722848, 'voordeur')\n",
      "(16.783806919399918, '@edwinveldhuizen')\n",
      "(16.732892593723278, 'slob')\n",
      "(16.40825937236824, 'okt')\n",
      "(16.27487164356055, '@wybrenvanhaga')\n",
      "(16.05490781184178, 'zelfs')\n",
      "(15.973850461419211, 'huisartsen')\n",
      "(15.906036680831773, 'proef')\n",
      "(15.794170511072052, 'ervoor')\n",
      "(15.791139589951225, 'werken')\n",
      "(15.392855091237916, 'gezondheid')\n",
      "(15.186775077264517, 'sneltesten')\n",
      "(14.867355609091167, 'slecht')\n",
      "\n",
      "20201126\n",
      "(21.256562176729602, 'schokkend')\n",
      "(21.110800292067072, 'daarom')\n",
      "(21.012118127930922, 'advies')\n",
      "(20.75165341157219, 'onderzocht')\n",
      "(20.452077723418338, 'draadje')\n",
      "(20.40556944859779, 'enkele')\n",
      "(20.308007669474243, 'dringend')\n",
      "(20.138190246056773, 'onderbouwing')\n",
      "(19.774442229578924, 'verschil')\n",
      "(19.037789961394196, 'effect')\n",
      "(18.731168561304077, 'wet')\n",
      "(18.586619325044946, 'conform')\n",
      "(18.576420060702663, 'blijkt')\n",
      "(18.54068940008569, 'wob-verzoeken')\n",
      "(18.513702364051237, 'afhandelt')\n",
      "(18.278380033837553, 'verhoor')\n",
      "(17.993260212020992, 'kinderopvangtoeslag')\n",
      "(17.825753673487597, 'soepele')\n",
      "(17.825753673487597, 'doodnormaal')\n",
      "(17.797682653057066, 'vanzelfsprekendheid')\n",
      "\n",
      "20201127\n",
      "(16.66837403625002, 'premierstaak')\n",
      "(16.608272809026438, 'gaswinningsdrama')\n",
      "(16.47007645434071, 'bijgekomen')\n",
      "(16.341106139074675, 'toeslagenschandaal')\n",
      "(16.30444407050324, 'chefsache')\n",
      "(16.23781190036367, 'mh17')\n",
      "(16.07898114215339, 'mees')\n",
      "(15.982668290668581, 'ingrijpende')\n",
      "(15.42895479856717, 'dossier')\n",
      "(14.827974772466963, 'januari')\n",
      "(14.751497140795784, 'moslims')\n",
      "(14.627370983517073, 'clanbegrafenis')\n",
      "(14.089746354468758, 'hoezo')\n",
      "(13.994162154540037, 'schweitzer')\n",
      "(13.831411631819938, 'corona-restricties')\n",
      "(13.810495452407027, 'toepassing')\n",
      "(13.796041595352062, '@frontnieuws')\n",
      "(13.372354035360216, 'albert')\n",
      "(13.335562107567684, '@marlies1965')\n",
      "(13.332483878082083, '#coronamaatregelen')\n",
      "\n",
      "20201128\n",
      "(27.251444377841402, 'bodem')\n",
      "(26.60714509214552, 'weggeslagen')\n",
      "(26.061198412017497, '#pcrgate')\n",
      "(23.63972312591602, 'daarmee')\n",
      "(23.412837428797133, 'inmiddels')\n",
      "(23.121231295176408, '#pcrtest')\n",
      "(22.848394162549663, 'kapot')\n",
      "(22.403261169842125, 'mogelijk')\n",
      "(21.821518470244218, 'samenleving')\n",
      "(20.79741855849642, 'rivm')\n",
      "(20.73549352632878, 'normaal')\n",
      "(19.528207615105316, 'snel')\n",
      "(19.39206197519906, 'maart')\n",
      "(19.049242152724215, '#fvd')\n",
      "(18.832823103294146, 'golf')\n",
      "(18.71633410395889, '@marionkoopmans')\n",
      "(17.505224174053026, 'maken')\n",
      "(17.191859270648493, 'gaan')\n",
      "(16.686323991379943, 'coronamaatregelen')\n",
      "(16.117230145676825, 'weer')\n",
      "\n",
      "20201129\n",
      "(25.738824654571687, 'duivels')\n",
      "(25.550415572881903, 'belazeren')\n",
      "(24.93905005211887, 'grafieken')\n",
      "(23.72105856240696, 'volk')\n",
      "(23.444742026353268, 'macht')\n",
      "(23.365672924614678, 'nauwelijks')\n",
      "(22.190579011025616, 'mondkapjesplicht')\n",
      "(21.978648475494687, 'vergeten')\n",
      "(20.58904119601144, 'dagen')\n",
      "(20.565611085525248, 'horeca')\n",
      "(20.32484168399555, '@huubschellekens')\n",
      "(19.570425447514783, 'geeft')\n",
      "(18.706377527545143, 'overheid')\n",
      "(18.56711982579738, 'werken')\n",
      "(17.991055116870882, 'toe')\n",
      "(17.465330553956495, 'ingediend')\n",
      "(17.28771342878196, 'retraction')\n",
      "(17.26735255929311, '7d')\n",
      "(16.598172658162724, '@edwinveldhuizen')\n",
      "(16.423027652751777, 'nooit')\n",
      "\n",
      "20201130\n",
      "(32.69299511052049, 'vanaf')\n",
      "(29.290074736028537, 'morgen')\n",
      "(24.979152223267004, 'mondkapje')\n",
      "(24.940791247367276, 'verplicht')\n",
      "(23.350260133575073, 'dragen')\n",
      "(22.478116399877234, 'geldt')\n",
      "(21.9068083526084, 'musea')\n",
      "(21.90296796263341, 'kapper')\n",
      "(21.23420787333642, 'ouder')\n",
      "(20.412438010985667, 'verspreiding')\n",
      "(20.038705842700047, 'wie')\n",
      "(19.65322307825571, '#alleensamen')\n",
      "(19.103545271305173, '#mondkapjesplicht')\n",
      "(18.89644106225747, 'informatie')\n",
      "(18.640703746375507, 'damien')\n",
      "(18.611428199513075, 'winkels')\n",
      "(18.610791274027207, 'publieke')\n",
      "(18.329916165385136, 'plekken')\n",
      "(17.817551249711972, '@ruudoverdegrens')\n",
      "(17.506472613644252, 'zoontje')\n"
     ]
    }
   ],
   "source": [
    "MONTH = \"202011\"\n",
    "\n",
    "for day in range(21,31):\n",
    "    TARGETDATE = MONTH+str(day).zfill(2)\n",
    "    PREVIOUSDATE = dateToDateString(dateStringToDate(TARGETDATE)+datetime.timedelta(days=-1))\n",
    "\n",
    "    tokenCounts1 = readTokenCounts(PREVIOUSDATE,dataDir=DATADIRTOKENSTOPIC)\n",
    "    tokenCounts2 = readTokenCounts(TARGETDATE,dataDir=DATADIRTOKENSTOPIC)\n",
    "    tscores1 = makeTscoreData(tokenCounts1)\n",
    "    tscores2 = makeTscoreData(tokenCounts2)\n",
    "    print(f\"\\n{TARGETDATE}\")\n",
    "    for item in dictTopN(sortTscores(tscore.computeTscore(tscores2,tscores1))):\n",
    "        print(item)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 116,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "20201123-23.out.gz\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[(62,\n",
       "  'Mensen opgelet, zojuist vernomen op #UKcolumn, de Britse EMA die zich moet uitspreken over de toelating van het nieuwe Astrazeneca vaccin tegen Covid19, bevat een aantal mensen in de board die aandeelhouder zijn bij Astrazeneca. Hier gaan we weer: WIJ VAN WC-EEND... Wie zitter'),\n",
       " (24,\n",
       "  '#AstraZeneca #coronavaccin , bezint eer ge begint, er lopen nogal wat rechtszaken en zij zijn niet aansprakelijk voor Uw gezondheidsschade! https://t.co/UtEri8Cr2H'),\n",
       " (17,\n",
       "  'Het #coronavaccin dat door de Brits-Zweedse farmaceut #AstraZeneca wordt ontwikkeld, is voor 70 tot 90 procent effectief.\\\\n\\\\nHmm... de overlevingskans van #corona is 99 procent! 🤔\\U0001f928\\\\n\\\\nGeen vaccin nodig dus...\\\\n https://t.co/B0Ke4KAPz9'),\n",
       " (9,\n",
       "  '123-NEWS/TEAM:\\\\n@LidwienNews @dekoran1 @rinsjan \\\\n\\\\n#SpecialReport:\\\\n@MuzZ11_ @ynaleling @Wiep13396680 \\\\n\\\\nHÉLAAS PINDAKAAS 😡\\\\nDoor Nederland besteld #coronavirus vaccin AstraZeneca voor 30% t/m 10% onbetrouwbaar op korte termijn https://t.co/YEhikopsU1 https://t.co/NiODpTGCvY'),\n",
       " (5,\n",
       "  'Zeiden in December al dat covid19 op SARS was gemaakt in mil lab in China.\\\\nHoe noemt Oxford het nu.\\\\nHet\\xa0vaccin tegen SARS-CoV-2, dat door de Oxford University en farmaceut AstraZeneca.\\\\nPrecies Sars v2. , ontwikkeld als bio wapen.'),\n",
       " (4,\n",
       "  'Die mondkapjes hebben net als alle andere onzinnige maatregelen maar 1 doel:\\\\n\\\\nons te laten snakken naar het vaccin dat de gebroeders de Jonge iswm AstraZeneca willen verkopen.\\\\n\\\\nDie @hugodejonge is zo corrupt als de neten naar mijn mening.'),\n",
       " (4,\n",
       "  \"Dit is het vaccin waarvan Hugo droomt. Jullie zijn gewaarschuwd. laat Hugo het vaccin in zijn reet stoppen 🖕🏼  🚨🚨AstraZeneca COVID-19 Vaccine 70% Effective, UK Expects Millions Of Doses By Year's End.  https://t.co/Y6fT7eEh51 .vertaald 👇🏼 https://t.co/nXwFloHCFs\"),\n",
       " (4,\n",
       "  'Door Nederland besteld coronavaccin van AstraZeneca voor 90% effectief \\\\n\\\\nZo ze zakken al van 99% naar 95% naar 90%\\\\n\\\\nhttps://t.co/bTAI7eBEE2 via @telegraaf'),\n",
       " (4,\n",
       "  'Het coronavaccin dat de universiteit van Oxford met de farmaceut AstraZeneca ontwikkelt, biedt een zeer effectieve bescherming, zeggen de onderzoekers. Ze dienden eerst een halve dosis toe, daarna een hele. De effectiviteit nam daardoor toe. Is er dan minder vaccin nodig? https://t.co/EMs5jsH7x0'),\n",
       " (4,\n",
       "  'RT @Wiep13396680: Ook AstraZeneca komt met vaccin tegen corona https://t.co/UD5EOIN5pq\\\\n@LidwienNews\\\\n@dekoran1 \\\\n@JohannesKingma'),\n",
       " (3,\n",
       "  '@BastiannamuH Gelukkig wordt het leven beter voor bepaalde lieden.\\\\n\\\\nKrijgt zo\\'n de Jonge nu als eerste die chip? Eeeh, het \"vaccin\" uiteraard.....#coronafascisme #vaccindwang #AstraZeneca #BigPharma #HugodeJonge #AbOsterhaus #Spoedwet #TotalControl #Pfizer #Rutte3 #SpoedwetNee https://t.co/P4LfI7SWbw'),\n",
       " (3,\n",
       "  'Deze week presenteert de @EU_Commission haar #farmastrategie.  @MChahim stelt vragen aan de Commissie over het octrooi van vaccinontwikkelaar #Pfizer. Niet alleen westerse landen hebben recht op het vaccin tegen covid-19. https://t.co/1zmMz6dhS8'),\n",
       " (3,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/DamRZ2u4Vk via @Telegraaf Overlevingskans onder de 70 jaar, 99,5%. Totaal percentage wereldbevolking overleden aan Corona 0,0186%. Niet Corona maar de politiek heeft ons in ellende gestort.'),\n",
       " (3,\n",
       "  'RT @telegraaf: Het coronavaccin dat door de Brits-Zweedse farmaceut AstraZeneca wordt ontwikkeld is voor 90% effectief. https://t.co/9p0Miw…'),\n",
       " (2,\n",
       "  '#coronavaccin van #AstraZeneca blijkt bij 7 op de 10 coronapatiënten te werken\\\\n\\\\nEerder bleek al dat vaccins van Pfizer en Moderna 95% bescherming bieden tegen #coronavirus\\\\nHet Oxford-vaccin zou wel goedkoper zijn en makkelijker te bewaren en vervoeren https://t.co/XZ1iXwZuYy'),\n",
       " (2,\n",
       "  '@dexbob Distributie van AstraZeneca is stukken makkelijker (geen -80C of -20C). Alle berichtgeving zijn press berichten, niet geëvalueerd bij derden of officiële instanties. 70% is meer in lijn met griep vaccine, maar als COVID-19 idd minder muteert kan 90% accuraat zijn #geenviroloog'),\n",
       " (2,\n",
       "  'Coronavaccin AstraZeneca voor 70 tot 90 procent effectief: LONDEN (ANP/RTR) - Het coronavaccin dat door de Brits-Zweedse farmaceut AstraZeneca wordt ontwikkeld, is voor 70 tot 90 procent effectief. Volgens topman Pascal Soriot van AstraZeneca bevestigen… https://t.co/4XdMltBwZh https://t.co/QQSQRQ2Qz8'),\n",
       " (2,\n",
       "  'Deze week presenteert de @EU_Commission haar #farmastrategie.  @MChahim stelt vragen aan de Commissie over het octrooi van vaccinontwikkelaar #Pfizer. Niet alleen westerse landen hebben recht op het vaccin tegen covid-19.'),\n",
       " (2,\n",
       "  'Die mondkapjes hebben net als alle andere onzinnige maatregelen maar 1 doel:\\\\n\\\\nons te laten snakken naar het vaccin dat de gebroeders de Jonge iswm AstraZeneca willen verkopen.\\\\n\\\\nDie @hugodejonge is zo corrupt als de neten naar mijn mening. https://t.co/1bmYTuJneR'),\n",
       " (2,\n",
       "  'Een 3e proefpersoon van het #AstraZeneca #coronavaccin van #BillGates is OVERLEDEN❗️\\\\n\\\\nhttps://t.co/jbwHnmnV0v\\\\n\\\\n#coronavaccine #coronavaccineupdate #covidvaccine   #BillGatesToxicWaste #GatesFoundation #GAVI #HugoDeJonge #vaccinatieSchade #vaccin #COVID__19 #impfen #COVID19be'),\n",
       " (2,\n",
       "  'Effectief??? de positieve pcr testuitslagen zullen blijven doorgaan want die test geeft 95% vals positieven. Een indicatie van machtsmisbruik is dan het vaccin.\\\\n\\\\n\"Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief\" https://t.co/8BEOjbuoeK via @telegraaf'),\n",
       " (2,\n",
       "  'En in 7 maanden ontwikkeld, normaal 7 jaar en dan zelfs niet 100% effectief, geen injectie voor mij, ben kern gezond\\\\n\\\\nDoor Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/H9Nf1m27c2 via @telegraaf'),\n",
       " (2,\n",
       "  'Het covidvaccin van #AstraZeneca blijkt gemiddeld voor 70% effectief, maar…\\\\n\\\\nEen aangepaste dosering verhoogt die doeltreffendheid tot 90% aldus het bedrijf\\\\n\\\\n#oxfordvaccine  https://t.co/fw9HZSfIJ6'),\n",
       " (2,\n",
       "  'Ik spreek zo de Nederlandse topman van farmaceut AstraZeneca, Ruud Dobber. Ze hebben misschien wel iets bijzonders ontdekt, het vaccin lijkt effectiever als je eerst een halve dosis geeft en daarna een hele. Straks meer! #coronavaccin @NPORadio1 @nieuwsenco'),\n",
       " (2,\n",
       "  'Mensen opgelet, zojuist vernomen op #UKcolumn, de Britse EMA die zich moet uitspreken over de toelating van het nieuwe Astrazeneca vaccin tegen Covid19, bevat een aantal mensen in de board die aandeelhouder zijn bij Astrazeneca. Hier gaan we weer: WIJ VAN WC-EEND...#vaccins'),\n",
       " (2,\n",
       "  'RT @ariannemantel: Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/13U8ZwDBFZ via @Telegraaf'),\n",
       " (2,\n",
       "  'Vandaag in Nieuws &amp; Co: \\\\n\\\\n➡️ Ruud Dobber van farmaceut AstraZeneca over het derde coronavaccin\\\\n➡️ De geheime ontmoeting in Saoedi-Arabië \\\\n➡️ Nederlandse edelherten mogen niet alleen rondlopen 🦌\\\\n\\\\nStraks meer op @NPORadio1 📻'),\n",
       " (2,\n",
       "  'Welke mongool stapt in een vliegtuig dat waarschijnlijk 70  procent betrouwbaar is. \\\\n\\\\nDoor Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/y2WfhuhcV6 via @telegraaf'),\n",
       " (1,\n",
       "  '\"Ook uit deze studie komt dus ontegenzeggelijk naar voren dat het risico eerder ziek te worden als mensen geen mondkapjes dragen, verwaarloosbaar is.\\\\n80% vd ‘besmettingen’ vindt onder mondkapjes dragers plaats.\"\\\\n#AstraZeneca #HugodeJonge #TotalControl \\\\nhttps://t.co/49afeN8t8z'),\n",
       " (1,\n",
       "  '\"maar 70 procent effectief\"\\\\n@BrunoHolthof zijn #Oxfordvaccin \\\\n#AstraZeneca \\\\n#Covidvaccin \\\\n\\\\nhttps://t.co/oojyATqPhA'),\n",
       " (1,\n",
       "  '#AstraZeneca komt met vaccin tegen #corona wat doet dit op de lange termijn! Daar weet niemand nog iets van. https://t.co/AZqyX4kuJ3'),\n",
       " (1,\n",
       "  '#AstraZeneca zegt dat het zonder winstoogmerk met het #coronavaccin bezig is en op de markt brengt.\\\\nVolgens mijn informatie een leugen\\\\nWant ze weigeren het octrooi te delen.\\\\nDat noem ik nog eens hypocriet \\\\n#nosjournaal'),\n",
       " (1,\n",
       "  \"#AstraZeneca, het bedrijf waarmee de NL'se Regering een contract heeft voor de levering van #vaccins tegen #corona onderbreekt het testen na onverklaarde ziekte van een proefpersoon. \\\\n\\\\nAstraZeneca pauses #coronavirus #vaccine trial after unexplained illness in volunteer.\\\\n#COVID19 https://t.co/nVReMN75qM\"),\n",
       " (1,\n",
       "  '#Coronavaccin: 70% effectief. \\\\nMáár het is wel lekker goedkoop. \\\\n\\\\n#hugodejongekanniks #AstraZeneca\\\\nhttps://t.co/xsIsBAfZuq'),\n",
       " (1,\n",
       "  '#Covid19 vaccines en logistiek: #Pfizer -80C (95% effectief), #Moderna -20C (94,5% effectief), #AstraZeneca 2-8C (70% - 90% effectief). In NL werkt men van pharma producent tot vrachtmaatschappij samen om logistieke uitdaging aan te gaan. #VaccinesGatewayNetherlands #Schiphol'),\n",
       " (1,\n",
       "  '#Pfizer, #Moderna en vandaag presenteerde #AstraZeneca haar vaccin tegen het #coronavirus. We zullen al die vaccins nodig hebben, want miljarden mensen moeten worden gevaccineerd. https://t.co/M9O3dRakUq'),\n",
       " (1,\n",
       "  \"#Rutte bestelt 100 duizenden doses #corona-vaccin (in de maak) bij #AstraZeneca, dat enorm curriculum aan schandalen heeft &amp; gelieerd is aan #Gates!\\\\nGates zaaide met z'n vaccin-fetisj al 1000-den slachtoffers (verlamming-sterilisatie-dood) in 3e Wereld.\\\\n🎥https://t.co/rYYDdm7GK0\"),\n",
       " (1,\n",
       "  '#Vaccin van #AstraZeneca lijkt gemiddeld 70 procent van de mensen te beschermen #COVID19 #COVID19NL https://t.co/s0PVKadwBs'),\n",
       " (1,\n",
       "  '#astrazeneca\\\\nWanneer er een #vaccin tegen kanker beschikbaar is bij de #Huisarts zou je dat gaan halen?'),\n",
       " (1,\n",
       "  '#rivm #NOS pleit voor de keuze van @HugodeJonge @minpres @FeikeSijbesma en @HansSijbesma van Astra Zeneca. \\\\nMaar voor een inferieur vaccin te kiezen omdat het goedkoper is?\\\\nNou dan moet je wel levensmoe zijn! https://t.co/FD2qMhAxR4'),\n",
       " (1,\n",
       "  '2e keus kwaliteit 🤣Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/zGo6rRIZMn via @telegraaf'),\n",
       " (1,\n",
       "  '70 tot 90 %,nou succes rutte maar ik denk dat niemand dat risico gaat nemen,dus nemen jij en de jonge en de rest van de zooi ze maar alle 17 miljoen,komen wij goedkoop van jullie af\\\\nDoor Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/iBpz8ZJ0z1'),\n",
       " (1,\n",
       "  '@AnonPatriots17 @jaapjandevries @patricksavalle Ik begrijp wat er in de video gezegd wordt. Wat geeft bijvoorbeeld AstraZeneca aan als reden dat ze voor het Adenovirus hebben gekozen, niet Sars2/Covid?'),\n",
       " (1,\n",
       "  '@AstraZeneca @UniofOxford Het vaccin van AstraZeneca heeft voordelen die zijn concurrenten niet hebben #OxfordVaccin #coronavaccin | via @trouw https://t.co/3Z91PhhCug'),\n",
       " (1,\n",
       "  '@CoenMooy Een hoestje en niesen ook volgens mij, of is het nu een hype om naar de wasstraat of coronastraat te gaan?'),\n",
       " (1,\n",
       "  '@EWindt In Astra-Zeneca is de broer van onze voormalige Coronagezant Sybesma leidinggevende.'),\n",
       " (1,\n",
       "  '@JethroAdam1 @BastiannamuH Ja zeker...\\\\nVaccin voor Mexicaanse griep had geen bijwerkingen... 🤔\\\\nZeiden ze toen.\\\\nEn nu, na minimaal 2 proefpersonen die neurologische bijwerkingen hebben, hebben ze weer een \"veilig\" vaccin.\\\\nVeilig voor de broer van onze corona adviseur, die directeur bij Astra Zeneca is.. 🤔'),\n",
       " (1,\n",
       "  '@LeoniqueUnique Maar het corona-vaccin van Astra/Zeneca kent gelukkig geen bijwerkingen.'),\n",
       " (1,\n",
       "  '@MaxiHolt @Ron_Proud @faberj4 @rood_wit eu heeft een schrijven uitgebracht: Coronavirus and the EU vaccines strategy, deze is voor Astra Zeneca'),\n",
       " (1,\n",
       "  '@VeronW @Monrom11 @NOS Ben sowieso niet voor vaccinatie en zeker niet de manier waarop.\\\\nDirecteur Astra Zenica is broer van corona-adviseur van regering. Is belangenverstrengeling.\\\\n\\\\nDe praatjes op onze staats tv heeft viroloog Ab Osterhaus aardig wat geld opgeleverd (5,666 mln)\\\\n\\\\nMaar jij mag er 1 nemen'),\n",
       " (1,\n",
       "  '@WybrenvanHaga @fvdemocratie Die mondkapjes hebben net als alle andere onzinnige maatregelen maar 1 doel:\\\\n\\\\nons te laten snakken naar het vaccin dat de gebroeders de Jonge iswm AstraZeneca willen verkopen.\\\\n\\\\nDie @hugodejonge is zo corrupt als de neten naar mijn mening.'),\n",
       " (1,\n",
       "  '@dekoran1 Is dit géén mRNA vaccin dat ingrijpt in t genoom? Weet iemand dit?&gt; “AstraZeneca gebruikt beproefde techniek; ‘t verbouwt onschuldig verkoudheidsvirus zo dat ‘t eiwitten v SarsCov2 kan produceren. Daar reageert immuunsysteem op, zodat lichaam coronavirus herkent &amp; kan opruimen”'),\n",
       " (1,\n",
       "  '@dvhn_nl Nou deze hoef ik niet...  iets meer dan 50% kans op #Corona / #COVID19 , als er ook 1 is met bijna 100 % zekerheid.  Nog even door @AstraZenecaNL voor die 99% 😉. #Vaccin #vaccineren #vaccinatieplicht'),\n",
       " (1,\n",
       "  '@hugodejonge Wir haben es nicht gewusst ( Wiebes tijdens parlementaire enquete)  zo hoor ik @hugodejonge over 6 jaar zeggen: Ik heb het niet geweten: dus nog 1x ASTRA ZENECA HEEFT 100% VRIJWARING GEKREGEN OP GEZONDHEIDSCLAIMS INZAKE HUN COVID 19 VACCIN TOT MAX90% 2x geënt worden! https://t.co/PKZFXaaRhx'),\n",
       " (1,\n",
       "  '@lewinskylou2 @annstrikje \"Ook uit deze studie komt dus ontegenzeggelijk naar voren dat het risico eerder ziek te worden als mensen geen mondkapjes dragen, verwaarloosbaar is.\\\\n80% vd ‘besmettingen’ vindt onder mondkapjes dragers plaats.\"\\\\n#AstraZeneca #HugodeJonge #TotalControl \\\\nhttps://t.co/49afeN8t8z'),\n",
       " (1,\n",
       "  '@moos_tbe @wouterdewinther En het dan raar vinden dat de bereidheid om zich te laten vaccineren afneemt ? AstraZeneca wordt in de meeste landen vrijgesteld van aansprakelijkheidsclaims voor coronavirusvaccins 🤔🤔🤔🤔 Er is toch niets aan de hand is toch een prima middel #ikvaccineerniet #wnl'),\n",
       " (1,\n",
       "  '@zuspendit @Wallyboytoaogm1 @erikmouthaanRTL Daar heb je een terecht punt hoor, ik doelde meer op het toedieningsmechanisme van het Astra virus, dat is al wel eerder getest maar uiteraard niet met Corona crisis genetisch materiaal.'),\n",
       " (1,\n",
       "  'ACHTUNG!\\\\n\"De politie heeft de afgelopen week in het hele land 663 boetes uitgedeeld aan mensen die zich niet aan de coronamaatregelen hielden. Daarnaast zijn er ook nog 1775 mensen gewaarschuwd.\"\\\\nhttps://t.co/38VciQi6XG #vaccindwang #AstraZeneca #HugodeJonge #TotalControl'),\n",
       " (1,\n",
       "  'Als ik dan een vaccin neem, dan die van Moderna of Pfizer. #AstraZeneca slechts 60- tot 90% effectief. Overigens wel een enorme marge. #Corona #AstraZeneca #Pfizer #Moderna'),\n",
       " (1,\n",
       "  'Asjemenou. Door Nederland besteld #coronavaccin van AstraZeneca minder effectief dan dat van de concurrenten. In dit soort gevallen kijk in naar het glas als half leeg ipv vol. 5 tot 25% verschil is een behoorlijk aantal zieken. #COVID19NL  https://t.co/bVE5XwodqO via @telegraaf'),\n",
       " (1,\n",
       "  \"Astra heeft een traditioneel (als griep vaccin) vaccin ontwikkeld (met genetisch gemodificeerd corona virus) dat bewaard wordt op 2-8°C. Pfizer's mRNA op -70°C. Dat is niet te doen voor 2e en 3e wereld landen, dat is alleen voor het westen. Het draait allemaal om geld.\"),\n",
       " (1,\n",
       "  'AstraZeneca de coronavirus vaccin fabrikant uit Oxford. \\\\nWat is hun doelstelling. \\\\n1 - Terugdringen van CO2-uitstoot (door ons wagenpark en bij andere activiteiten);\\\\n2 - Verantwoord en duurzaam inkopen;\\\\n3 - Minimaliseren van energie- en grondstoffengebruik.\\\\n\\\\nGlobalisten.'),\n",
       " (1,\n",
       "  'AstraZeneca is de derde farmaceut die deze maand met vaccinnieuws komt: het coronavaccin van de Zweeds-Britse farmaceut is voor 70 procent effectief\\\\n\\\\nhttps://t.co/VJ62fehhys'),\n",
       " (1,\n",
       "  'AstraZeneca is de derde farmaceut die deze maand met vaccinnieuws komt: het coronavaccin van het Zweeds-Britse bedrijf is gemiddeld genomen voor 70 procent effectief. Dat blijkt uit resultaten die AstraZeneca vanochtend bekend heeft gemaakt https://t.co/lr42arQs0K'),\n",
       " (1,\n",
       "  'AstraZeneca is inmiddels al de derde farmaceut die deze maand met een vaccin komt..\\\\n\\\\nIk vindt het zeer vaccinerend om te zien hoe snel de één na de andere zijn vaccin voor een prikkie beschikbaar stelt...\\\\n\\\\n#coronavaccin #vaccins #Vaccineren #vaccines'),\n",
       " (1,\n",
       "  'AstraZeneca is inmiddels al de derde farmaceut die deze maand met een vaccin komt..\\\\n\\\\nIk vindt het zeer vaccinerend om te zien hoe snel de één na de andere zijn vaccin voor een prikkie beschikbaar stelt...\\\\n\\\\n#coronavaccin #vaccins #Vaccineren #vaccines #Woordgrap'),\n",
       " (1, 'AstraZeneca komt met vaccin tegen corona  https://t.co/UD4D0r663s'),\n",
       " (1, 'AstraZeneca komt met vaccin tegen corona \\\\n https://t.co/zCREDrbOVi'),\n",
       " (1, 'AstraZeneca komt met vaccin tegen corona https://t.co/Y1ie4Pel7Q'),\n",
       " (1,\n",
       "  'AstraZeneca komt met vaccin tegen corona: lagere dosering werkt extra goed  https://t.co/JrGsDVSh3Q'),\n",
       " (1,\n",
       "  'AstraZeneca komt met vaccin tegen corona: lagere dosering werkt extra goed https://t.co/Fg4uxcqbUG'),\n",
       " (1, 'AstraZeneca komt met vaccin tegen corona\\\\n\\\\nhttps://t.co/KKjf8zigfm'),\n",
       " (1,\n",
       "  'AstraZeneca meldt 90% effectiveit voor coronavaccin by @FD_Nieuws https://t.co/QKGoEqbHMx'),\n",
       " (1,\n",
       "  'B koos ervoor om de FR coronastrategie te volgen. \\\\nGevolg: zware gezondheidsschade, zware economische schade, gigantische onvrede bij de bevolking. \\\\nDoe de vaccinatiestrategie beter aub. \\\\nhttps://t.co/t7OC1yBIp7 https://t.co/JXNucZvP08'),\n",
       " (1,\n",
       "  'BREAKING: resultaten 4e Coronavaccin Astra Zeneca bekend.\\\\n\\\\nDoor Nederland besteld coronavaccin van AstraZeneca voor 90% effectief \\\\nhttps://t.co/DIiqAvBi1I via @telegraaf'),\n",
       " (1,\n",
       "  'Coronavaccin AstraZeneca en Oxford ‘maar’ voor 70 procent effectief: nog altijd heel goed volgens viroloog Johan Neyts https://t.co/BSHqFiDLSo'),\n",
       " (1,\n",
       "  'Coronavaccin AstraZeneca en Oxford ‘maar’ voor 70 procent effectief: nog altijd heel goed volgens viroloog Johan Neyts https://t.co/Ubdjd8OUi1'),\n",
       " (1,\n",
       "  'Coronavaccin AstraZeneca en Oxford ‘maar’ voor 70 procent effectief: nog altijd heel goed volgens viroloog Johan Neyts https://t.co/yIzjziTLkY                  Geef mij maar Moderna of Pfizer. Dat van Astra Zeneca hoef ik niet. Dan nog liever geen vaccin.'),\n",
       " (1,\n",
       "  'Coronavaccin van Oxford en AstraZeneca is voor 70 procent effectief https://t.co/dVORLiSvdk via @demorgen \\\\n\\\\nAls je een coctail van al die vaccins neemt zit je aan 355% effectief. Dat is voor mij voldoende.'),\n",
       " (1,\n",
       "  'Covid-19 / Corona : Effectiviteit slechts 70 procent: Waarom de EU toch kiest voor het AstraZeneca vaccin\\\\n\\\\nhttps://t.co/1KZHI3bCYE\\\\n\\\\n#op1 #blijfthuis #Nieuwsuur #EenVandaag #beau #coronamaatregelen #lockdown'),\n",
       " (1,\n",
       "  'Covidvaccin AstraZeneca tot 90 procent effectief, afhankelijk van dosis (De Tijd) - https://t.co/DWosbswDG2'),\n",
       " (1,\n",
       "  'Daar is al het derde coronavaccin om 2021 te redden In deze hevige tweede golf kunnen de kandidaat-vaccins tonen wat ze waard zijn. Ook dat van Oxford/AstraZeneca blijkt goed te werken. https://t.co/bsIN6XKz9A https://t.co/uzhHlvQFCE'),\n",
       " (1,\n",
       "  'De Azijnpisser: Vaccin AstraZeneca in twee delen voor 90% beschermend tegen COVID-19 en de bijwerkingen...... (?) \\\\nhttps://t.co/RZZcIwrWfF https://t.co/makzYhWgD2'),\n",
       " (1,\n",
       "  'De Azijnpisser: Vaccin AstraZeneca in twee delen voor 90% beschermend tegen COVID-19 en de bijwerkingen\\\\nhttps://t.co/RZZcIwrWfF https://t.co/7aarZlp90M'),\n",
       " (1,\n",
       "  'Derde door Nederland besteld #coronavaccin #AstraZeneca voor 70 tot 90% effectief https://t.co/PkwC9xPQYh'),\n",
       " (1,\n",
       "  'Diamanten ring vriendin Ben Affleck wakkert verlovingsgeruchten aan https://t.co/EJxMUw7Wni Voor meer showbizz-artikelen, ga naar: https://t.co/OzLORQG2xz #EvergreenTop1000 #Asscher #Goedemiddag #coronavaccin #toeslagenaffaire #AstraZeneca #Oxford #esquire #vacature #Mogge #leuk'),\n",
       " (1,\n",
       "  \"Door Nederland besteld #coronavaccin 'voor 90% effectief'  via @Telegraaf https://t.co/jXxDnWX5HK\\\\n#AstraZeneca\"),\n",
       " (1,\n",
       "  'Door Nederland besteld #gentech #coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/cyxANLyDUV via @telegraaf'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief  via @Telegraaf https://t.co/RNBHd484YJ'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief  via @Telegraaf https://t.co/VBsrMqo4JY'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief  via @Telegraaf https://t.co/n4V4kybNcL'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/13U8ZwDBFZ via @Telegraaf'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/6rqTmLIMOu via @telegraaf En wat gebeurd er als mijn dochter over 5 of 10 jaar onvruchtbaar blijkt te zijn door dit medicijn.'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/8BsUvVoWwy Nederland en andere Europese landen hebben alvast miljoenen doses gereserveerd bij AstraZeneca. https://t.co/1tEPLrSikb'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/JRyoxCUedo via @Telegraaf Wees verstandig! Laat je niet vaccineren'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/UJLvKxya7w via @telegraaf \\\\n\\\\n70 t/m 90 % zekerheid dat je er geen fijne bijwerkingen van krijgt na het verloop van een aantal jaren.\\\\nSucces met spuiten mondkapjes jihadisten.👍'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/WLdkV4KaCl via @telegraaf \\\\n\\\\nHet is duidelijk en helder dat de farmaceuten tegen elkaar op bieden wie het verste kan plassen. Die heeft dan het grote schip met geld gewonnen. Yes!!'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/acBoHFYAg4 via @Telegraaf'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/jJOsDpmgWH via @telegraaf  Waarom zou ik het vaccin nemen, waarom zou ik tevreden zijn met 70 procent, neemt Rutte ook genoegen met 70 procent van zijn loon, denk het niet.'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/ovJI6G3qSZ via @telegraaf'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/rO8sNgR1my via @telegraaf'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/u1G0HD8tci via @telegraaf  En dan nog niet, WHO als AstraZeneca nemen geen verantwoording als er iets mis gaat, buiten het feit dat ze al vanaf 2012 een patent hebben op vaccin. VREEMD.'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/vK1q0XZj6W via @Telegraaf koopt hij ook nog het minst werkende vaccin!!!'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief | Financieel | https://t.co/ckuxcWBPN8 https://t.co/XfXFvEh9mx'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin van AstraZeneca voor 90% effectief  via @Telegraaf https://t.co/d5pFH3xNR5'),\n",
       " (1,\n",
       "  'Door Nederland besteld coronavaccin van AstraZeneca voor 90% effectief https://t.co/EEvyJMJP8h'),\n",
       " (1,\n",
       "  'Een 2 luik #Corona 70% en 90% effectief. 🤔#AstraZeneca @ADnl @telegraaf https://t.co/rEVK1LJ4JS'),\n",
       " (1,\n",
       "  'En als het #coronavirus Zo besmettelijk is,waarom die staaf bijna in je hersenholte(amygdala),kan dan toch ook in een tissue hoesten of niezen,high profile besmettelijk #Vaccin #COVID-19 #AstraZeneca #jensen #op1 #tbn #msm pseudowetenschap https://t.co/z5xdtR6iA1'),\n",
       " (1,\n",
       "  'En dat is nummer drie.\\\\nAstraZeneca (\"oxfordvaccin\") geeft het octrooi trouwens vrij voor massale, wereldwijde productie.\\\\n\\\\nDoor Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/jRPcPihTGR via @telegraaf'),\n",
       " (1,\n",
       "  'Gaan die gasten van AstraZenica nu terug naar de tekentafel? Ik bedoel, 70% effectief is geen 90% 0f 90,5%? Dan is er toch geen hond dat daarvoor kiest? Of ligt zoiets ingewikkelder? Kan iemand met verstand ervan mij dat uitleggen? \\\\n#isereenviroloogindezaal \\\\n#corona'),\n",
       " (1,\n",
       "  'Geleverd door het meest beboete bedrijf ter wereld ivm bijwerkingen die verzwegen werd.\\\\n\\\\nDoor Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/uUFgfgdXKr via @telegraaf'),\n",
       " (1,\n",
       "  'Goed nieuws over AstraZeneca vaccin met effectiviteit tussen de 70 en 90% (bij eerst een halve dosis). AstraZeneca-vaccin lijkt 70 procent van de mensen te beschermen #COVID19 #vaccin  https://t.co/UynEbn2oh8 (via @NUnl)'),\n",
       " (1,\n",
       "  \"Het #AstraZeneca vaccin zou 'minder goed' werken dan de andere #Covid19 vaccin, maar de logistiek is wel eenvoudiger, want geen diepvries temp. https://t.co/EXA3gvM45e\"),\n",
       " (1,\n",
       "  'Het #coronavaccin door AstraZeneca ontwikkeld, is voor 70 - 90% effectief. Volgens #AstraZeneca bevestigen deze proefresultaten „doeltreffendheid en de veiligheid van het vaccin” Daarmee is het hoogst efficiënt tegen #corona en grote rol spelen tegen de wereldwijde pandemie.'),\n",
       " (1,\n",
       "  'Het begon bij 60% effectief!👇🏻Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/eXfqhkVltU via @Telegraaf'),\n",
       " (1,\n",
       "  'Het coronavaccin dat de universiteit van Oxford met de farmaceut AstraZeneca ontwikkelt, biedt een zeer effectieve bescherming, zegt AstraZeneca. Volgens de eerste tussentijdse resultaten varieert de bescherming tegen het virus tussen de 60 en 90%  https://t.co/SQ0Mc5kPCC'),\n",
       " (1,\n",
       "  'Het coronavaccin dat door de Brits-Zweedse farmaceut AstraZeneca wordt ontwikkeld is voor 90% effectief. https://t.co/9p0MiwBoSu'),\n",
       " (1,\n",
       "  'Het coronavaccin dat door de Brits-Zweedse farmaceut AstraZeneca wordt ontwikkeld, is voor 70 tot 90 procent effectief. #Doktersvanmorgen\\\\n\\\\nhttps://t.co/TghX0nkRRV'),\n",
       " (1,\n",
       "  'Het coronavaccin van de Brits-Zweedse farmaceut AstraZeneca is voor 70 tot 90 procent effectief. Nederland heeft alvast miljoenen doses gereserveerd bij de farmaceut - Nationale Zorggids #AstraZeneca #coronavaccin #vaccinatie #COVID19 https://t.co/WhrrBpsfbS'),\n",
       " (1,\n",
       "  'Het is alleen maar.... #coronafascisme #vaccindwang #AstraZeneca #BigPharma #HugodeJonge #AbOsterhaus #Spoedwet #TotalControl #Pfizer #Rutte3 #SpoedwetNee\\\\n\\\\nHet is alleen maar #TotalControl....for ever.\\\\n\\\\nhttps://t.co/nLsTMryt73'),\n",
       " (1,\n",
       "  'Hulde voor @AstraZeneca die levert vaccin straks zonder winstoogmerk voor 2,50, andere vaccins kosten 15,- zelfs al zouden de productiekosten bij hun 2 keer zo hoog zijn dan nog... 😤 #Vaccin #coronavaccin'),\n",
       " (1,\n",
       "  'Ik heb net de verpakking gezien van het AstraZeneca Covid-19 vaccin en wat ingrediënten gegoogeld en nu wil ik even iedereen veel sterkte wensen met nog langer wegkijken.'),\n",
       " (1,\n",
       "  'Ik stel voor: #Phizer voor de zwakkeren en #AstraZeneca voor de jeugd, die kunnen 60 tot 90% bescherming krijgen. Ik wil graag 95 % :) #COVID19 #Vaccin'),\n",
       " (1,\n",
       "  'Ik wil 100% en dan nog niet bij mij maar voor de regering @rutte @hugodejonge @ferdgrapperhaus @bruls en na 10 jaar kijken we of ze er nog zijn\\\\nDoor Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/H9Nf1m27c2 via @telegraaf'),\n",
       " (1,\n",
       "  'Ingredients #AstraZeneca ’s Covid-19 #Vaccine !! \\\\nRECOMBINANT DNA: staat voor een combinatie van genetisch materiaal (DNA) die met behulp van recombinant-DNA-technologie door de mens op kunstmatige wijze in een laboratorium is verkregen en niet als zodanig in de natuur voorkomt.'),\n",
       " (1,\n",
       "  'Koopie\\\\n\\\\nDoor Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/dXEclitMRL via @telegraaf'),\n",
       " (1,\n",
       "  'Lees \"AstraZeneca heeft ‘ons’ vaccin klaar: 70 procent effectief, geen bijwerkingen\" op Nieuwsblik - https://t.co/HUCZclGZq0 - AstraZeneca is de derde farmaceut die deze maand met vaccinnieuws komt: het coronavaccin van het Zweeds-Britse bedrijf is gemiddeld...'),\n",
       " (1,\n",
       "  'Lees \"Coronavaccin AstraZeneca voor 70 tot 90 procent effectief\" op Nieuwsblik - https://t.co/qShULuLn5D - Het coronavaccin dat door de Brits-Zweedse farmaceut AstraZeneca wordt ontwikkeld, is voor 70 tot 90 procent effectief. Volgens topman...'),\n",
       " (1,\n",
       "  'Lees \"Eerste resultaten Oxfordvaccin: 60 tot 90 procent effectief\" op Nieuwsblik - https://t.co/G7BouKc4Be - Het coronavaccin dat de universiteit van Oxford ontwikkelt biedt een zeer effectieve bescherming, zegt farmaceut AstraZeneca in een...'),\n",
       " (1,\n",
       "  'Lees \"Hoeveel mensen moeten worden ingeënt voordat de coronamaatregelen kunnen stoppen?\" op Nieuwsblik - https://t.co/kKLeyv4VGv - Ook vaccin nummer drie – dat van Oxford en AstraZeneca – lijkt heel behoorlijk tegen corona te beschermen, blijkt uit nieuwe cijfers. Maa...'),\n",
       " (1,\n",
       "  'Lees \"Ik had al corona, moet ik dan nog ingeënt worden?\" op Nieuwsblik - https://t.co/hWI05WgBch - Ook vaccin nummer drie – dat van Oxford en AstraZeneca – lijkt heel behoorlijk tegen corona te beschermen, blijkt uit nieuwe cijfers. Maa...'),\n",
       " (1,\n",
       "  'Lees \"Ook AstraZeneca komt met vaccin tegen corona\" op Nieuwsblik - https://t.co/HCjpfv1D95 - AstraZeneca is de derde farmaceut die deze maand met vaccinnieuws komt: het coronavaccin van de Zweeds-Britse farmaceut is voor 70...'),\n",
       " (1,\n",
       "  'Lees \"Ook goed nieuws voor Nederland: ‘Oxfordvaccin’ beschermt 70 procent ingeënten tegen corona\" op Nieuwsblik - https://t.co/nqYShYn4Ip - En dat is drie. Het ‘Oxfordvaccin’ tegen corona, ontwikkeld door de Universiteit van Oxford en fabrikant AstraZeneca, beschermt 70 pro...'),\n",
       " (1,\n",
       "  'Lees \"Oxford-vaccin in eerste analyse 62 tot 90 procent effectief\" op Nieuwsblik - https://t.co/2A3ZAAnztu -  Het coronavaccin dat de Universiteit van Oxford ontwikkelt in samenwerking met AstraZeneca lijkt zeer effectief te zijn. \\\\n\\\\nLees verder...'),\n",
       " (1,\n",
       "  'Lees \"WHO: vaccinnieuws AstraZeneca bemoedigend\" op Nieuwsblik - https://t.co/7KSRvLKJga - Het is \"bemoedigend\" nieuws dat het coronavaccin van AstraZeneca tot 90 procent effectief is, reageert de...'),\n",
       " (1,\n",
       "  'Maken ze daar verschillende vaccins? Een 70% effectief vaccin en speciaal voor NL een 90% effectief vaccin. Sorry maar dit roept vragen op. #AstraZeneca @rivm #vaccin'),\n",
       " (1,\n",
       "  'Mooi bericht om de week mee te beginnen.\\\\n\\\\nDoor Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/ktMZdR7b80 via @telegraaf'),\n",
       " (1,\n",
       "  'Na farmaceut #Pfizer en #Modena komt nu #AstraZeneca met hoopvolle testresultaten van #coronavaccin Verwachting op korte termijn nog 2 andere fabrikanten met proefresultaten van #CoronaVaccine Hoopgevend als we straks een aantal verschillende vaccins tot onze beschikking hebben.'),\n",
       " (1,\n",
       "  'Nederlandse topman AstraZeneca: ‘Trump staat niet in mijn mobieltje, mensen dichtbij hem wel’ https://t.co/fZNq4Cupyf ......====================Bijwerkingen over vijf jaar bij coronavaccin? Dan betaalt Nederland mee aan schadeclaims https://t.co/wWsp50Amb0 https://t.co/eqFPj1y7XI'),\n",
       " (1,\n",
       "  'Nu trending via @ADnl Ook AstraZeneca komt met vaccin tegen corona | Binnenland https://t.co/gvay76mgBt'),\n",
       " (1, 'Oeps. #telegraaf #AstraZeneca #coronavaccin https://t.co/FQaCzIrNri'),\n",
       " (1,\n",
       "  'Oh. Nu is t goedkoop en 20 % effectiever dan 2 uur geleden werd gemeld.Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/fwUq99rvsj via @telegraaf'),\n",
       " (1,\n",
       "  'Ooh ok het is nu opeens tussen 70-90% effectief gaat al net zo hard achteruit als de Corona doden zelf Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/FGHC639Rlb via @Telegraaf'),\n",
       " (1, 'Ook AstraZeneca komt met vaccin tegen corona  https://t.co/FptLBGB2h6'),\n",
       " (1,\n",
       "  'Ook AstraZeneca komt met vaccin tegen corona https://t.co/UD5EOIN5pq\\\\n@LidwienNews\\\\n@dekoran1 \\\\n@JohannesKingma'),\n",
       " (1, 'Ook AstraZeneca komt met vaccin tegen corona https://t.co/o4MN12eIm4'),\n",
       " (1,\n",
       "  'Ook AstraZeneca komt met vaccin tegen corona: geen ernstige bijwerkingen geconstateerd - https://t.co/CVH8L1ZlhC'),\n",
       " (1,\n",
       "  'Pfoeh, #Oxford/#AstraZeneca dus 5 keer goedkoper dan #Pfizer/#BioNTech, en 8 keer dan #Moderna!!\\\\n\\\\nAlleen daarom al JAMMER dat we van die laatste 2 al besteld hebben.\\\\n\\\\nGeeft wel heel nadrukkelijk het verschil in MENTALITEIT aan.\\\\n\\\\n#coronavaccin #covidvaccin\\\\nhttps://t.co/rmKggy9d4N'),\n",
       " (1,\n",
       "  'RT @RonPVV: Tuurlijk....\\\\n\\\\nDoor Nederland besteld coronavaccin van AstraZeneca voor 90% effectief  via @Telegraaf https://t.co/eLOX2zbKtd'),\n",
       " (1,\n",
       "  'Rekent U even met ons mee: \\\\n\\\\nIn Haagse nachtopvang verblijven nu 40 personen - Delagoastraat  @dakloos - door Corona maatregelen +’120 personen in 3  hotels. Alle rechthebbende. Totaal 160. Op Delagoastraat is plek voor Max 100 thuislozen. \\\\n\\\\nNa Corona ?'),\n",
       " (1,\n",
       "  'Sebiet is er nog volk te kort voor al die vaccins.\\\\n#corona #coronavirus #coronavaccin #AstraZeneca #pfizer'),\n",
       " (1,\n",
       "  'Tuurlijk....\\\\n\\\\nDoor Nederland besteld coronavaccin van AstraZeneca voor 90% effectief  via @Telegraaf https://t.co/eLOX2zbKtd'),\n",
       " (1,\n",
       "  'Vaccin van AstraZeneca en Oxford is voor 70% tot 90% effectief - het is naar verluidt goedkoper dan de andere veelbelovende coronavaccins https://t.co/pW6EYaSOn7'),\n",
       " (1,\n",
       "  'Vaccin van Oxford en AstraZeneca ‘minstens zeventig procent effectief’ Het coronavaccin dat ontwikkeld werd door de universiteit van Oxford en AstraZeneca is minstens 70 procent doeltreffend, zo blijkt uit voorlopige onderzoeksresultaten, aldus het far... https://t.co/CADN730e2P https://t.co/BicSJD1TuD'),\n",
       " (1,\n",
       "  'Vandaag in Nieuws &amp; Co:\\\\n\\\\n➡️ Ruud Dobber van farmaceut AstraZeneca over het derde coronavaccin\\\\n\\\\n➡️ De geheime ontmoeting in Saoedi-Arabië \\\\n➡️ Nederlandse edelherten mogen niet alleen rondlopen 🦌\\\\n\\\\nStraks meer op @NPORadio1 📻'),\n",
       " (1,\n",
       "  'Verschillende vaccins, wel of geen bijwerkingen, verschillende percentages effectiviteit, daar komt hommeles van...\\\\n\\\\n#durfereenhardhoofdintehebben #Vaccin\\\\n\\\\n#Pfizer #Moderna #AstraZeneca #Vaccinatie\\\\n#vaccins #coronavirus #COVID19 #Corona\\\\n\\\\n#stormopkomst \\\\n https://t.co/Za4mxSKsaP'),\n",
       " (1,\n",
       "  'WHO: vaccinnieuws AstraZeneca bemoedigend - https://t.co/mAyiF1ARX9 #pfizer #astrazeneca #vaccin #who #coronavirus'),\n",
       " (1,\n",
       "  'Waarom kiezen wij noet voor het vaccin wat 95 % effectief is?\\\\nDoor Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/REqPVeoRBk via @telegraaf'),\n",
       " (1,\n",
       "  'Wat is het nou allemaal? #Vaccin #oxfordvaccine #Oxford #AstraZeneca #Corona #CoronaVaccine #goedemorgen https://t.co/UV0Y0c9dBx'),\n",
       " (1,\n",
       "  '“AstraZeneca-vaccin lijkt 70 procent van de mensen te beschermen” LIJKT !? Lekker dan . #vaccinatieplicht\\\\n#Vaccinatie #coronamaatregelen #coronavirus  https://t.co/tPvADKdC3r'),\n",
       " (1,\n",
       "  '🎥 Het coronavaccin van het Zweeds-Britse bedrijf AstraZeneca is gemiddeld genomen voor 70 procent effectief, blijkt uit nieuwe resultaten. We spreken viroloog Ab Osterhaus hierover in deze Live Nieuws Update.  https://t.co/xtMsGYsfBm'),\n",
       " (1,\n",
       "  '🔴Lekker! Door Nederland besteld coronavaccin AstraZeneca voor 70 tot 90% effectief https://t.co/I0fG956y1p via @telegraaf')]"
      ]
     },
     "execution_count": 116,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "get_tweets(\"20201123\", \"astra\", QUERYTOPIC)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import time\n",
    "\n",
    "scores = {}\n",
    "for token in \"stand speech zaken\".split():\n",
    "    scores[token] = getSentimentQuery(token,filePattern=TARGETDATE+\"-23\")\n",
    "    print(scores)\n",
    "    time.sleep(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Old code"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "DATEPATTERN = \"2020031[1245]\"\n",
    "QUERY = \"corona|covid|flattenthecurve|blijfthuis|rivm|mondkapje|huisarts|houvol|zorg\"\n",
    "NBROFEXAMPLES = 10\n",
    "\n",
    "def getExamples(datePattern,query1=QUERY,query2=\"\"):\n",
    "    fileList = sorted(os.listdir(DATADIR))\n",
    "    tweets = {}\n",
    "    for inFileName in fileList:\n",
    "        if re.search(datePattern,inFileName):\n",
    "            clear_output(wait=True)\n",
    "            print(inFileName)\n",
    "            df = pd.read_csv(DATADIR+inFileName,compression=\"gzip\",index_col=ID)\n",
    "            for i in range(0,len(df)):\n",
    "                text = df.iloc[i][TEXT]\n",
    "                if re.search(query1,text) and re.search(query2,text):\n",
    "                    if text in tweets: tweets[text] += 1\n",
    "                    else: tweets[text] = 1\n",
    "    return({tweet:tweets[tweet] for tweet in sorted(tweets.keys(),key=lambda t:tweets[t],reverse=True)})\n",
    "\n",
    "def getTokenCountsFromTweets(datePattern,query=\"\"):\n",
    "    tokenCounts = {}\n",
    "    fileList = sorted(os.listdir(DATADIR))\n",
    "    for inFileName in fileList:\n",
    "        if re.search(datePattern,inFileName):\n",
    "            squeal(inFileName)\n",
    "            df = pd.read_csv(DATADIR+inFileName,index_col=IDSTR)\n",
    "            for i in range(0,len(df)):\n",
    "                text = df.iloc[i][TEXT]\n",
    "                if re.search(query,text):\n",
    "                    for token in set(tokenize(text.lower())): \n",
    "                        if re.search(r\"[a-z]\",token):\n",
    "                            if not token in tokenCounts: tokenCounts[token] = 0\n",
    "                            tokenCounts[token] += 1\n",
    "    return(tokenCounts)\n",
    "\n",
    "def writeData(data,fileName):\n",
    "    pd.DataFrame(data).to_csv(fileName,index_label=TOKEN)\n",
    "    \n",
    "def readData(fileName):\n",
    "    return(pd.read_csv(fileName,index_col=TOKEN).to_dict())\n",
    "\n",
    "def dictTopN(dictionary,N=NBROFEXAMPLES):\n",
    "    return([(x[1],x[0]) for x in dictionary.items()][0:N])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#tokens = readData(TOKENFILE)\n",
    "for month in \"202003 202004 202005\".split():\n",
    "    print(month)\n",
    "    tokens = makeData(month)\n",
    "    writeData(tokens,\"tokens\"+month+\".csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "tscoreData = {}\n",
    "for date in tokens:\n",
    "    tscoreData[date] = makeTscoreData(tokens[date])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dictTopN(sortTscores(tscore.computeTscore(tscoreData[\"20200312\"],tscoreData[\"20200311\"])),N=20)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dictTopN(sortTscores(tscore.computeTscore(tscoreData[\"20200315\"],tscoreData[\"20200314\"])),N=20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Analysis\n",
    "\n",
    "There is a clear impact of the national press conferences on the topic tweets of the two volume peak dates. On 20200312, both the event (*persconferentie*) and the speakers (*rutte* and *kabinet*) are present in the top 20 words selected by the tscore measure. The most important topic in the tweets was the dicussion about school closures (*scholen*, *kinderen*, *onderwijs*, *sluiten*, *ouders* and *onderwijspersoneel*). On 20200315 the main topic is the closure of bars and restaurants (*horeca*). "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dictTopN(getExamples(\"20200312\",query1=QUERY,query2=\"scholen\"))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "dictTopN(getExamples(\"20200313\",query1=QUERY,query2=\"scholen\"))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}