analisys_and_tests.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Bronze"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[LOG] [22/06/2024 22:59:26] Lendo o arquivo csv data/raw/DENV2_locus_pubmed.csv\n",
      "[LOG] [22/06/2024 22:59:26] Transformando a string Pubmed accession number em uma lista\n",
      "[LOG] [22/06/2024 22:59:26] Explodindo a coluna 'Pubmed accession number', transformando as listas em entradas individuais\n",
      "[LOG] [22/06/2024 22:59:26] Removendo linhas duplicadas no dataframe resultante\n",
      "[LOG] [22/06/2024 22:59:26] Tratando os espaços em branco no inicio e no fim\n",
      "[LOG] [22/06/2024 22:59:26] Tratando o nome das colunas (minimizando e retirando espaços vazios)\n",
      "[LOG] [22/06/2024 22:59:26] Exportando os dados para data/processed/bronze.parquet\n"
     ]
    }
   ],
   "source": [
    "from modules.etl import Bronze\n",
    "\n",
    "bronze_step = Bronze(data_path='data/raw/DENV2_locus_pubmed.csv')\n",
    "bronze_step.full_process()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Silver"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[LOG] [22/06/2024 23:03:49] Pubmed: 3803928 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:49] Pubmed: 2964755 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:50] Pubmed: 2714651 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:50] Pubmed: 15332281 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:51] Pubmed: 2719554 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:51] Pubmed: 8212556 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:52] Pubmed: 1829885 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:52] Pubmed: 3385407 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:53] Pubmed: 9519821 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:53] Pubmed: 18570968 -> PMCID: PMC3612928\n",
      "[LOG] [22/06/2024 23:03:54] Pubmed: 1312269 -> PMCID: PMC7125540\n",
      "[LOG] [22/06/2024 23:03:54] Pubmed: 2827375 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:55] Pubmed: 2828633 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:55] Pubmed: 31351235 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:55] Pubmed: 34188091 -> PMCID: PMC8241877\n",
      "[LOG] [22/06/2024 23:03:56] Pubmed: 28729258 -> PMCID: PMC5522925\n",
      "[LOG] [22/06/2024 23:03:56] Pubmed: 28774993 -> PMCID: PMC5543655\n",
      "[LOG] [22/06/2024 23:03:57] Pubmed: 16528037 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:57] Pubmed: 15578237 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:58] Pubmed: 26553170 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:58] Pubmed: 15461822 -> PMCID: PMC524489\n",
      "[LOG] [22/06/2024 23:03:59] Pubmed: 18406488 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:59] Pubmed: 2952760 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:03:59] Pubmed: 8479921 -> PMCID: PMC309381\n",
      "[LOG] [22/06/2024 23:04:00] Pubmed: 37376575 -> PMCID: PMC10304136\n",
      "[LOG] [22/06/2024 23:04:00] Pubmed: 37243159 -> PMCID: PMC10224011\n",
      "[LOG] [22/06/2024 23:04:01] Pubmed: 37231481 -> PMCID: PMC10214625\n",
      "[LOG] [22/06/2024 23:04:01] Pubmed: 37317240 -> PMCID: PMC10222920\n",
      "[LOG] [22/06/2024 23:04:02] Pubmed: 37243230 -> PMCID: PMC10222234\n",
      "[LOG] [22/06/2024 23:04:02] Pubmed: 37243165 -> PMCID: PMC10223597\n",
      "[LOG] [22/06/2024 23:04:03] Pubmed: 37184906 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:03] Pubmed: 35238677 -> PMCID: PMC8931249\n",
      "[LOG] [22/06/2024 23:04:04] Pubmed: 30528666 -> PMCID: PMC6823047\n",
      "[LOG] [22/06/2024 23:04:04] Pubmed: 34931940 -> PMCID: PMC8745371\n",
      "[LOG] [22/06/2024 23:04:05] Pubmed: 34696340 -> PMCID: PMC8539074\n",
      "[LOG] [22/06/2024 23:04:05] Pubmed: 30482266 -> PMCID: PMC6341941\n",
      "[LOG] [22/06/2024 23:04:06] Pubmed: 34616043 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:06] Pubmed: 34564546 -> PMCID: PMC8482112\n",
      "[LOG] [22/06/2024 23:04:07] Pubmed: 34452310 -> PMCID: PMC8402744\n",
      "[LOG] [22/06/2024 23:04:07] Pubmed: 33672226 -> PMCID: PMC7926750\n",
      "[LOG] [22/06/2024 23:04:08] Pubmed: 34208667 -> PMCID: PMC8235066\n",
      "[LOG] [22/06/2024 23:04:08] Pubmed: 33064724 -> PMCID: PMC7567345\n",
      "[LOG] [22/06/2024 23:04:09] Pubmed: 34082088 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:09] Pubmed: 33944623 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:10] Pubmed: 33774189 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:10] Pubmed: 33326875 -> PMCID: PMC9359797\n",
      "[LOG] [22/06/2024 23:04:11] Pubmed: 32992973 -> PMCID: PMC7601490\n",
      "[LOG] [22/06/2024 23:04:11] Pubmed: 33583132 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:12] Pubmed: 32451883 -> PMCID: PMC7246292\n",
      "[LOG] [22/06/2024 23:04:12] Pubmed: 32825262 -> PMCID: PMC7551817\n",
      "[LOG] [22/06/2024 23:04:13] Pubmed: 32555732 -> PMCID: PMC7302667\n",
      "[LOG] [22/06/2024 23:04:13] Pubmed: 32428189 -> PMCID: PMC7227788\n",
      "[LOG] [22/06/2024 23:04:14] Pubmed: 32145478 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:14] Pubmed: 31817553 -> PMCID: PMC6949906\n",
      "[LOG] [22/06/2024 23:04:14] Pubmed: 29259329 -> PMCID: PMC5750459\n",
      "[LOG] [22/06/2024 23:04:14] Pubmed: 31725752 -> PMCID: PMC6855448\n",
      "[LOG] [22/06/2024 23:04:15] Pubmed: 17984351 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:15] Pubmed: 18981504 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:16] Pubmed: 18692099 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:16] Pubmed: 18367520 -> PMCID: PMC2395201\n",
      "[LOG] [22/06/2024 23:04:17] Pubmed: 12363071 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:17] Pubmed: 11714970 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:18] Pubmed: 31415663 -> PMCID: PMC6695175\n",
      "[LOG] [22/06/2024 23:04:18] Pubmed: 31357059 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:19] Pubmed: 30905775 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:19] Pubmed: 30192396 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:19] Pubmed: 30882320 -> PMCID: PMC6433006\n",
      "[LOG] [22/06/2024 23:04:20] Pubmed: 30844508 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:21] Pubmed: 30023351 -> PMCID: PMC6039557\n",
      "[LOG] [22/06/2024 23:04:21] Pubmed: 30540031 -> PMCID: PMC6319028\n",
      "[LOG] [22/06/2024 23:04:21] Pubmed: 30366083 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:22] Pubmed: 30157270 -> PMCID: PMC6114916\n",
      "[LOG] [22/06/2024 23:04:22] Pubmed: 30113689 -> PMCID: PMC6118167\n",
      "[LOG] [22/06/2024 23:04:22] Pubmed: 30089479 -> PMCID: PMC6083507\n",
      "[LOG] [22/06/2024 23:04:23] Pubmed: 30015610 -> PMCID: PMC6056106\n",
      "[LOG] [22/06/2024 23:04:23] Pubmed: 29470509 -> PMCID: PMC5823370\n",
      "[LOG] [22/06/2024 23:04:24] Pubmed: 29056517 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:24] Pubmed: 29377886 -> PMCID: PMC5805359\n",
      "[LOG] [22/06/2024 23:04:25] Pubmed: 28854207 -> PMCID: PMC5576688\n",
      "[LOG] [22/06/2024 23:04:25] Pubmed: 29016312 -> PMCID: PMC5817774\n",
      "[LOG] [22/06/2024 23:04:26] Pubmed: 28600724 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:26] Pubmed: 28456663 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:27] Pubmed: 28422007 -> PMCID: PMC5388125\n",
      "[LOG] [22/06/2024 23:04:27] Pubmed: 27139442 -> PMCID: PMC4944690\n",
      "[LOG] [22/06/2024 23:04:28] Pubmed: 27316694 -> PMCID: PMC4912763\n",
      "[LOG] [22/06/2024 23:04:28] Pubmed: 28414004 -> PMCID: PMC9203345\n",
      "[LOG] [22/06/2024 23:04:29] Pubmed: 28198548 -> PMCID: PMC7167144\n",
      "[LOG] [22/06/2024 23:04:29] Pubmed: 28098525 -> PMCID: PMC5324807\n",
      "[LOG] [22/06/2024 23:04:30] Pubmed: 27681163 -> PMCID: PMC5041078\n",
      "[LOG] [22/06/2024 23:04:30] Pubmed: 27694479 -> PMCID: PMC6394129\n",
      "[LOG] [22/06/2024 23:04:31] Pubmed: 27514512 -> PMCID: PMC4982428\n",
      "[LOG] [22/06/2024 23:04:31] Pubmed: 16824937 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:32] Pubmed: 16096709 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:32] Pubmed: 12589955 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:33] Pubmed: 15183052 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:33] Pubmed: 10479118 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:33] Pubmed: 15613313 -> PMCID: PMC538581\n",
      "[LOG] [22/06/2024 23:04:34] Pubmed: 15516647 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:34] Pubmed: 12093174 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:34] Pubmed: 14555849 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:35] Pubmed: 15286818 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:35] Pubmed: 10708439 -> PMCID: PMC111823\n",
      "[LOG] [22/06/2024 23:04:36] Pubmed: 12751316 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:36] Pubmed: 12812340 -> PMCID: PMC3050023\n",
      "[LOG] [22/06/2024 23:04:37] Pubmed: 9143280 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:37] Pubmed: 3024394 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:38] Pubmed: 2129562 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:38] Pubmed: 27509020 -> PMCID: PMC4980036\n",
      "[LOG] [22/06/2024 23:04:39] Pubmed: 17014880 -> PMCID: PMC3608925\n",
      "[LOG] [22/06/2024 23:04:39] Pubmed: 10759317 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:40] Pubmed: 11311426 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:40] Pubmed: 27215933 -> PMCID: PMC4984957\n",
      "[LOG] [22/06/2024 23:04:41] Pubmed: 27185466 -> PMCID: PMC4868997\n",
      "[LOG] [22/06/2024 23:04:41] Pubmed: 27172387 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:41] Pubmed: 26932451 -> PMCID: PMC4774186\n",
      "[LOG] [22/06/2024 23:04:42] Pubmed: 26977703 -> PMCID: PMC4792444\n",
      "[LOG] [22/06/2024 23:04:42] Pubmed: 26607896 -> PMCID: PMC4661315\n",
      "[LOG] [22/06/2024 23:04:43] Pubmed: 18625078 -> PMCID: PMC2515156\n",
      "[LOG] [22/06/2024 23:04:43] Pubmed: 26593240 -> PMCID: PMC4655357\n",
      "[LOG] [22/06/2024 23:04:44] Pubmed: 9017828 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:44] Pubmed: 10233934 -> PMCID: PMC112516\n",
      "[LOG] [22/06/2024 23:04:45] Pubmed: 11027645 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:45] Pubmed: 19211734 -> PMCID: PMC2668455\n",
      "[LOG] [22/06/2024 23:04:46] Pubmed: 17553878 -> PMCID: PMC1951459\n",
      "[LOG] [22/06/2024 23:04:46] Pubmed: 15780865 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:46] Pubmed: 10789505 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:47] Pubmed: 9208450 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:47] Pubmed: 9601513 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:48] Pubmed: 9143286 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:48] Pubmed: 15941596 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:49] Pubmed: 15695666 -> PMCID: PMC548032\n",
      "[LOG] [22/06/2024 23:04:49] Pubmed: 11222098 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:49] Pubmed: 11257177 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:50] Pubmed: 3388770 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:50] Pubmed: 9139372 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:51] Pubmed: 2587243 -> PMCID: PMC335080\n",
      "[LOG] [22/06/2024 23:04:51] Pubmed: 2587242 -> PMCID: PMC335079\n",
      "[LOG] [22/06/2024 23:04:52] Pubmed: 2587234 -> PMCID: PMC335068\n",
      "[LOG] [22/06/2024 23:04:52] Pubmed: 2216784 -> PMCID: PMC332338\n",
      "[LOG] [22/06/2024 23:04:53] Pubmed: 7494497 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:53] Pubmed: 10744091 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:54] Pubmed: 20663532 -> PMCID: PMC3150181\n",
      "[LOG] [22/06/2024 23:04:54] Pubmed: 27903277 -> PMCID: PMC5129197\n",
      "[LOG] [22/06/2024 23:04:55] Pubmed: 18217869 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:55] Pubmed: 20676363 -> PMCID: PMC2911371\n",
      "[LOG] [22/06/2024 23:04:56] Pubmed: 20202456 -> PMCID: PMC3322019\n",
      "[LOG] [22/06/2024 23:04:56] Pubmed: 20592088 -> PMCID: PMC2937608\n",
      "[LOG] [22/06/2024 23:04:56] Pubmed: 26395339 -> PMCID: PMC4579586\n",
      "[LOG] [22/06/2024 23:04:57] Pubmed: 25811657 -> PMCID: PMC4374945\n",
      "[LOG] [22/06/2024 23:04:58] Pubmed: 25635775 -> PMCID: PMC4311992\n",
      "[LOG] [22/06/2024 23:04:58] Pubmed: 23756811 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:04:59] Pubmed: 22076162 -> PMCID: PMC3208639\n",
      "[LOG] [22/06/2024 23:04:59] Pubmed: 23110744 -> PMCID: PMC9156957\n",
      "[LOG] [22/06/2024 23:05:00] Pubmed: 35895415 -> PMCID: PMC9768287\n",
      "[LOG] [22/06/2024 23:05:00] Pubmed: 35879861 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:01] Pubmed: 34746356 -> PMCID: PMC8551533\n",
      "[LOG] [22/06/2024 23:05:01] Pubmed: 34428547 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:02] Pubmed: 34411743 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:02] Pubmed: 33953197 -> PMCID: PMC8100141\n",
      "[LOG] [22/06/2024 23:05:02] Pubmed: 19478273 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:03] Pubmed: 31416485 -> PMCID: PMC6694664\n",
      "[LOG] [22/06/2024 23:05:03] Pubmed: 28890518 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:04] Pubmed: 28748782 -> PMCID: PMC5621529\n",
      "[LOG] [22/06/2024 23:05:04] Pubmed: 28575000 -> PMCID: PMC5456069\n",
      "[LOG] [22/06/2024 23:05:05] Pubmed: 20495269 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:05] Pubmed: 21029541 -> PMCID: PMC3294538\n",
      "[LOG] [22/06/2024 23:05:06] Pubmed: 18218114 -> PMCID: PMC2263041\n",
      "[LOG] [22/06/2024 23:05:06] Pubmed: 28302072 -> PMCID: PMC5356298\n",
      "[LOG] [22/06/2024 23:05:07] Pubmed: 27524929 -> PMCID: PMC4973078\n",
      "[LOG] [22/06/2024 23:05:07] Pubmed: 19193262 -> PMCID: PMC2662655\n",
      "[LOG] [22/06/2024 23:05:08] Pubmed: 18945183 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:08] Pubmed: 16222028 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:08] Pubmed: 22036707 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:09] Pubmed: 20549264 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:10] Pubmed: 20409381 -> PMCID: PMC2953985\n",
      "[LOG] [22/06/2024 23:05:10] Pubmed: 20105295 -> PMCID: PMC2835670\n",
      "[LOG] [22/06/2024 23:05:11] Pubmed: 21234665 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:11] Pubmed: 20003526 -> PMCID: PMC2804599\n",
      "[LOG] [22/06/2024 23:05:11] Pubmed: 8887488 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:12] Pubmed: 21341545 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:12] Pubmed: 19923266 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:13] Pubmed: 19861059 -> PMCID: PMC2866390\n",
      "[LOG] [22/06/2024 23:05:13] Pubmed: 18243816 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:14] Pubmed: 27257804 -> PMCID: PMC4892648\n",
      "[LOG] [22/06/2024 23:05:14] Pubmed: 15515246 -> PMCID: PMC3323269\n",
      "[LOG] [22/06/2024 23:05:15] Pubmed: 7694966 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:15] Pubmed: 27088845 -> PMCID: PMC4861515\n",
      "[LOG] [22/06/2024 23:05:16] Pubmed: 26880779 -> PMCID: PMC4824222\n",
      "[LOG] [22/06/2024 23:05:16] Pubmed: 26868382 -> PMCID: PMC4751306\n",
      "[LOG] [22/06/2024 23:05:16] Pubmed: 26047200 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:17] Pubmed: 25346397 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:17] Pubmed: 25642359 -> PMCID: PMC4169351\n",
      "[LOG] [22/06/2024 23:05:18] Pubmed: 26219500 -> PMCID: PMC4628084\n",
      "[LOG] [22/06/2024 23:05:18] Pubmed: 26247719 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:19] Pubmed: 26209106 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:19] Pubmed: 26230127 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:20] Pubmed: 23028722 -> PMCID: PMC3441697\n",
      "[LOG] [22/06/2024 23:05:20] Pubmed: 26184939 -> PMCID: PMC4505127\n",
      "[LOG] [22/06/2024 23:05:21] Pubmed: 26150855 -> PMCID: PMC4485282\n",
      "[LOG] [22/06/2024 23:05:21] Pubmed: 25784569 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:22] Pubmed: 25581790 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:22] Pubmed: 24666930 -> PMCID: PMC3986945\n",
      "[LOG] [22/06/2024 23:05:22] Pubmed: 19762982 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:23] Pubmed: 25455901 -> PMCID: PMC7119600\n",
      "[LOG] [22/06/2024 23:05:24] Pubmed: 22960088 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:24] Pubmed: 25846296 -> PMCID: PMC4458818\n",
      "[LOG] [22/06/2024 23:05:24] Pubmed: 25762732 -> PMCID: PMC4442503\n",
      "[LOG] [22/06/2024 23:05:25] Pubmed: 25002298 -> PMCID: PMC4155568\n",
      "[LOG] [22/06/2024 23:05:25] Pubmed: 25242312 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:26] Pubmed: 25091743 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:26] Pubmed: 25127366 -> PMCID: PMC4134198\n",
      "[LOG] [22/06/2024 23:05:27] Pubmed: 24807709 -> PMCID: PMC4097798\n",
      "[LOG] [22/06/2024 23:05:27] Pubmed: 23648427 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:28] Pubmed: 24978469 -> PMCID: PMC4076277\n",
      "[LOG] [22/06/2024 23:05:28] Pubmed: 24916872 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:29] Pubmed: 24583230 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:29] Pubmed: 24642752 -> PMCID: PMC3958444\n",
      "[LOG] [22/06/2024 23:05:30] Pubmed: 24587454 -> PMCID: PMC3937275\n",
      "[LOG] [22/06/2024 23:05:30] Pubmed: 24571329 -> PMCID: PMC3905968\n",
      "[LOG] [22/06/2024 23:05:31] Pubmed: 24205075 -> PMCID: PMC3804462\n",
      "[LOG] [22/06/2024 23:05:32] Pubmed: 24007412 -> PMCID: PMC3844417\n",
      "[LOG] [22/06/2024 23:05:32] Pubmed: 23523598 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:33] Pubmed: 23937713 -> PMCID: PMC3751248\n",
      "[LOG] [22/06/2024 23:05:33] Pubmed: 23951374 -> PMCID: PMC3738473\n",
      "[LOG] [22/06/2024 23:05:34] Pubmed: 23936406 -> PMCID: PMC3732279\n",
      "[LOG] [22/06/2024 23:05:34] Pubmed: 23100478 -> PMCID: PMC3535870\n",
      "[LOG] [22/06/2024 23:05:35] Pubmed: 23520453 -> PMCID: PMC3592868\n",
      "[LOG] [22/06/2024 23:05:36] Pubmed: 23497045 -> PMCID: PMC3606315\n",
      "[LOG] [22/06/2024 23:05:36] Pubmed: 23516646 -> PMCID: PMC3597488\n",
      "[LOG] [22/06/2024 23:05:37] Pubmed: 23166230 -> PMCID: PMC3503049\n",
      "[LOG] [22/06/2024 23:05:37] Pubmed: 23350000 -> PMCID: PMC3547850\n",
      "[LOG] [22/06/2024 23:05:38] Pubmed: 23092682 -> PMCID: PMC3559152\n",
      "[LOG] [22/06/2024 23:05:38] Pubmed: 22339201 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:38] Pubmed: 22670036 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:39] Pubmed: 22815273 -> PMCID: PMC3541791\n",
      "[LOG] [22/06/2024 23:05:40] Pubmed: 20881182 -> PMCID: PMC3008485\n",
      "[LOG] [22/06/2024 23:05:40] Pubmed: 22855770 -> PMCID: PMC3414576\n",
      "[LOG] [22/06/2024 23:05:41] Pubmed: 22647702 -> PMCID: PMC3421746\n",
      "[LOG] [22/06/2024 23:05:41] Pubmed: 21254883 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:42] Pubmed: 22197765 -> PMCID: PMC3919160\n",
      "[LOG] [22/06/2024 23:05:42] Pubmed: 17500237 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:43] Pubmed: 21872571 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:43] Pubmed: 21906394 -> PMCID: PMC3180347\n",
      "[LOG] [22/06/2024 23:05:44] Pubmed: 21632767 -> PMCID: PMC3147917\n",
      "[LOG] [22/06/2024 23:05:45] Pubmed: 21461924 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:45] Pubmed: 21703015 -> PMCID: PMC3138434\n",
      "[LOG] [22/06/2024 23:05:46] Pubmed: 20600330 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:46] Pubmed: 10590335 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:47] Pubmed: 20214880 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:47] Pubmed: 19463715 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:48] Pubmed: 19399166 -> PMCID: PMC2669127\n",
      "[LOG] [22/06/2024 23:05:48] Pubmed: 17617845 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:49] Pubmed: 15284482 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:49] Pubmed: 1339466 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:49] Pubmed: 7911607 -> PMCID: None\n",
      "[LOG] [22/06/2024 23:05:50] Pubmed: 2139210 -> PMCID: PMC330548\n",
      "[LOG] [22/06/2024 23:05:50] Pubmed: 2336374 -> PMCID: PMC330628\n",
      "[LOG] [22/06/2024 23:05:51] Pubmed: 2336373 -> PMCID: PMC330627\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "from modules.webScrapping import extract_pmcid_from_list\n",
    "\n",
    "# Extração\n",
    "bronze_df = pd.read_parquet(path='data/processed/bronze.parquet')\n",
    "\n",
    "# Transformação\n",
    "list_of_unique_pubmed = bronze_df['pubmed_accession_number'].unique()\n",
    "dict_of_pubmeds = extract_pmcid_from_list(list_of_pubmed=list_of_unique_pubmed,number_of_webscrappers=2)\n",
    "def extract_pmcid_list(dict_of_pubmeds:dict):\n",
    "    list_of_pmcid = []\n",
    "    for dictcionary in dict_of_pubmeds:\n",
    "        pmcid = dictcionary.get('pmcid')\n",
    "        if pmcid not in list_of_pmcid and pmcid is not None:\n",
    "            list_of_pmcid.append(pmcid)\n",
    "    return list_of_pmcid\n",
    "\n",
    "extract_pmcid_list(dict_of_pubmeds=dict_of_pubmeds)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "list_of_pmcid = extract_pmcid_list(dict_of_pubmeds=dict_of_pubmeds)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['PMC3612928',\n",
       " 'PMC7125540',\n",
       " 'PMC8241877',\n",
       " 'PMC5522925',\n",
       " 'PMC5543655',\n",
       " 'PMC524489',\n",
       " 'PMC309381',\n",
       " 'PMC10304136',\n",
       " 'PMC10224011',\n",
       " 'PMC10214625',\n",
       " 'PMC10222920',\n",
       " 'PMC10222234',\n",
       " 'PMC10223597',\n",
       " 'PMC8931249',\n",
       " 'PMC6823047',\n",
       " 'PMC8745371',\n",
       " 'PMC8539074',\n",
       " 'PMC6341941',\n",
       " 'PMC8482112',\n",
       " 'PMC8402744',\n",
       " 'PMC7926750',\n",
       " 'PMC8235066',\n",
       " 'PMC7567345',\n",
       " 'PMC9359797',\n",
       " 'PMC7601490',\n",
       " 'PMC7551817',\n",
       " 'PMC7246292',\n",
       " 'PMC7302667',\n",
       " 'PMC7227788',\n",
       " 'PMC6949906',\n",
       " 'PMC5750459',\n",
       " 'PMC6855448',\n",
       " 'PMC2395201',\n",
       " 'PMC6695175',\n",
       " 'PMC6433006',\n",
       " 'PMC6039557',\n",
       " 'PMC6319028',\n",
       " 'PMC6114916',\n",
       " 'PMC6118167',\n",
       " 'PMC6083507',\n",
       " 'PMC6056106',\n",
       " 'PMC5823370',\n",
       " 'PMC5805359',\n",
       " 'PMC5817774',\n",
       " 'PMC5576688',\n",
       " 'PMC4944690',\n",
       " 'PMC5388125',\n",
       " 'PMC4912763',\n",
       " 'PMC9203345',\n",
       " 'PMC7167144',\n",
       " 'PMC5324807',\n",
       " 'PMC5041078',\n",
       " 'PMC6394129',\n",
       " 'PMC4982428',\n",
       " 'PMC538581',\n",
       " 'PMC111823',\n",
       " 'PMC3050023',\n",
       " 'PMC4980036',\n",
       " 'PMC3608925',\n",
       " 'PMC4984957',\n",
       " 'PMC4868997',\n",
       " 'PMC4774186',\n",
       " 'PMC4792444',\n",
       " 'PMC4661315',\n",
       " 'PMC4655357',\n",
       " 'PMC2515156',\n",
       " 'PMC112516',\n",
       " 'PMC2668455',\n",
       " 'PMC1951459',\n",
       " 'PMC548032',\n",
       " 'PMC335079',\n",
       " 'PMC335080',\n",
       " 'PMC335068',\n",
       " 'PMC332338',\n",
       " 'PMC3150181',\n",
       " 'PMC5129197',\n",
       " 'PMC2911371',\n",
       " 'PMC2937608',\n",
       " 'PMC3322019',\n",
       " 'PMC4579586',\n",
       " 'PMC4374945',\n",
       " 'PMC4311992',\n",
       " 'PMC9156957',\n",
       " 'PMC3208639',\n",
       " 'PMC9768287',\n",
       " 'PMC8551533',\n",
       " 'PMC8100141',\n",
       " 'PMC6694664',\n",
       " 'PMC5621529',\n",
       " 'PMC5456069',\n",
       " 'PMC3294538',\n",
       " 'PMC5356298',\n",
       " 'PMC2263041',\n",
       " 'PMC4973078',\n",
       " 'PMC2662655',\n",
       " 'PMC2953985',\n",
       " 'PMC2835670',\n",
       " 'PMC2804599',\n",
       " 'PMC2866390',\n",
       " 'PMC4892648',\n",
       " 'PMC3323269',\n",
       " 'PMC4861515',\n",
       " 'PMC4824222',\n",
       " 'PMC4751306',\n",
       " 'PMC4169351',\n",
       " 'PMC4628084',\n",
       " 'PMC3441697',\n",
       " 'PMC4505127',\n",
       " 'PMC4485282',\n",
       " 'PMC3986945',\n",
       " 'PMC7119600',\n",
       " 'PMC4458818',\n",
       " 'PMC4442503',\n",
       " 'PMC4155568',\n",
       " 'PMC4134198',\n",
       " 'PMC4097798',\n",
       " 'PMC4076277',\n",
       " 'PMC3958444',\n",
       " 'PMC3937275',\n",
       " 'PMC3905968',\n",
       " 'PMC3844417',\n",
       " 'PMC3804462',\n",
       " 'PMC3738473',\n",
       " 'PMC3751248',\n",
       " 'PMC3732279',\n",
       " 'PMC3535870',\n",
       " 'PMC3592868',\n",
       " 'PMC3606315',\n",
       " 'PMC3597488',\n",
       " 'PMC3547850',\n",
       " 'PMC3503049',\n",
       " 'PMC3559152',\n",
       " 'PMC3541791',\n",
       " 'PMC3414576',\n",
       " 'PMC3008485',\n",
       " 'PMC3421746',\n",
       " 'PMC3919160',\n",
       " 'PMC3180347',\n",
       " 'PMC3147917',\n",
       " 'PMC3138434',\n",
       " 'PMC2669127',\n",
       " 'PMC330548',\n",
       " 'PMC330628',\n",
       " 'PMC330627']"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list_of_pmcid"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[LOG] [23/06/2024 00:14:00] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:00] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:00] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:00] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:01] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:01] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:01] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:02] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:03] Successfully downloaded PMC7125540.pdf\n",
      "[LOG] [23/06/2024 00:14:03] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:03] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:03] Successfully downloaded PMC3612928.pdf\n",
      "[LOG] [23/06/2024 00:14:03] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:03] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:04] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:04] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:04] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:04] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:05] Successfully downloaded PMC5522925.pdf\n",
      "[LOG] [23/06/2024 00:14:05] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:05] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:06] Successfully downloaded PMC8241877.pdf\n",
      "[LOG] [23/06/2024 00:14:06] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:06] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:06] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:06] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:06] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:07] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:07] Successfully downloaded PMC5543655.pdf\n",
      "[LOG] [23/06/2024 00:14:07] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:07] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:08] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:08] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:08] Successfully downloaded PMC524489.pdf\n",
      "[LOG] [23/06/2024 00:14:08] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:08] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:09] Successfully downloaded PMC309381.pdf\n",
      "[LOG] [23/06/2024 00:14:09] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:09] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:09] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:09] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:10] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:10] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:11] Successfully downloaded PMC10304136.pdf\n",
      "[LOG] [23/06/2024 00:14:11] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:11] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:12] Successfully downloaded PMC10224011.pdf\n",
      "[LOG] [23/06/2024 00:14:12] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:12] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:12] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:12] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:13] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:13] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:13] Successfully downloaded PMC10214625.pdf\n",
      "[LOG] [23/06/2024 00:14:13] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:13] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:14] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:15] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:15] Successfully downloaded PMC10222920.pdf\n",
      "[LOG] [23/06/2024 00:14:15] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:15] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:16] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:16] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:16] Successfully downloaded PMC10222234.pdf\n",
      "[LOG] [23/06/2024 00:14:16] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:16] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:17] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:17] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:18] Successfully downloaded PMC10223597.pdf\n",
      "[LOG] [23/06/2024 00:14:18] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:18] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:19] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:19] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:19] Successfully downloaded PMC8931249.pdf\n",
      "[LOG] [23/06/2024 00:14:19] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:19] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:20] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:20] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:20] Successfully downloaded PMC6823047.pdf\n",
      "[LOG] [23/06/2024 00:14:20] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:20] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:21] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:21] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:22] Successfully downloaded PMC8745371.pdf\n",
      "[LOG] [23/06/2024 00:14:22] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:22] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:23] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:23] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:24] Successfully downloaded PMC8539074.pdf\n",
      "[LOG] [23/06/2024 00:14:24] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:24] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:24] Successfully downloaded PMC6341941.pdf\n",
      "[LOG] [23/06/2024 00:14:24] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:24] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:25] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:25] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:25] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:25] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:26] Successfully downloaded PMC8482112.pdf\n",
      "[LOG] [23/06/2024 00:14:26] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:26] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:27] Successfully downloaded PMC8402744.pdf\n",
      "[LOG] [23/06/2024 00:14:27] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:27] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:28] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:28] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:28] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:28] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:29] Successfully downloaded PMC7926750.pdf\n",
      "[LOG] [23/06/2024 00:14:29] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:29] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:30] Successfully downloaded PMC8235066.pdf\n",
      "[LOG] [23/06/2024 00:14:30] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:30] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:30] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:31] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:31] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:31] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:32] Successfully downloaded PMC7567345.pdf\n",
      "[LOG] [23/06/2024 00:14:32] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:32] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:32] Successfully downloaded PMC9359797.pdf\n",
      "[LOG] [23/06/2024 00:14:32] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:32] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:33] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:33] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:34] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:34] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:35] Successfully downloaded PMC7601490.pdf\n",
      "[LOG] [23/06/2024 00:14:35] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:35] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:36] Successfully downloaded PMC7551817.pdf\n",
      "[LOG] [23/06/2024 00:14:36] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:36] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:36] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:36] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:37] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:37] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:38] Successfully downloaded PMC7246292.pdf\n",
      "[LOG] [23/06/2024 00:14:38] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:38] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:38] Successfully downloaded PMC7302667.pdf\n",
      "[LOG] [23/06/2024 00:14:38] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:38] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:39] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:39] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:39] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:40] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:40] Successfully downloaded PMC7227788.pdf\n",
      "[LOG] [23/06/2024 00:14:40] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:40] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:41] Successfully downloaded PMC6949906.pdf\n",
      "[LOG] [23/06/2024 00:14:41] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:41] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:41] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:41] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:42] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:42] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:43] Successfully downloaded PMC5750459.pdf\n",
      "[LOG] [23/06/2024 00:14:43] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:43] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:44] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:44] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:45] Successfully downloaded PMC6855448.pdf\n",
      "[LOG] [23/06/2024 00:14:45] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:45] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:45] Successfully downloaded PMC2395201.pdf\n",
      "[LOG] [23/06/2024 00:14:45] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:45] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:46] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:46] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:46] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:46] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:48] Successfully downloaded PMC6695175.pdf\n",
      "[LOG] [23/06/2024 00:14:48] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:48] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:48] Successfully downloaded PMC6433006.pdf\n",
      "[LOG] [23/06/2024 00:14:48] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:48] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:49] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:49] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:49] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:49] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:51] Successfully downloaded PMC6319028.pdf\n",
      "[LOG] [23/06/2024 00:14:51] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:51] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:51] Successfully downloaded PMC6039557.pdf\n",
      "[LOG] [23/06/2024 00:14:51] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:51] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:52] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:52] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:52] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:52] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:54] Successfully downloaded PMC6118167.pdf\n",
      "[LOG] [23/06/2024 00:14:54] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:54] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:54] Successfully downloaded PMC6114916.pdf\n",
      "[LOG] [23/06/2024 00:14:54] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:54] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:55] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:55] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:55] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:55] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:56] Successfully downloaded PMC6083507.pdf\n",
      "[LOG] [23/06/2024 00:14:56] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:56] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:57] Successfully downloaded PMC6056106.pdf\n",
      "[LOG] [23/06/2024 00:14:57] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:14:57] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:14:58] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:58] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:14:58] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:14:58] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:00] Successfully downloaded PMC5823370.pdf\n",
      "[LOG] [23/06/2024 00:15:00] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:00] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:00] Successfully downloaded PMC5805359.pdf\n",
      "[LOG] [23/06/2024 00:15:00] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:00] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:00] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:00] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:01] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:01] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:02] Successfully downloaded PMC5817774.pdf\n",
      "[LOG] [23/06/2024 00:15:02] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:02] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:03] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:03] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:03] Successfully downloaded PMC5576688.pdf\n",
      "[LOG] [23/06/2024 00:15:03] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:03] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:04] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:04] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:05] Successfully downloaded PMC4944690.pdf\n",
      "[LOG] [23/06/2024 00:15:05] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:05] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:05] Successfully downloaded PMC5388125.pdf\n",
      "[LOG] [23/06/2024 00:15:05] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:05] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:06] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:06] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:06] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:07] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:07] Successfully downloaded PMC4912763.pdf\n",
      "[LOG] [23/06/2024 00:15:07] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:07] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:08] Successfully downloaded PMC9203345.pdf\n",
      "[LOG] [23/06/2024 00:15:08] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:08] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:08] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:08] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:09] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:09] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:10] Successfully downloaded PMC7167144.pdf\n",
      "[LOG] [23/06/2024 00:15:10] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:10] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:10] Successfully downloaded PMC5324807.pdf\n",
      "[LOG] [23/06/2024 00:15:10] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:10] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:11] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:11] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:11] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:11] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:12] Successfully downloaded PMC5041078.pdf\n",
      "[LOG] [23/06/2024 00:15:12] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:12] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:12] Successfully downloaded PMC6394129.pdf\n",
      "[LOG] [23/06/2024 00:15:12] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:12] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:13] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:13] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:13] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:13] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:15] Successfully downloaded PMC538581.pdf\n",
      "[LOG] [23/06/2024 00:15:15] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:15] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:15] Successfully downloaded PMC4982428.pdf\n",
      "[LOG] [23/06/2024 00:15:15] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:15] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:16] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:16] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:16] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:16] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:17] Successfully downloaded PMC111823.pdf\n",
      "[LOG] [23/06/2024 00:15:17] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:17] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:17] Successfully downloaded PMC3050023.pdf\n",
      "[LOG] [23/06/2024 00:15:17] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:17] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:18] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:18] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:18] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:18] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:20] Successfully downloaded PMC3608925.pdf\n",
      "[LOG] [23/06/2024 00:15:20] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:20] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:20] Successfully downloaded PMC4980036.pdf\n",
      "[LOG] [23/06/2024 00:15:20] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:20] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:21] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:21] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:21] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:21] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:23] Successfully downloaded PMC4984957.pdf\n",
      "[LOG] [23/06/2024 00:15:23] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:23] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:23] Successfully downloaded PMC4868997.pdf\n",
      "[LOG] [23/06/2024 00:15:23] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:23] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:23] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:23] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:24] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:24] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:25] Successfully downloaded PMC4774186.pdf\n",
      "[LOG] [23/06/2024 00:15:25] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:25] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:25] Successfully downloaded PMC4792444.pdf\n",
      "[LOG] [23/06/2024 00:15:25] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:25] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:26] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:26] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:26] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:26] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:27] Successfully downloaded PMC4661315.pdf\n",
      "[LOG] [23/06/2024 00:15:27] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:27] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:28] Successfully downloaded PMC4655357.pdf\n",
      "[LOG] [23/06/2024 00:15:28] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:28] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:28] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:28] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:29] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:29] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:30] Successfully downloaded PMC2515156.pdf\n",
      "[LOG] [23/06/2024 00:15:30] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:30] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:30] Successfully downloaded PMC112516.pdf\n",
      "[LOG] [23/06/2024 00:15:30] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:30] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:31] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:31] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:31] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:31] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:32] Successfully downloaded PMC1951459.pdf\n",
      "[LOG] [23/06/2024 00:15:32] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:32] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:32] Successfully downloaded PMC2668455.pdf\n",
      "[LOG] [23/06/2024 00:15:32] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:32] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:33] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:33] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:33] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:33] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:34] Successfully downloaded PMC548032.pdf\n",
      "[LOG] [23/06/2024 00:15:34] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:34] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:34] Successfully downloaded PMC335079.pdf\n",
      "[LOG] [23/06/2024 00:15:34] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:34] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:35] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:35] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:35] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:35] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:36] Successfully downloaded PMC335080.pdf\n",
      "[LOG] [23/06/2024 00:15:36] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:36] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:36] Successfully downloaded PMC335068.pdf\n",
      "[LOG] [23/06/2024 00:15:36] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:36] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:36] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:36] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:37] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:37] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:37] Successfully downloaded PMC332338.pdf\n",
      "[LOG] [23/06/2024 00:15:37] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:37] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:38] Successfully downloaded PMC3150181.pdf\n",
      "[LOG] [23/06/2024 00:15:38] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:38] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:38] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:38] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:39] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:39] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:40] Successfully downloaded PMC5129197.pdf\n",
      "[LOG] [23/06/2024 00:15:40] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:40] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:40] Successfully downloaded PMC2911371.pdf\n",
      "[LOG] [23/06/2024 00:15:40] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:40] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:41] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:41] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:41] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:41] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:42] Successfully downloaded PMC3322019.pdf\n",
      "[LOG] [23/06/2024 00:15:42] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:42] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:43] Successfully downloaded PMC2937608.pdf\n",
      "[LOG] [23/06/2024 00:15:43] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:43] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:43] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:43] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:44] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:44] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:45] Successfully downloaded PMC4579586.pdf\n",
      "[LOG] [23/06/2024 00:15:45] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:45] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:45] Successfully downloaded PMC4374945.pdf\n",
      "[LOG] [23/06/2024 00:15:45] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:45] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:45] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:46] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:46] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:46] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:47] Successfully downloaded PMC9156957.pdf\n",
      "[LOG] [23/06/2024 00:15:47] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:47] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:47] Successfully downloaded PMC4311992.pdf\n",
      "[LOG] [23/06/2024 00:15:47] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:47] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:48] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:48] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:48] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:49] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:50] Successfully downloaded PMC9768287.pdf\n",
      "[LOG] [23/06/2024 00:15:50] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:50] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:50] Successfully downloaded PMC3208639.pdf\n",
      "[LOG] [23/06/2024 00:15:50] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:50] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:51] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:51] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:51] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:51] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:53] Successfully downloaded PMC8551533.pdf\n",
      "[LOG] [23/06/2024 00:15:53] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:53] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:54] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:54] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:54] Successfully downloaded PMC8100141.pdf\n",
      "[LOG] [23/06/2024 00:15:54] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:54] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:55] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:55] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:56] Successfully downloaded PMC6694664.pdf\n",
      "[LOG] [23/06/2024 00:15:56] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:56] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:56] Successfully downloaded PMC5621529.pdf\n",
      "[LOG] [23/06/2024 00:15:56] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:56] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:15:57] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:57] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:57] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:15:57] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:15:59] Successfully downloaded PMC3294538.pdf\n",
      "[LOG] [23/06/2024 00:15:59] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:15:59] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:00] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:00] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:00] Successfully downloaded PMC5456069.pdf\n",
      "[LOG] [23/06/2024 00:16:00] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:00] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:01] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:01] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:01] Successfully downloaded PMC5356298.pdf\n",
      "[LOG] [23/06/2024 00:16:01] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:01] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:02] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:02] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:02] Successfully downloaded PMC2263041.pdf\n",
      "[LOG] [23/06/2024 00:16:02] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:02] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:03] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:03] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:04] Successfully downloaded PMC4973078.pdf\n",
      "[LOG] [23/06/2024 00:16:04] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:04] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:04] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:04] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:05] Successfully downloaded PMC2662655.pdf\n",
      "[LOG] [23/06/2024 00:16:05] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:05] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:06] Successfully downloaded PMC2953985.pdf\n",
      "[LOG] [23/06/2024 00:16:06] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:06] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:06] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:06] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:07] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:07] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:07] Successfully downloaded PMC2835670.pdf\n",
      "[LOG] [23/06/2024 00:16:07] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:07] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:08] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:08] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:08] Successfully downloaded PMC2804599.pdf\n",
      "[LOG] [23/06/2024 00:16:08] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:08] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:09] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:09] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:09] Successfully downloaded PMC2866390.pdf\n",
      "[LOG] [23/06/2024 00:16:09] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:09] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:10] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:10] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:11] Successfully downloaded PMC4892648.pdf\n",
      "[LOG] [23/06/2024 00:16:11] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:11] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:11] Successfully downloaded PMC3323269.pdf\n",
      "[LOG] [23/06/2024 00:16:11] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:11] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:12] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:12] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:12] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:12] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:13] Successfully downloaded PMC4861515.pdf\n",
      "[LOG] [23/06/2024 00:16:13] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:13] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:14] Successfully downloaded PMC4824222.pdf\n",
      "[LOG] [23/06/2024 00:16:14] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:14] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:14] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:14] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:15] Iniciando a raspagem de dados\n",
      "[ERROR] [23/06/2024 00:16:15] An error occurred for PMC4169351: 'NoneType' object has no attribute 'find'\n",
      "[ERROR] [23/06/2024 00:16:15] Erro ao baixar o artigo via webscraping PMC4169351 -> 'NoneType' object has no attribute 'find'\n",
      "[LOG] [23/06/2024 00:16:15] Efetuando requisição para o pmcid PMC4169351.\n",
      "[LOG] [23/06/2024 00:16:15] Successfully downloaded PMC4751306.pdf\n",
      "[LOG] [23/06/2024 00:16:15] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:15] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:15] Verificando se há arquivo para baixar\n",
      "[LOG] [23/06/2024 00:16:15] Baixando via requisição no servidor FTP.\n",
      "[LOG] [23/06/2024 00:16:15] Destrinchando a url recebida\n",
      "[LOG] [23/06/2024 00:16:15] Conectando ao servidor FTP\n",
      "[LOG] [23/06/2024 00:16:16] Baixando o arquivo\n",
      "[LOG] [23/06/2024 00:16:16] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:16] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:17] Saindo da conexão FTP\n",
      "[LOG] [23/06/2024 00:16:17] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:17] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:18] Successfully downloaded PMC4628084.pdf\n",
      "[LOG] [23/06/2024 00:16:18] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:18] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:18] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:19] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:19] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:19] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:20] Successfully downloaded PMC4505127.pdf\n",
      "[LOG] [23/06/2024 00:16:20] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:20] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:20] Successfully downloaded PMC3441697.pdf\n",
      "[LOG] [23/06/2024 00:16:20] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:20] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:21] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:21] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:21] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:21] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:22] Successfully downloaded PMC3986945.pdf\n",
      "[LOG] [23/06/2024 00:16:22] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:22] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:23] Successfully downloaded PMC4485282.pdf\n",
      "[LOG] [23/06/2024 00:16:23] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:23] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:23] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:24] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:24] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:24] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:25] Successfully downloaded PMC7119600.pdf\n",
      "[LOG] [23/06/2024 00:16:25] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:25] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:25] Successfully downloaded PMC4458818.pdf\n",
      "[LOG] [23/06/2024 00:16:25] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:25] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:26] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:26] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:26] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:26] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:28] Successfully downloaded PMC4442503.pdf\n",
      "[LOG] [23/06/2024 00:16:28] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:28] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:28] Successfully downloaded PMC4155568.pdf\n",
      "[LOG] [23/06/2024 00:16:28] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:28] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:29] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:29] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:29] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:29] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:31] Successfully downloaded PMC4134198.pdf\n",
      "[LOG] [23/06/2024 00:16:31] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:31] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:31] Successfully downloaded PMC4097798.pdf\n",
      "[LOG] [23/06/2024 00:16:31] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:31] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:32] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:32] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:32] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:32] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:34] Successfully downloaded PMC4076277.pdf\n",
      "[LOG] [23/06/2024 00:16:34] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:34] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:34] Successfully downloaded PMC3958444.pdf\n",
      "[LOG] [23/06/2024 00:16:34] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:34] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:34] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:34] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:35] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:35] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:36] Successfully downloaded PMC3937275.pdf\n",
      "[LOG] [23/06/2024 00:16:36] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:36] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:36] Successfully downloaded PMC3905968.pdf\n",
      "[LOG] [23/06/2024 00:16:36] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:36] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:37] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:37] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:37] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:37] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:39] Successfully downloaded PMC3844417.pdf\n",
      "[LOG] [23/06/2024 00:16:39] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:39] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:39] Successfully downloaded PMC3804462.pdf\n",
      "[LOG] [23/06/2024 00:16:39] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:39] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:40] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:40] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:40] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:40] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:41] Successfully downloaded PMC3738473.pdf\n",
      "[LOG] [23/06/2024 00:16:41] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:41] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:41] Successfully downloaded PMC3751248.pdf\n",
      "[LOG] [23/06/2024 00:16:41] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:41] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:42] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:42] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:42] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:42] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:44] Successfully downloaded PMC3535870.pdf\n",
      "[LOG] [23/06/2024 00:16:44] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:44] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:44] Successfully downloaded PMC3732279.pdf\n",
      "[LOG] [23/06/2024 00:16:44] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:44] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:45] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:45] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:45] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:45] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:46] Successfully downloaded PMC3606315.pdf\n",
      "[LOG] [23/06/2024 00:16:46] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:46] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:46] Successfully downloaded PMC3592868.pdf\n",
      "[LOG] [23/06/2024 00:16:46] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:46] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:47] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:47] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:47] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:47] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:49] Successfully downloaded PMC3597488.pdf\n",
      "[LOG] [23/06/2024 00:16:49] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:49] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:49] Successfully downloaded PMC3547850.pdf\n",
      "[LOG] [23/06/2024 00:16:49] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:49] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:50] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:50] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:50] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:50] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:51] Successfully downloaded PMC3503049.pdf\n",
      "[LOG] [23/06/2024 00:16:51] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:51] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:51] Successfully downloaded PMC3559152.pdf\n",
      "[LOG] [23/06/2024 00:16:51] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:51] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:52] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:52] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:52] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:52] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:53] Successfully downloaded PMC3541791.pdf\n",
      "[LOG] [23/06/2024 00:16:53] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:53] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:54] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:54] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:54] Successfully downloaded PMC3414576.pdf\n",
      "[LOG] [23/06/2024 00:16:54] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:54] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:55] Successfully downloaded PMC3008485.pdf\n",
      "[LOG] [23/06/2024 00:16:55] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:55] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:55] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:55] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:56] Iniciando a raspagem de dados\n",
      "[ERROR] [23/06/2024 00:16:56] An error occurred for PMC3919160: 'NoneType' object has no attribute 'find'\n",
      "[ERROR] [23/06/2024 00:16:56] Erro ao baixar o artigo via webscraping PMC3919160 -> 'NoneType' object has no attribute 'find'\n",
      "[LOG] [23/06/2024 00:16:56] Efetuando requisição para o pmcid PMC3919160.\n",
      "[LOG] [23/06/2024 00:16:56] Verificando se há arquivo para baixar\n",
      "[LOG] [23/06/2024 00:16:56] Baixando via requisição no servidor FTP.\n",
      "[LOG] [23/06/2024 00:16:56] Destrinchando a url recebida\n",
      "[LOG] [23/06/2024 00:16:56] Conectando ao servidor FTP\n",
      "[LOG] [23/06/2024 00:16:57] Successfully downloaded PMC3421746.pdf\n",
      "[LOG] [23/06/2024 00:16:57] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:57] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:57] Baixando o arquivo\n",
      "[LOG] [23/06/2024 00:16:58] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:16:58] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:16:59] Saindo da conexão FTP\n",
      "[LOG] [23/06/2024 00:16:59] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:59] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:16:59] Successfully downloaded PMC3180347.pdf\n",
      "[LOG] [23/06/2024 00:16:59] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:16:59] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:17:00] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:17:00] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:17:00] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:17:00] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:17:02] Successfully downloaded PMC3138434.pdf\n",
      "[LOG] [23/06/2024 00:17:02] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:17:02] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:17:02] Successfully downloaded PMC3147917.pdf\n",
      "[LOG] [23/06/2024 00:17:02] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:17:02] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:17:03] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:17:03] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:17:03] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:17:03] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:17:05] Successfully downloaded PMC2669127.pdf\n",
      "[LOG] [23/06/2024 00:17:05] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:17:05] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:17:05] Successfully downloaded PMC330548.pdf\n",
      "[LOG] [23/06/2024 00:17:05] Criando o diretório data/articles/pdf/, caso não exista.\n",
      "[LOG] [23/06/2024 00:17:05] Efetuando a requisição\n",
      "[LOG] [23/06/2024 00:17:05] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:17:05] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:17:06] Iniciando a raspagem de dados\n",
      "[LOG] [23/06/2024 00:17:06] Efetuando a requisição para o link de download\n",
      "[LOG] [23/06/2024 00:17:06] Successfully downloaded PMC330628.pdf\n",
      "[LOG] [23/06/2024 00:17:07] Successfully downloaded PMC330627.pdf\n"
     ]
    }
   ],
   "source": [
    "from modules.download import download_articles_from_list_of_pmcid\n",
    "\n",
    "download_articles_from_list_of_pmcid(list_of_pmcid=list_of_pmcid,max_workers=2)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}