filtrado_publicaciones_por_contexto.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Filtrado de publicaciones en el contexto deseado\n",
    "\n",
    "En este cuaderno se hace uso de los servicios de Azure OpenAI para filtrar publicaciones (de Twitter, 4chan, etc.) en las que se tiene una palabra de interés, pero que se emplea en un contexto diferente al requerido.\n",
    "\n",
    "Se especificará una lista de palabras/frases objetivo y, mediante el uso de la API de Azure OpenAI, se determinará si la publicación contiene esta palabra y es usada en el contexto deseado.\n",
    "\n",
    "En este cuaderno se usará el lenguaje de Python y se hará uso de la biblioteca [OpenAI](https://pypi.org/project/openai/).\n",
    "\n",
    "Para ejecutar este cuaderno, mira los requisitos en el archivo [README.md](./README.md) y selecciona el entorno virtual creado para este proyecto."
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Palabra: `colgarme`\n",
    "\n",
    "Para el caso de las publicaciones con la palabra \"colgarme\", se tienen casos en el que la palabra es usada con intenciones autolesivas, como los siguientes:\n",
    "\n",
    "* <blockquote> OAA me hace dar ganas de colgarme, uhhh si. https://t.co/3vc7ELNvtH </blockquote>\n",
    "* <blockquote> *procedo a colgarme del abanico* </blockquote>\n",
    "* <blockquote> No me siento preparada para colgarme hoy :-) </blockquote>\n",
    "* <blockquote> Tengo más ganas de colgarme de los huevos en un anzuelo para pescar tiburones que de seguir cursando esta materia </blockquote>\n",
    "* <blockquote> Pero antes de colgarme debo oir el álbum de Taylor por qué la nena anda al tope </blockquote>\n",
    "* <blockquote> Ese filtro me quitó las ganas de colgarme 💗. https://t.co/LtvKc0cKsI </blockquote>\n",
    "\n",
    "No obstante, el propósito de la palabra en una oración no siempre es el mismo.\n",
    "\n",
    "<blockquote>\n",
    "* Por colgarme mirando Superman me olvidé de cargar el celular y estoy llegando tarde al colegio :(\n",
    "\n",
    "    -> Donde \"colgarme\" es usado como \"distraerme\"\n",
    "</blockquote>\n",
    "\n",
    "<blockquote>\n",
    "* CHICAS YO BAILO POLE DANCE NATURALMENTE SIN ACADEMIAS PORQUE FROTARME Y COLGARME DEL CAÑO ES MI TALENTO NATO\n",
    "\n",
    "    -> Donde \"colgarme\" es usado como \"sujetarme\"\n",
    "\n",
    "    * Nótese que hay objetos de los que puede sujetarse, como un árbol, pero que también es candidato a ser usadopara colgarse del cuello. Todas aquellas entidades de las que se pueda inferir un potencial uso nocivo se considerarán como alarmantes.\n",
    "</blockquote>\n",
    "\n",
    "<blockquote>\n",
    "* Una mina con quien colgarme toda la noche escuchando rock\n",
    "\n",
    "    -> Donde \"colgarme\" es usado como \"pasar tiempo\"\n",
    "</blockquote>\n",
    "\n",
    "<blockquote>\n",
    "* espero no colgarme e ir al colegio hoy\n",
    "\n",
    "    -> Donde \"colgarme\" es usado como \"pasarme de largo\"\n",
    "</blockquote>\n",
    "\n",
    "etc...\n",
    "\n",
    "Se espera únicamente conservar los tweets englobados en la primera categoría.\n",
    "\n",
    "Del modelo de completición de OpenAI, se espera inferir el contexto de la palabra y que este devuelva un 0, si es\n",
    "que el contexto no es uno alarmante, o un 1, en caso contrario.\n",
    "\n",
    "Primero que nada, hagamos una función genérica que nos permita hacer uso de la API de OpenAI para inferir el contexto de una palabra."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Importar las librerías necesarias\n",
    "import os\n",
    "import openai"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "def obtener_respuesta(mensaje : list, nombre_modelo : str = \"gpt-35-turbo-deployed\", max_tokens : int):\n",
    "\n",
    "    \"\"\"\n",
    "        Función que obtiene la respuesta del asistente virtual.\n",
    "    \"\"\"\n",
    "\n",
    "    respuesta = openai.ChatCompletion.create(\n",
    "            engine=nombre_modelo,\n",
    "            messages=mensaje,\n",
    "            temperature=0.2,\n",
    "            max_tokens=max_tokens,\n",
    "            top_p=1.0,\n",
    "            frequency_penalty=1.0,\n",
    "            presence_penalty=0.0,\n",
    "            stop=None\n",
    "        )\n",
    "\n",
    "    \n",
    "    return respuesta['choices'][0]['message']['content']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "def determinar_correspondencias_con_contexto(palabra_frase : str, textos: list[str], intencion : str, ejemplos : str = \"\"):\n",
    "\n",
    "    \"\"\"\n",
    "        Función que determina si la respuesta del asistente virtual corresponde con el contexto de la pregunta.\n",
    "\n",
    "        Parámetros:\n",
    "            - palabra_frase: palabra o frase que se quiere determinar si corresponde con el contexto.\n",
    "            - texto: texto en el que se encuentra la palabra o frase.\n",
    "            - intención: intención con la que se espera que la palabra sea usada.\n",
    "\n",
    "        Retorno:\n",
    "            - 0 si la intención de la palabra en el texto proporcionado no corresponde con la intención esperada.\n",
    "            - 1 en caso contrario.\n",
    "    \"\"\"\n",
    "\n",
    "    textos_para_mensaje = \"\"\n",
    "\n",
    "    for indice, texto in enumerate(textos):\n",
    "        textos_para_mensaje += f\"Texto # {indice + 1}: {texto}\\n\"\n",
    "\n",
    "    mensaje = [\n",
    "        {\n",
    "        \"role\": \"system\",\n",
    "        \"content\": f\"\"\"\n",
    "                Eres un asistente que determina si la palabra o frase '{palabra_frase}',\n",
    "                dentro de los siguientes textos cumple con una intención dada.\\n\n",
    "                Aquí tienes los textos:\\n\n",
    "                {textos_para_mensaje}\\n\n",
    "                A continuación se te proporciona detalles sobre el cumplimiento:\\n \n",
    "                {intencion}.\\n\n",
    "\n",
    "                Ejemplos:\\n\n",
    "                {ejemplos}\\n\n",
    "\n",
    "                Responde únicamente con un 1 si la palabra o frase cumple con la intención dada,\n",
    "                en caso contrario responde con un 0.\\n\n",
    "\n",
    "                La respuesta deberá ser algo como '0,1,0,1', según el número de textos dados.\\n\n",
    "            \"\"\"\n",
    "        },\n",
    "    ]\n",
    "\n",
    "    respuesta = obtener_respuesta(mensaje, max_tokens=len(textos) + 5)\n",
    "\n",
    "    # Obtenemos los valores de la respuesta\n",
    "    respuestas = respuesta.split(\",\")\n",
    "    # Devolvemos una lista de booleanos\n",
    "    return [True if int(respuesta) == 1 else False for respuesta in respuestas]"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ya podemos trabajar con nuestra función genérica para inferir el contexto de una palabra.\n",
    "\n",
    "No obstante, es necesario configurar las credenciales de OpenAI para poder hacer uso de la API."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Traer las credenciales de OpenAI\n",
    "from dotenv import load_dotenv\n",
    "load_dotenv()\n",
    "dotenv_path = os.path.join(os.path.abspath(\"\"), '.env')\n",
    "\n",
    "# Configurar la API de OpenAI\n",
    "openai.api_type = \"azure\"\n",
    "openai.api_base = os.getenv(\"OPENAI_API_ENDPOINT\")\n",
    "openai.api_version = \"2023-03-15-preview\"\n",
    "openai.api_key = os.getenv(\"OPENAI_API_KEY\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "            La palabra o frase 'fresa' en el texto 'La fresa es una fruta deliciosa'\n",
      "            no cumple\n",
      "            con la intención.\n",
      "        \n",
      "\n",
      "            La palabra o frase 'fresa' en el texto 'La fresa es una pieza de metal que se usa para cortar metal'\n",
      "            cumple\n",
      "            con la intención.\n",
      "        \n"
     ]
    }
   ],
   "source": [
    "# Realizar una prueba\n",
    "\n",
    "palabra_frase = \"fresa\"\n",
    "textos = [\n",
    "    \"La fresa es una fruta deliciosa\",\n",
    "    \"La fresa es una pieza de metal que se usa para cortar metal\",\n",
    "]\n",
    "# intencion = \"La palabra fresa se usa para referirse a una máquina que se usa para cortar metal\"\n",
    "intencion = \"La palabra fresa se usa para referirse a una fruta\"\n",
    "\n",
    "cumplimientos = determinar_correspondencias_con_contexto(palabra_frase, textos, intencion)\n",
    "\n",
    "for indice, cumple in enumerate(cumplimientos):\n",
    "    cumple_str = \"cumple\" if cumple else \"no cumple\"\n",
    "    texto = textos[indice]\n",
    "    print(\n",
    "        \"\"\"\n",
    "            La palabra o frase '{}' en el texto '{}'\n",
    "            {}\n",
    "            con la intención.\n",
    "        \"\"\".format(palabra_frase, texto, cumple_str)\n",
    "    )\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.6"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}