실습파일-2/week3_practice.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "71\n",
      "71\n",
      "할인율: 0%, 할인액: 0\n",
      "할인전 가격: 2000, 할인 후 가격: 2000\n"
     ]
    }
   ],
   "source": [
    "# 3-1\n",
    "# python 기본문법\n",
    "\n",
    "import pandas\n",
    "pandas.DataFrame()\n",
    "\n",
    "import pandas as pd\n",
    "pd.DataFrame()\n",
    "\n",
    "from pandas import DataFrame\n",
    "DataFrame()\n",
    "\n",
    "\n",
    "def g(x):\n",
    "    y=3*x**3 - 3*x -1\n",
    "    return y\n",
    "\n",
    "print(g(3))\n",
    "x=3\n",
    "print(g(x))\n",
    "\n",
    "\n",
    "\n",
    "def discount_rate(price):\n",
    "    if price < 10000:\n",
    "        rate = 0\n",
    "    elif price < 20000:\n",
    "        rate = 1/100\n",
    "    elif price < 40000:\n",
    "        rate = 2/100\n",
    "    else:\n",
    "        rate = 4/100\n",
    "    return rate\n",
    "\n",
    "discount_rate(15000)\n",
    "\n",
    "\n",
    "\n",
    "# price = int(input(\"가격입력: \"))\n",
    "price = 2000;\n",
    "discount_rate = discount_rate(price)\n",
    "\n",
    "discount = price * discount_rate\n",
    "discount_price = price - discount\n",
    "\n",
    "print(\"할인율: %d%%, 할인액: %d\" %(int(discount_rate*100), discount))\n",
    "print(\"할인전 가격: %d, 할인 후 가격: %d\" %(price, discount_price))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "200\n",
      "\n",
      "<!DOCTYPE html>\n",
      "\n",
      "\n",
      "\n",
      "<html lang=\"ko\" class=\"os_unknown chrome unknown version_117_0_0_0 \">\n",
      "<head>\n",
      "<meta charset=\"utf-8\">\n",
      "<meta name=\"referrer\" content=\"always\" />\n",
      "\n",
      "<meta property=\"og:author\" content=\"D\n"
     ]
    }
   ],
   "source": [
    "# 3-1. p.16\n",
    "\n",
    "# Daum 뉴스 웹 스크래핑\n",
    "\n",
    "import requests\n",
    "url = \"https://news.daum.net/breakingnews/economic/stock?page=1\"\n",
    "agent = \"Mozilla/5.0 (window NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, I like Gecko) Chrome/117.0.0.0 Safari/537.36\"\n",
    "responese = requests.get(url = url, headers = {\"User-Agent\": agent})\n",
    "\n",
    "# 연결상태 확인 -> 200이 나오면 정상 연결\n",
    "print(responese.status_code)\n",
    "\n",
    "res_text = responese.text\n",
    "# 서버로부터 받은 응답의 HTML 텍스트 중 처음 200자를 출력하여, 응답이 제대로 왔는지 확인할 수 있게 함\n",
    "print(res_text[:200])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'bs4.BeautifulSoup'>\n",
      "[<strong class=\"tit_thumb\">\n",
      "<a class=\"link_txt\" href=\"https://v.daum.net/v/20241023161609549\">현대차증권, 3분기 영업익 146억원…전년比 22.2%↑</a>\n",
      "<span class=\"info_news\">뉴시스<span class=\"txt_bar\"> · </span><span class=\"info_time\">16:16</span></span>\n",
      "</strong>, <strong class=\"tit_thumb\">\n",
      "<a class=\"link_txt\" href=\"https://v.daum.net/v/20241023161502471\">LG이노텍, 3분기 영업익 1304억…전년比 28.9%↓</a>\n",
      "<span class=\"info_news\">한국경제<span class=\"txt_bar\"> · </span><span class=\"info_time\">16:15</span></span>\n",
      "</strong>, <strong class=\"tit_thumb\">\n",
      "<a class=\"link_txt\" href=\"https://v.daum.net/v/20241023161457460\">\"중국 부양책 기대했는데\"… 요지부동 석화주에 애끓는 투자자들</a>\n",
      "<span class=\"info_news\">머니투데이<span class=\"txt_bar\"> · </span><span class=\"info_time\">16:14</span></span>\n",
      "</strong>]\n",
      "\n",
      "<span class=\"info_news\">뉴시스<span class=\"txt_bar\"> · </span><span class=\"info_time\">16:16</span></span>\n",
      "\n",
      "https://v.daum.net/v/20241023161609549\n",
      "현대차증권, 3분기 영업익 146억원…전년比 22.2%↑\n"
     ]
    }
   ],
   "source": [
    "# 3-1. p.18\n",
    "\n",
    "# 뷰티풀수프를 이용한 파싱\n",
    "# : response 객체의 text 속성은 문자열이므로 특정속성을 갖는 태그 찾기 어려움\n",
    "# : 뷰티풀 수프 -> 웹 페이지 소스를 나타내는 문자열을 태그 간 관계와 태그의 속성정보를 반영한 새로운 객체로 변환\n",
    "\n",
    "from bs4 import BeautifulSoup as BS\n",
    "# res_text는 아까 위에서 requests.get으로 요청한거임\n",
    "parsed_res_text = BS(res_text)\n",
    "print(type(parsed_res_text))\n",
    "\n",
    "\n",
    "# HTML 내에서 <strong> 태그 중 클래스가 tit_thumb인 모든 태그를 찾아 리스트로 반환\n",
    "news_li = parsed_res_text.find_all('strong', attrs = {\"class\":\"tit_thumb\"})\n",
    "print(news_li[:3])\n",
    "print()\n",
    "\n",
    "# news_li 리스트의 첫 번째 요소에서 클래스가 link_txt인 <a> 태그를 찾아 링크를 포함하는 태그를 반환\n",
    "press_name = news_li[0].find('span', attrs={'class':'info_news'})\n",
    "print(press_name)\n",
    "print()\n",
    "\n",
    "# 3-1. p.21\n",
    "news_name = news_li[0].find('a', attrs = {'class':'link_txt'})\n",
    "print(news_name['href'])\n",
    "print(news_name.text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "ename": "SyntaxError",
     "evalue": "invalid syntax (653098937.py, line 5)",
     "output_type": "error",
     "traceback": [
      "\u001b[0;36m  Cell \u001b[0;32mIn[13], line 5\u001b[0;36m\u001b[0m\n\u001b[0;31m    client_id = #id 입력\u001b[0m\n\u001b[0m                ^\u001b[0m\n\u001b[0;31mSyntaxError\u001b[0m\u001b[0;31m:\u001b[0m invalid syntax\n"
     ]
    }
   ],
   "source": [
    "# 네이버 검색 API 예제 - 블로그 검색\n",
    "import os\n",
    "import sys\n",
    "import urllib.request\n",
    "client_id = #id 입력\n",
    "client_secret = #secret number 입력\n",
    "encText = urllib.parse.quote(\"AI\")\n",
    "url = \"https://openapi.naver.com/v1/search/news?query=\" + encText # JSON 결과\n",
    "# url = \"https://openapi.naver.com/v1/search/blog.xml?query=\" + encText # XML 결과\n",
    "request = urllib.request.Request(url)\n",
    "request.add_header(\"X-Naver-Client-Id\",client_id)\n",
    "request.add_header(\"X-Naver-Client-Secret\",client_secret)\n",
    "response = urllib.request.urlopen(request)\n",
    "rescode = response.getcode()\n",
    "if(rescode==200):\n",
    "    response_body = response.read()\n",
    "    print(response_body.decode('utf-8'))\n",
    "else:\n",
    "    print(\"Error Code:\" + rescode)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "#3-2\n",
    "#3-1차시 이어서 진행\n",
    "#뉴스명, 언론사명, 뉴스링크, 시간, 분 DF 만들기\n",
    "import pandas as pd\n",
    "\n",
    "# 리스트 생성\n",
    "news_name_list = []\n",
    "news_link_list = []\n",
    "press_name_list = []\n",
    "hour_list = []\n",
    "minute_list = []\n",
    "\n",
    "# 뉴스 항목 순회 및 데이터 추출\n",
    "for li in news_li:\n",
    "    # 뉴스 제목 추출\n",
    "    news_name_tag = li.find('a', attrs = {'class' : 'link_txt'})\n",
    "    press_name_tag = li.find('span', attrs = {'class' : 'info_news'})\n",
    "    news_name = news_name_tag.text\n",
    "    \n",
    "    # 언론사명과 시간 추출\n",
    "    if press_name_tag != None:\n",
    "        press_name = press_name_tag.text.split('·')[0]\n",
    "        hour = press_name_tag.text.split('·')[1].split(':')[0]\n",
    "        minute = press_name_tag.text.split('·')[1].split(':')[1]\n",
    "    else:\n",
    "        press_name = None\n",
    "        \n",
    "    #뉴스 링크 추출\n",
    "    news_link = news_name_tag[\"href\"]\n",
    "    \n",
    "    news_name_list.append(news_name)\n",
    "    press_name_list.append(press_name)\n",
    "    news_link_list.append(news_link)\n",
    "    hour_list.append(hour)\n",
    "    minute_list.append(minute)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>뉴스명</th>\n",
       "      <th>언론사명</th>\n",
       "      <th>링크</th>\n",
       "      <th>발행 시간</th>\n",
       "      <th>발행 분</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>현대차증권, 3분기 영업익 146억원…전년比 22.2%↑</td>\n",
       "      <td>뉴시스</td>\n",
       "      <td>https://v.daum.net/v/20241023161609549</td>\n",
       "      <td>16</td>\n",
       "      <td>16</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>LG이노텍, 3분기 영업익 1304억…전년比 28.9%↓</td>\n",
       "      <td>한국경제</td>\n",
       "      <td>https://v.daum.net/v/20241023161502471</td>\n",
       "      <td>16</td>\n",
       "      <td>15</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>\"중국 부양책 기대했는데\"… 요지부동 석화주에 애끓는 투자자들</td>\n",
       "      <td>머니투데이</td>\n",
       "      <td>https://v.daum.net/v/20241023161457460</td>\n",
       "      <td>16</td>\n",
       "      <td>14</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>유비쿼스, 50% 무상증자 결정</td>\n",
       "      <td>이데일리</td>\n",
       "      <td>https://v.daum.net/v/20241023161303379</td>\n",
       "      <td>16</td>\n",
       "      <td>13</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>‘강달러 랠리’에 환율 1382원 안착…8거래일 연속 상승[외환마감]</td>\n",
       "      <td>이데일리</td>\n",
       "      <td>https://v.daum.net/v/20241023161134285</td>\n",
       "      <td>16</td>\n",
       "      <td>11</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>질주하는 '원히트원더', 크래프톤 적정 가치는 [엔터프라이스]</td>\n",
       "      <td>한국경제TV</td>\n",
       "      <td>https://v.daum.net/v/20241023161113276</td>\n",
       "      <td>16</td>\n",
       "      <td>11</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>엔지스테크널러지, 185억 규모 디엠씨 주식 양수…지분 49.9% 확보</td>\n",
       "      <td>이데일리</td>\n",
       "      <td>https://v.daum.net/v/20241023160931145</td>\n",
       "      <td>16</td>\n",
       "      <td>09</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>남양유업, 200억 규모 자사주 취득 신탁계약 체결</td>\n",
       "      <td>헤럴드경제</td>\n",
       "      <td>https://v.daum.net/v/20241023160847081</td>\n",
       "      <td>16</td>\n",
       "      <td>08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>현대차증권, 3분기 영업익 145억원…전년比 22% 증가</td>\n",
       "      <td>아이뉴스24</td>\n",
       "      <td>https://v.daum.net/v/20241023160838072</td>\n",
       "      <td>16</td>\n",
       "      <td>08</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>다음달엔 1.1억 넘는다?… 트럼프 당선 확률만큼 치솟은 비트코인</td>\n",
       "      <td>머니투데이</td>\n",
       "      <td>https://v.daum.net/v/20241023160743019</td>\n",
       "      <td>16</td>\n",
       "      <td>07</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                       뉴스명     언론사명  \\\n",
       "0          현대차증권, 3분기 영업익 146억원…전년比 22.2%↑     뉴시스    \n",
       "1          LG이노텍, 3분기 영업익 1304억…전년比 28.9%↓    한국경제    \n",
       "2       \"중국 부양책 기대했는데\"… 요지부동 석화주에 애끓는 투자자들   머니투데이    \n",
       "3                        유비쿼스, 50% 무상증자 결정    이데일리    \n",
       "4   ‘강달러 랠리’에 환율 1382원 안착…8거래일 연속 상승[외환마감]    이데일리    \n",
       "5       질주하는 '원히트원더', 크래프톤 적정 가치는 [엔터프라이스]  한국경제TV    \n",
       "6  엔지스테크널러지, 185억 규모 디엠씨 주식 양수…지분 49.9% 확보    이데일리    \n",
       "7             남양유업, 200억 규모 자사주 취득 신탁계약 체결   헤럴드경제    \n",
       "8          현대차증권, 3분기 영업익 145억원…전년比 22% 증가  아이뉴스24    \n",
       "9     다음달엔 1.1억 넘는다?… 트럼프 당선 확률만큼 치솟은 비트코인   머니투데이    \n",
       "\n",
       "                                       링크 발행 시간 발행 분  \n",
       "0  https://v.daum.net/v/20241023161609549    16   16  \n",
       "1  https://v.daum.net/v/20241023161502471    16   15  \n",
       "2  https://v.daum.net/v/20241023161457460    16   14  \n",
       "3  https://v.daum.net/v/20241023161303379    16   13  \n",
       "4  https://v.daum.net/v/20241023161134285    16   11  \n",
       "5  https://v.daum.net/v/20241023161113276    16   11  \n",
       "6  https://v.daum.net/v/20241023160931145    16   09  \n",
       "7  https://v.daum.net/v/20241023160847081    16   08  \n",
       "8  https://v.daum.net/v/20241023160838072    16   08  \n",
       "9  https://v.daum.net/v/20241023160743019    16   07  "
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#데이터 프레임으로 변환\n",
    "data = pd.DataFrame({'뉴스명' : news_name_list,\n",
    "                    '언론사명' : press_name_list,\n",
    "                    '링크' : news_link_list,\n",
    "                    '발행 시간' : hour_list,\n",
    "                    '발행 분' : minute_list})\n",
    "\n",
    "data.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 19 entries, 0 to 18\n",
      "Data columns (total 5 columns):\n",
      " #   Column  Non-Null Count  Dtype \n",
      "---  ------  --------------  ----- \n",
      " 0   뉴스명     19 non-null     object\n",
      " 1   언론사명    15 non-null     object\n",
      " 2   링크      19 non-null     object\n",
      " 3   발행 시간   19 non-null     object\n",
      " 4   발행 분    19 non-null     object\n",
      "dtypes: object(5)\n",
      "memory usage: 888.0+ bytes\n"
     ]
    }
   ],
   "source": [
    "#데이터 프레임 자료형 확인\n",
    "data.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 19 entries, 0 to 18\n",
      "Data columns (total 5 columns):\n",
      " #   Column  Non-Null Count  Dtype \n",
      "---  ------  --------------  ----- \n",
      " 0   뉴스명     19 non-null     object\n",
      " 1   언론사명    15 non-null     object\n",
      " 2   링크      19 non-null     object\n",
      " 3   발행 시간   19 non-null     int64 \n",
      " 4   발행 분    19 non-null     int64 \n",
      "dtypes: int64(2), object(3)\n",
      "memory usage: 888.0+ bytes\n"
     ]
    }
   ],
   "source": [
    "#발행 시간 및 발행 분 int 타입으로 변경\n",
    "data['발행 시간'] = data['발행 시간'].astype(int)\n",
    "data['발행 분'] = data['발행 분'].astype(int)\n",
    "\n",
    "#변경된 데이터 및 구조 확인\n",
    "data.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "010-123-4567\n"
     ]
    }
   ],
   "source": [
    "#정규표현식 예제1\n",
    "import re\n",
    "\n",
    "text = \"궁금한 사항이 있으시다면 010-123-4567 으로 연락주시기 바랍니다.\"\n",
    "\n",
    "regex = re.compile(r'\\d\\d\\d-\\d\\d\\d-\\d\\d\\d\\d')\n",
    "matchobj = regex.search(text)\n",
    "phonenumber = matchobj.group()\n",
    "print(phonenumber)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "찾은 패턴: 일등뉴스\n",
      "찾은 패턴: 이등뉴스\n",
      "찾은 패턴: 삼등뉴스\n",
      "찾은 패턴: 안녕ㄴㅠ스\n"
     ]
    }
   ],
   "source": [
    "#정규표현식 예제2\n",
    "import re\n",
    "text = \"일등뉴스 이등뉴스 삼등뉴스 안녕ㄴㅠ스\"\n",
    "pattern = r'[가-힣]*[ㄴ]*[ㅠ]*[스]+[가-힣]*'\n",
    "\n",
    "result = re.findall(pattern, text)\n",
    "\n",
    "for word in result:\n",
    "    print(\"찾은 패턴:\", word)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "찾은 패턴: -20\n"
     ]
    }
   ],
   "source": [
    "#정규 표현식 예제 3\n",
    "import re\n",
    "\n",
    "text = '10 20 30 -20'\n",
    "pattern = r'-\\d*'\n",
    "matches = re.findall(pattern, text)\n",
    "\n",
    "for match in matches:\n",
    "    print(\"찾은 패턴:\", match)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "myenv",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}