sampling_example.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import sys\n",
    "import os\n",
    "\n",
    "from utils import search_subdir\n",
    "import json \n",
    "import random\n",
    "import math\n",
    "\n",
    "from tqdm import tqdm\n",
    "\n",
    "# load path\n",
    "datasets_path = search_subdir('data')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "def list_to_str(context: list) -> str:\n",
    "    context_str = ''\n",
    "    for sen in context:\n",
    "        speaker, sentence = next(iter(sen.items()))\n",
    "        context_str += speaker.strip() + ':' + sentence.strip() + '\\n'\n",
    "    return context_str"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Sampling for one file"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# sampling\n",
    "context_list = []\n",
    "sample_num = 5\n",
    "with open(datasets_path[0], encoding='utf-8') as f:\n",
    "    data_json = json.load(f)\n",
    "    sample_json = random.sample(data_json['data'], sample_num)\n",
    "    context_list += [list_to_str(context['context']) for context in sample_json]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['상담사:행복을 드리는 ㅇㅇㅇㅇ ㅇㅇㅇ입니다.\\n고객:이십사일에 산게 있는데 그거좀 봐주세요.\\n상담사:정보 확인 후 안내 도와드리겠습니다.  성함과 핸드폰 번호 말씀 부탁 드립니다.\\n고객:ㅇㅇㅇ ㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ이요.\\n상담사:네 소중한 정보 확인 감사합니다.  잠시만 기다려주시겠습니까?\\n고객:네.\\n상담사:이십사일 내역이 안 나오네요. 오월 이십사일이신가요?\\n고객:아 맞을텐데요.\\n상담사:오월 이십오일 주문하신  소프트 정상 바지 말씀하시는 거죠?\\n고객:아 맞아요.\\n상담사:예 이거는 취소 처리 진행하셨다가 다시 이십오일에 주문하셨네요.\\n고객:아 맞아요.\\n상담사:네 무엇을 도와 드릴까요?\\n고객:이거 만약에 사이즈  안 맞으면은 교환도 되고 반품도 되죠?\\n상담사:예 맞습니다.\\n고객:아 네 알았습니다.  여기 농협 카드로  오 프로 청구 할인되나요?\\n상담사:어플 통해서 진행하셨나요?\\n고객:아니 자동 주문을 했는데요.\\n상담사:어플 통해서 주문하셔야 청구 할인 가능합니다.\\n고객:어플로 하면은 카드 등록이 안되더라구요.\\n상담사:고객님 그 어플 통해서 무통장 입금으로 주문을 하시고 전화 주셔서 결제 변경하실수도 있습니다.\\n고객:아 네 알았습니다.  그럼 제가  지금 가입이 돼있나요?\\n상담사:확인 해보겠습니다.  잠시만 기다려주시겠습니까?\\n고객:네.\\n상담사:네 기다려주셔서 감사합니다.  지금 어플은 회원 가입 안 되어 있습니다.  하시고 사용하셔야 돼요.\\n고객:아 그러면 지금은 카드로 바꿀게요.\\n상담사:고객님  주문하신  소프트 정상 바지 결제 변경 도와드려요?\\n고객:네 카드로 할게요.\\n상담사:무통장 입금 주문 하셨는데 카드 결제로 변경하시는게 맞습니까?\\n고객:네.\\n상담사:네 고객님 결제하실 카드는 등록된 카드로 해드릴까요?\\n고객:아 네. 그래요.\\n상담사:뒤 네자리 번호만 불러주세요.\\n고객:ㅇㅇㅇㅇ이요.\\n상담사:예 고객님 명의 비씨카드 확인됩니다.\\n고객:네 맞아요.\\n상담사:카드 소유주 이신 ㅇㅇㅇ고객님의 생년월일 여섯 자리 확인 부탁 드립니다.\\n고객:ㅇㅇㅇㅇㅇㅇ이요.\\n상담사:네 확인 감사합니다.  해당 상품 무이자 오개월까지 가능합니다.\\n고객:네 오개월로 해주세요.\\n상담사:네 칠만 구천팔백원 말씀하신 비씨카드 무이자 오개월로 결제 요청 드리겠습니다.\\n고객:네.\\n상담사:네 카드 인증 에이알에스로 연결해 드리겠습니다.  안내 멘트에 따라 카드 비밀 번호 앞 두 자리 입력 부탁 드립니다.  연결해 드리겠습니다.\\n고객:네.\\n상담사:고객님 죄송한데 결제 요청하신 비씨카드가 카드사에서  좀 이상이 있는 것 같아요  지금 이 카드로 바로 결제는 조금 어려울 것 같고  내일 오전 중에나 전화하셔서 결제 변경 다시 해주시겠어요?\\n고객:한도 초과로 나오나요?\\n상담사:아니요.  한도 초과는 아닌데 이게 새벽 시간 때 되면 카드사가 이 시점에서 오류가있는 경우가 있어서 이거는 오전 중에 시도하시면 될 거에요.\\n고객:아 그래요.\\n상담사:그래서 내일 다시 한번 해주세요.\\n고객:비씨카드가 ㅇㅇㅇ이름이라 그런가요?\\n상담사:배우자 분이세요?\\n고객:네.\\n상담사:배우자분 생년월일이 어떻게 되세요?\\n고객:ㅇㅇㅇㅇㅇㅇ이요.\\n상담사:네 고객님 이거는 지금  조금 더 다시 한번 연결해 보겠습니다.\\n고객:네. 알겠어요.\\n상담사:예 고객님 지금 카드사에 좀 장애가 있는 것 같아요.  그래서  편하실 때 전화 주셔서 다시 한번 이 카드로 결제 변경 요청해주시면 될 것 같습니다.\\n고객:아 그래요. 알겠습니다.\\n상담사:네. 상담사 ㅇㅇㅇ였습니다.\\n고객:네 알았습니다.\\n',\n",
       " '상담사:ㅇㅇㅇㅇ입니다.\\n고객:여보세요.\\n상담사:네 고객님 무엇을 도와드릴까요?\\n고객:지금 방송 하는 거 주문 할건데요. 카드 결제로 하려고 하는데 그게 지금 없어서.\\n상담사:아 그러십니까 그럼 제가 일단 현금 결제로 접수해 드릴까요?\\n고객:그럼 현금으로 결제해야 하나요?\\n상담사:아니요. 현금으로 결제하셔도 되지만 혹시 카드를 찾으시면 그때 다시 연락 주셔서 결제를 카드로 변경하시면 됩니다.\\n고객:아 그렇구나 알겠습니다.\\n상담사:네 그럼 주문 도와드리겠습니다.\\n고객:예.\\n상담사:고객님 주문하실 상품이 지금 방송 중인 잭필드 남성 재킷 이 종 사만 구천 팔백원 상품 맞으세요?\\n고객:맞아요.\\n상담사:예 원하시는 색상과 사이즈 말씀 부탁드립니다.\\n고객:색상 하나는 공통인거죠?\\n상담사:네 네이비 색상이 공통입니다.\\n고객:나머지는 색상이 뭐죠?\\n상담사:블루 그레이와 베이지 중 선택하시면 됩니다.\\n고객:그럼 블루 그레이로 할게요.\\n상담사:사이즈는 어떻게 하시겠습니까?\\n고객:백 사이즈요.\\n상담사:네 블루 그레이 백 사이즈로 주문 도와드리겠습니다.\\n고객:예.\\n상담사:배송지는 강원도 평창군 ㅇㅇㅇ 맞습니까?\\n고객:맞아요.\\n상담사:네 이하 주소 말씀 부탁드립니다.\\n고객:ㅇㅇㅇ ㅇㅇ ㅇㅇㅇ.\\n상담사:확인 감사합니다. 사만 구천 팔백원 일단 현금 결제로 접수해 드리겠습니다.\\n고객:예.\\n상담사:어느 은행으로 입금 도와드릴까요?\\n고객:농협이요.\\n상담사:네 농협 계좌 번호와 금액 문자로 발송해 드리겠습니다.\\n고객:알겠습니다.\\n상담사:현금 영수증 발행해 드릴까요?\\n고객:예.\\n상담사:번호 어떻게 해 드릴까요?\\n고객:ㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ요.\\n상담사:네 ㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ 로 현금 영수증 접수해 드렸습니다.\\n고객:감사합니다.\\n상담사:주문 접수는 잘 되었구요 결제 변경을 원하실 경우에 저희한테 연락 주시면 카드로 가능하십니다.\\n고객:알겠습니다.\\n상담사:이 상품은 결제 완료 후 일요일 공휴일 제외 평균 삼일 이내 배송됩니다.\\n고객:아 네.\\n상담사:교환 반품은 배송 완료 후 칠일 이내에 연락 주셔야 하며 제품 하자 외에 택 제거 및 외부 착용 세탁 기간 경과 시 교환 반품이 불가한 점 양해 부탁 드립니다.\\n고객:예.\\n상담사:또한 세트 상품으로 부분 교환 및 반품이 불가한 점도 양해 부탁드립니다.\\n고객:잘 알겠습니다.\\n상담사:네 고객님 더 문의할 사항은 없으신가요?\\n고객:없습니다.\\n상담사:감사합니다. 지금까지 저는 ㅇㅇㅇ였습니다.\\n고객:네 수고하세요.\\n',\n",
       " '상담사:ㅇㅇㅇㅇ입니다.\\n고객:상품 주문했는데 카드로 결제하려고 그러거든요.\\n상담사:그러세요 고객님 정보 확인 후 도움 드리겠습니다.\\n고객:네.\\n상담사:성함이 어떻게 되십니까?\\n고객:ㅇㅇㅇ요.\\n상담사:핸드폰 번호는 어떻게 되십니까?\\n고객:ㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ요.\\n상담사:고객님 주문해 주신 상품이 어떤 상품이신가요?\\n고객:신발이요.\\n상담사:아 최근에 구매하신 상품이면 버팔로 소가죽 컴포트 샌들 말씀이세요?\\n고객:맞아요.\\n상담사:오월 삼십일에 주문하신 거 맞으신가요?\\n고객:예.\\n상담사:확인 감사합니다. 이 부분 무통장 입금하시기로 하셨는데 카드로 결제 변경하신다고 하신거죠?\\n고객:예.\\n상담사:예 고객님 결제하실 카드 번호 확인 부탁드립니다.\\n고객:전체 다 불러야 돼요?\\n상담사:기존에 등록하신 게 있으시면 카드 번호 끝 네 자리만 불러주시면 됩니다.\\n고객:혹시 ㅇㅇㅇㅇ 등록 돼 있나요?\\n상담사:해당 카드는 등록되어 있지 않은데 새로 등록해 드릴까요?\\n고객:예.\\n상담사:그럼 카드 번호 전체 말씀 부탁드립니다.\\n고객:ㅇㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ요.\\n상담사:ㅇㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ 맞습니까?\\n고객:맞아요.\\n상담사:이 카드 고객님 소유 맞으세요?\\n고객:예.\\n상담사:고객님 생년월일 말씀 한번 해주시겠습니까?\\n고객:ㅇㅇㅇㅇㅇㅇ요.\\n상담사:카드 유효 기간 말씀해 주십시오.\\n고객:ㅇㅇㅇㅇ.\\n상담사:확인해 주셔서 감사합니다. 삼만 팔천 팔백원 일시불 결제 진행해 드리겠습니다.\\n고객:네.\\n상담사:고객님의 안전한 결제를 위해 카드 인증 에이알에스로 연결해 드리겠습니다.\\n고객:아 네.\\n상담사:안내 멘트에 따라 카드 비밀 번호 앞 두 자리 입력 부탁 드립니다.\\n고객:알겠습니다.\\n상담사:연결해 드리겠습니다.\\n고객:수고하세요.\\n',\n",
       " '상담사:ㅇㅇ쇼핑입니다. 무엇을 도와 드릴까요?\\n고객:제가 타일 박사를 주문하면서 결제를 계좌 이체로 했는데 카드로 변경 할려구요.\\n상담사:그러십니까? 고객님 먼저 정보 확인 후 도움 드리겠습니다. 성함과 휴대폰 번호 말씀 부탁 드립니다.\\n고객:ㅇㅇㅇ이고 ㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ 이예요.\\n상담사:소중한 정보 확인 감사합니다. 죄송하지만 고객님 에이알에스로 가입해 주셨는데 녹취가 잘 안된 것으로 확인되서 제가 다시 입력 해드리겠습니다.\\n고객:알겠어요.\\n상담사:고객님 성함과 생년월일 말씀 부탁 드립니다.\\n고객:이름은 ㅇㅇㅇ이고 생년월일은 ㅇㅇㅇㅇㅇㅇ 이예요.\\n상담사:고객님 전화번호 말씀 부탁 드립니다.\\n고객:ㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ이예요.\\n상담사:고객님 주소 말씀 부탁 드립니다.\\n고객:인천시 남동구 ㅇㅇㅇ동 ㅇㅇㅇ ㅇㅇ빌라 ㅇㅇ층 ㅇㅇㅇ호예요.\\n상담사:고객님 말씀하신 주소가 인천시 남동구 ㅇㅇㅇ동 ㅇㅇㅇ ㅇㅇ빌라 ㅇㅇ층 ㅇㅇㅇ호 맞으십니까?\\n고객:맞아요.\\n상담사:소중한 정보 확인 감사합니다. 고객님께서 말씀하신 상품이 칠월 십일일에 주문하신 타일 박사 곰팡이 박사 열 여덟개 세트 판매가 삼만 구천 구백원 상품 맞으십니까?\\n고객:네.\\n상담사:고객님 주문하신 상품이 미입금으로 주문 취소가 된 걸로 확인 되시는데요. 재주문 해 드릴까요?\\n고객:재주문 해 주세요\\n상담사:네. 고객님 자동 주문 할인가 적용해서 주문 진행 하겠습니다.\\n고객:네.\\n상담사:고객님 타일 박사 곰팡이 박사 열 여덟개 세트 천원 할인 적용 결제 금액 삼만 팔천 구백원 주문 진행하겠습니다.\\n고객:네.\\n상담사:결제하실 카드 전체 번호  말씀 부탁 드립니다.\\n고객:국민 카드이고 번호는 ㅇㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ.\\n상담사:고객님 카드 소유주 분이 본인 맞으십니까?\\n고객:네. 맞아요.\\n상담사:고객님의 생년월일 말씀 부탁 드립니다.\\n고객:ㅇㅇㅇㅇㅇㅇ이예요.\\n상담사:고객님 카드 유효기간 말씀 부탁 드립니다.\\n고객:ㅇㅇㅇㅇ 이예요.\\n상담사:확인 감사합니다. 결제 금액 사만 팔천 구백원 일시불로 결제 진행 하겠습니다.\\n고객:네.\\n상담사:고객님의 안전한 결제를 위해 카드 인증 에이알에스 연결됩니다. 안내 멘트에 따라 카드 비밀번호 앞 두 자리 입력 부탁 드립니다. 연결 하겠습니다.\\n고객:네.\\n',\n",
       " '상담사:ㅇㅇㅇㅇ ㅇㅇㅇ입니다.\\n고객:여보세요.\\n상담사:네 고객님 무엇을 도와드릴까요?\\n고객:제가 주문하면서 입금으로 하기로 했는데 카드로 결제해도 되나요?\\n상담사:네 가능하십니다. 고객님 정보 확인 후 도움 드리도록 하겠습니다.\\n고객:아 예.\\n상담사:고객님 성함 확인 부탁드립니다.\\n고객:ㅇㅇㅇ.\\n상담사:전화 번호 확인 부탁드립니다.\\n고객:ㅇㅇㅇ ㅇㅇㅇㅇ ㅇㅇㅇㅇ.\\n상담사:소중한 정보 확인 감사합니다. 고객님 잠시만 기다려주십시오.\\n고객:예.\\n상담사:기다려주셔서 감사합니다. 고객님께서 주문해 주신 상품이 레드캠프 여성용 쿨링팬츠 사 종 맞으세요?\\n고객:맞아요.\\n상담사:네 사만 팔천원으로 주문하신거 확인 됩니다.\\n고객:예.\\n상담사:카드 번호 끝 네 자리 확인 부탁드립니다.\\n고객:ㅇㅇㅇㅇ.\\n상담사:카드 소유주 고객님 본인되십니까?\\n고객:저 맞습니다.\\n상담사:네 고객님 생년월일 확인 부탁드립니다.\\n고객:ㅇㅇㅇㅇㅇㅇ.\\n상담사:카드 유효 기간 확인 부탁드립니다.\\n고객:ㅇㅇㅇㅇ.\\n상담사:확인 감사합니다. 사만 팔천원 일시불 결제 도와드리겠습니다.\\n고객:예.\\n상담사:고객님의 안전한 결제를 위해 카드 인증 에이알에스로 연결해 드리겠습니다.\\n고객:알겠습니다.\\n상담사:안내 멘트에 따라 카드 비밀 번호 앞 두 자리 입력 부탁 드립니다.\\n고객:그럴게요.\\n상담사:연결해 드리겠습니다.\\n고객:네 수고하세요.\\n']"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "context_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "# save\n",
    "with open(\"sample_data.txt\", \"w\") as f:\n",
    "    for call in context_list:\n",
    "        f.write(call+'\\n\\n')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Sampling for files"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 1/1 [00:00<00:00, 30.85it/s]\n"
     ]
    }
   ],
   "source": [
    "total_count = 0\n",
    "context_dic = {}\n",
    "for dataset_path in tqdm(datasets_path):\n",
    "    with open(dataset_path, encoding='utf-8') as f:\n",
    "        data_json = json.load(f)\n",
    "        context_dic[dataset_path] = data_json['data']\n",
    "        total_count += len(data_json['data'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 1/1 [00:00<00:00, 382.80it/s]\n"
     ]
    }
   ],
   "source": [
    "# Sampling to the number of data in the file\n",
    "sample_num = 30\n",
    "\n",
    "context_list = []\n",
    "for dataset_path in tqdm(datasets_path):\n",
    "        # Number of samples for dataset\n",
    "        k = math.ceil(len(context_dic[dataset_path])/total_count * sample_num)\n",
    "        \n",
    "        sample_json = random.sample(data_json['data'], k)\n",
    "        context_list += [list_to_str(context['context']) for context in sample_json]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "30"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(context_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "# save\n",
    "with open(\"sample_data.txt\", \"w\") as f:\n",
    "    for call in context_list:\n",
    "        f.write(call+'\\n\\n')        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "PyTorch 1.9.0 on Python 3.8 (CUDA 11.1)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}