Bangla Text Processing(NLP).ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "a0a8b477-95ce-4cf8-8d9e-b0de8ec1fd35",
   "metadata": {},
   "source": [
    "# Natural Language Processing"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "05ea827b-58ed-4ce1-8983-4b980d163fad",
   "metadata": {},
   "source": [
    "#### Libraries need to be installed\n",
    "1) pip install nltk\n",
    "2) pip install banglanltk"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "435b5171-b5fa-4b31-b191-aef581b5a840",
   "metadata": {},
   "source": [
    "#### Import libraries"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "6358a8cc-70b5-4409-ab4b-bc12f6d3a25a",
   "metadata": {},
   "outputs": [],
   "source": [
    "import nltk\n",
    "import banglanltk as bn\n",
    "import re\n",
    "from nltk.corpus import stopwords\n",
    "from sklearn.feature_extraction.text import CountVectorizer"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "11dab5e0-db93-441f-89ef-891b4b4e78e4",
   "metadata": {},
   "source": [
    "##### Use this data for further processing\n",
    "গতকাল ডিএসইতে ১ হাজার ১৯০ কোটি ২৬ লাখ টাকার শেয়ার লেনদেন হয়েছে। যা আগের দিন থেকে ৫ কোটি ১৫ লাখ! টাকা কম! গতকাল ডি.এসইতে ১ হাজার ১৯৫ কোটি ৪১ লাখ টাকার শেয়ার লেনদেন হয়েছিল। এর আগের দিন মঙ্গলবার ১ হাজার ১৮৩ কোটি টাকা শেয়ার লেনদেন হয়েছিল। বাজার বিশ্লেষণে দেখা যায় ডিএসই প্রধান সূচক ডিএসইএক্স ১২ পয়েন্ট বেড়ে অবস্হান করছে ৬ হাজার ৩১২ পয়েন্টে। অন্য সূচকগুলোর মধ্যে ডিএসইএস বা শরিয়াহ সূচক ৪ পয়েন্ট বেড়ে অবস্হান করছে ১ হাজার ৩৭৫ পয়েন্টে। এছাড়া ডিএস৩০ সূচক ৬ পয়েন্ট বেড়ে দাঁড়িয়েছে ২ হাজার ২৬৫ পয়েন্টে। দেশের প্রধান এই শেয়ারবাজারে গতকাল ৩৮১টি কোম্পানি ও মিউচুয়াল ফান্ডের শেয়ার লেনদেন হয়েছে। এর মধ্যে দর বেড়েছে ১২৯টির। কমেছে ১৯৯টির এবং অপরিবর্তিত রয়েছে ৫৩টির। অপর বাজার চট্টগ্রাম স্টক  এক্সচেঞ্জে সিএসই সিএসই সার্বিক সূচক সিএসপিআই ৭৮ point বেড়েছে। লেনদেন হয়েছে 21 core টাকার শেয়ার।"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "72d12b89-4603-4e4f-8193-a6dcceaafe55",
   "metadata": {},
   "outputs": [],
   "source": [
    "paragraph = \"গতকাল ডিএসইতে ১ হাজার ১৯০ কোটি ২৬ লাখ টাকার শেয়ার লেনদেন হয়েছে। যা আগের দিন থেকে ৫ কোটি ১৫ লাখ টাকা কম! গতকাল ডি.এসইতে ১ হাজার ১৯৫ কোটি ৪১ লাখ টাকার শেয়ার লেনদেন হয়েছিল। এর আগের দিন মঙ্গলবার ১ হাজার ১৮৩ কোটি টাকা শেয়ার লেনদেন হয়েছিল। বাজার বিশ্লেষণে দেখা যায় ডিএসই প্রধান সূচক ডিএসইএক্স ১২ পয়েন্ট বেড়ে অবস্হান করছে ৬ হাজার ৩১২ পয়েন্টে। অন্য সূচকগুলোর মধ্যে ডিএসইএস বা শরিয়াহ সূচক ৪ পয়েন্ট বেড়ে অবস্হান করছে ১ হাজার ৩৭৫ পয়েন্টে। এছাড়া ডিএস৩০ সূচক ৬ পয়েন্ট বেড়ে দাঁড়িয়েছে ২ হাজার ২৬৫ পয়েন্টে। দেশের প্রধান এই শেয়ারবাজারে গতকাল ৩৮১টি কোম্পানি ও মিউচুয়াল ফান্ডের শেয়ার লেনদেন হয়েছে। এর মধ্যে দর বেড়েছে ১২৯টির। কমেছে ১৯৯টির এবং অপরিবর্তিত রয়েছে ৫৩টির। অপর বাজার চট্টগ্রাম স্টক  এক্সচেঞ্জে সিএসই সিএসই সার্বিক সূচক সিএসপিআই ৭৮ point বেড়েছে। লেনদেন হয়েছে 21 core টাকার শেয়ার।\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5ca0c2bd-64ac-4e6c-8cbc-8880366cca7a",
   "metadata": {},
   "source": [
    "#### Tokenizing the words and provide the length  (use banglanltk library)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "fac516ea-9057-4948-8915-a096780f6fdc",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Word Tokenize\n",
    "words = bn.word_tokenize(paragraph)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "455f695c-443a-41ba-9491-d983e3c035bc",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "133"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Tokenize Words length\n",
    "len(words)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9acd213c-0c03-4b05-8889-30d408b1a249",
   "metadata": {},
   "source": [
    "**Expected output 133**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "df8dbb9b-9c51-4e82-896c-1bf37b91a988",
   "metadata": {},
   "source": [
    "#### Tokenizing the Sentences and provide the length  (use banglanltk library)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "9120e511-184e-4b76-9748-40ee101363a7",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Sentence Tokenize\n",
    "sentences = bn.sent_tokenize(paragraph)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "36f807d6-ac64-4594-91ee-b8aba4b74778",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "12"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Tokenize Sentences length\n",
    "len(sentences)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d1783de0-ba32-4783-9dc3-7ef63aa31527",
   "metadata": {},
   "source": [
    "#### Apply stopwords and stemmer in the tokenized sentences.\n",
    "###### Use stopwords from \"from nltk.corpus import stopwords\" and stremmer from  \"banglanltk\" package"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "2cbc5811-a6db-44cb-a821-a8797762e58e",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['অতএব',\n",
       " 'অথচ',\n",
       " 'অথবা',\n",
       " 'অনুযায়ী',\n",
       " 'অনেক',\n",
       " 'অনেকে',\n",
       " 'অনেকেই',\n",
       " 'অন্তত',\n",
       " 'অন্য',\n",
       " 'অবধি',\n",
       " 'অবশ্য',\n",
       " 'অর্থাত',\n",
       " 'আই',\n",
       " 'আগামী',\n",
       " 'আগে',\n",
       " 'আগেই',\n",
       " 'আছে',\n",
       " 'আজ',\n",
       " 'আদ্যভাগে',\n",
       " 'আপনার',\n",
       " 'আপনি',\n",
       " 'আবার',\n",
       " 'আমরা',\n",
       " 'আমাকে',\n",
       " 'আমাদের',\n",
       " 'আমার',\n",
       " 'আমি',\n",
       " 'আর',\n",
       " 'আরও',\n",
       " 'ই',\n",
       " 'ইত্যাদি',\n",
       " 'ইহা',\n",
       " 'উচিত',\n",
       " 'উত্তর',\n",
       " 'উনি',\n",
       " 'উপর',\n",
       " 'উপরে',\n",
       " 'এ',\n",
       " 'এঁদের',\n",
       " 'এঁরা',\n",
       " 'এই',\n",
       " 'একই',\n",
       " 'একটি',\n",
       " 'একবার',\n",
       " 'একে',\n",
       " 'এক্',\n",
       " 'এখন',\n",
       " 'এখনও',\n",
       " 'এখানে',\n",
       " 'এখানেই',\n",
       " 'এটা',\n",
       " 'এটাই',\n",
       " 'এটি',\n",
       " 'এত',\n",
       " 'এতটাই',\n",
       " 'এতে',\n",
       " 'এদের',\n",
       " 'এব',\n",
       " 'এবং',\n",
       " 'এবার',\n",
       " 'এমন',\n",
       " 'এমনকী',\n",
       " 'এমনি',\n",
       " 'এর',\n",
       " 'এরা',\n",
       " 'এল',\n",
       " 'এস',\n",
       " 'এসে',\n",
       " 'ঐ',\n",
       " 'ও',\n",
       " 'ওঁদের',\n",
       " 'ওঁর',\n",
       " 'ওঁরা',\n",
       " 'ওই',\n",
       " 'ওকে',\n",
       " 'ওখানে',\n",
       " 'ওদের',\n",
       " 'ওর',\n",
       " 'ওরা',\n",
       " 'কখনও',\n",
       " 'কত',\n",
       " 'কবে',\n",
       " 'কমনে',\n",
       " 'কয়েক',\n",
       " 'কয়েকটি',\n",
       " 'করছে',\n",
       " 'করছেন',\n",
       " 'করতে',\n",
       " 'করবে',\n",
       " 'করবেন',\n",
       " 'করলে',\n",
       " 'করলেন',\n",
       " 'করা',\n",
       " 'করাই',\n",
       " 'করায়',\n",
       " 'করার',\n",
       " 'করি',\n",
       " 'করিতে',\n",
       " 'করিয়া',\n",
       " 'করিয়ে',\n",
       " 'করে',\n",
       " 'করেই',\n",
       " 'করেছিলেন',\n",
       " 'করেছে',\n",
       " 'করেছেন',\n",
       " 'করেন',\n",
       " 'কাউকে',\n",
       " 'কাছ',\n",
       " 'কাছে',\n",
       " 'কাজ',\n",
       " 'কাজে',\n",
       " 'কারও',\n",
       " 'কারণ',\n",
       " 'কি',\n",
       " 'কিংবা',\n",
       " 'কিছু',\n",
       " 'কিছুই',\n",
       " 'কিন্তু',\n",
       " 'কী',\n",
       " 'কে',\n",
       " 'কেউ',\n",
       " 'কেউই',\n",
       " 'কেখা',\n",
       " 'কেন',\n",
       " 'কোটি',\n",
       " 'কোন',\n",
       " 'কোনও',\n",
       " 'কোনো',\n",
       " 'ক্ষেত্রে',\n",
       " 'কয়েক',\n",
       " 'খুব',\n",
       " 'গিয়ে',\n",
       " 'গিয়েছে',\n",
       " 'গিয়ে',\n",
       " 'গুলি',\n",
       " 'গেছে',\n",
       " 'গেল',\n",
       " 'গেলে',\n",
       " 'গোটা',\n",
       " 'চলে',\n",
       " 'চান',\n",
       " 'চায়',\n",
       " 'চার',\n",
       " 'চালু',\n",
       " 'চেয়ে',\n",
       " 'চেষ্টা',\n",
       " 'ছাড়া',\n",
       " 'ছাড়াও',\n",
       " 'ছিল',\n",
       " 'ছিলেন',\n",
       " 'জন',\n",
       " 'জনকে',\n",
       " 'জনের',\n",
       " 'জন্য',\n",
       " 'জন্যওজে',\n",
       " 'জানতে',\n",
       " 'জানা',\n",
       " 'জানানো',\n",
       " 'জানায়',\n",
       " 'জানিয়ে',\n",
       " 'জানিয়েছে',\n",
       " 'জে',\n",
       " 'জ্নজন',\n",
       " 'টি',\n",
       " 'ঠিক',\n",
       " 'তখন',\n",
       " 'তত',\n",
       " 'তথা',\n",
       " 'তবু',\n",
       " 'তবে',\n",
       " 'তা',\n",
       " 'তাঁকে',\n",
       " 'তাঁদের',\n",
       " 'তাঁর',\n",
       " 'তাঁরা',\n",
       " 'তাঁাহারা',\n",
       " 'তাই',\n",
       " 'তাও',\n",
       " 'তাকে',\n",
       " 'তাতে',\n",
       " 'তাদের',\n",
       " 'তার',\n",
       " 'তারপর',\n",
       " 'তারা',\n",
       " 'তারৈ',\n",
       " 'তাহলে',\n",
       " 'তাহা',\n",
       " 'তাহাতে',\n",
       " 'তাহার',\n",
       " 'তিনঐ',\n",
       " 'তিনি',\n",
       " 'তিনিও',\n",
       " 'তুমি',\n",
       " 'তুলে',\n",
       " 'তেমন',\n",
       " 'তো',\n",
       " 'তোমার',\n",
       " 'থাকবে',\n",
       " 'থাকবেন',\n",
       " 'থাকা',\n",
       " 'থাকায়',\n",
       " 'থাকে',\n",
       " 'থাকেন',\n",
       " 'থেকে',\n",
       " 'থেকেই',\n",
       " 'থেকেও',\n",
       " 'দিকে',\n",
       " 'দিতে',\n",
       " 'দিন',\n",
       " 'দিয়ে',\n",
       " 'দিয়েছে',\n",
       " 'দিয়েছেন',\n",
       " 'দিলেন',\n",
       " 'দু',\n",
       " 'দুই',\n",
       " 'দুটি',\n",
       " 'দুটো',\n",
       " 'দেওয়া',\n",
       " 'দেওয়ার',\n",
       " 'দেওয়া',\n",
       " 'দেখতে',\n",
       " 'দেখা',\n",
       " 'দেখে',\n",
       " 'দেন',\n",
       " 'দেয়',\n",
       " 'দ্বারা',\n",
       " 'ধরা',\n",
       " 'ধরে',\n",
       " 'ধামার',\n",
       " 'নতুন',\n",
       " 'নয়',\n",
       " 'না',\n",
       " 'নাই',\n",
       " 'নাকি',\n",
       " 'নাগাদ',\n",
       " 'নানা',\n",
       " 'নিজে',\n",
       " 'নিজেই',\n",
       " 'নিজেদের',\n",
       " 'নিজের',\n",
       " 'নিতে',\n",
       " 'নিয়ে',\n",
       " 'নিয়ে',\n",
       " 'নেই',\n",
       " 'নেওয়া',\n",
       " 'নেওয়ার',\n",
       " 'নেওয়া',\n",
       " 'নয়',\n",
       " 'পক্ষে',\n",
       " 'পর',\n",
       " 'পরে',\n",
       " 'পরেই',\n",
       " 'পরেও',\n",
       " 'পর্যন্ত',\n",
       " 'পাওয়া',\n",
       " 'পাচ',\n",
       " 'পারি',\n",
       " 'পারে',\n",
       " 'পারেন',\n",
       " 'পি',\n",
       " 'পেয়ে',\n",
       " 'পেয়্র্',\n",
       " 'প্রতি',\n",
       " 'প্রথম',\n",
       " 'প্রভৃতি',\n",
       " 'প্রযন্ত',\n",
       " 'প্রাথমিক',\n",
       " 'প্রায়',\n",
       " 'প্রায়',\n",
       " 'ফলে',\n",
       " 'ফিরে',\n",
       " 'ফের',\n",
       " 'বক্তব্য',\n",
       " 'বদলে',\n",
       " 'বন',\n",
       " 'বরং',\n",
       " 'বলতে',\n",
       " 'বলল',\n",
       " 'বললেন',\n",
       " 'বলা',\n",
       " 'বলে',\n",
       " 'বলেছেন',\n",
       " 'বলেন',\n",
       " 'বসে',\n",
       " 'বহু',\n",
       " 'বা',\n",
       " 'বাদে',\n",
       " 'বার',\n",
       " 'বি',\n",
       " 'বিনা',\n",
       " 'বিভিন্ন',\n",
       " 'বিশেষ',\n",
       " 'বিষয়টি',\n",
       " 'বেশ',\n",
       " 'বেশি',\n",
       " 'ব্যবহার',\n",
       " 'ব্যাপারে',\n",
       " 'ভাবে',\n",
       " 'ভাবেই',\n",
       " 'মতো',\n",
       " 'মতোই',\n",
       " 'মধ্যভাগে',\n",
       " 'মধ্যে',\n",
       " 'মধ্যেই',\n",
       " 'মধ্যেও',\n",
       " 'মনে',\n",
       " 'মাত্র',\n",
       " 'মাধ্যমে',\n",
       " 'মোট',\n",
       " 'মোটেই',\n",
       " 'যখন',\n",
       " 'যত',\n",
       " 'যতটা',\n",
       " 'যথেষ্ট',\n",
       " 'যদি',\n",
       " 'যদিও',\n",
       " 'যা',\n",
       " 'যাঁর',\n",
       " 'যাঁরা',\n",
       " 'যাওয়া',\n",
       " 'যাওয়ার',\n",
       " 'যাওয়া',\n",
       " 'যাকে',\n",
       " 'যাচ্ছে',\n",
       " 'যাতে',\n",
       " 'যাদের',\n",
       " 'যান',\n",
       " 'যাবে',\n",
       " 'যায়',\n",
       " 'যার',\n",
       " 'যারা',\n",
       " 'যিনি',\n",
       " 'যে',\n",
       " 'যেখানে',\n",
       " 'যেতে',\n",
       " 'যেন',\n",
       " 'যেমন',\n",
       " 'র',\n",
       " 'রকম',\n",
       " 'রয়েছে',\n",
       " 'রাখা',\n",
       " 'রেখে',\n",
       " 'লক্ষ',\n",
       " 'শুধু',\n",
       " 'শুরু',\n",
       " 'সঙ্গে',\n",
       " 'সঙ্গেও',\n",
       " 'সব',\n",
       " 'সবার',\n",
       " 'সমস্ত',\n",
       " 'সম্প্রতি',\n",
       " 'সহ',\n",
       " 'সহিত',\n",
       " 'সাধারণ',\n",
       " 'সামনে',\n",
       " 'সি',\n",
       " 'সুতরাং',\n",
       " 'সে',\n",
       " 'সেই',\n",
       " 'সেখান',\n",
       " 'সেখানে',\n",
       " 'সেটা',\n",
       " 'সেটাই',\n",
       " 'সেটাও',\n",
       " 'সেটি',\n",
       " 'স্পষ্ট',\n",
       " 'স্বয়ং',\n",
       " 'হইতে',\n",
       " 'হইবে',\n",
       " 'হইয়া',\n",
       " 'হওয়া',\n",
       " 'হওয়ায়',\n",
       " 'হওয়ার',\n",
       " 'হচ্ছে',\n",
       " 'হত',\n",
       " 'হতে',\n",
       " 'হতেই',\n",
       " 'হন',\n",
       " 'হবে',\n",
       " 'হবেন',\n",
       " 'হয়',\n",
       " 'হয়তো',\n",
       " 'হয়নি',\n",
       " 'হয়ে',\n",
       " 'হয়েই',\n",
       " 'হয়েছিল',\n",
       " 'হয়েছে',\n",
       " 'হয়েছেন',\n",
       " 'হল',\n",
       " 'হলে',\n",
       " 'হলেই',\n",
       " 'হলেও',\n",
       " 'হলো',\n",
       " 'হাজার',\n",
       " 'হিসাবে',\n",
       " 'হৈলে',\n",
       " 'হোক',\n",
       " 'হয়']"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "stopwords = nltk.corpus.stopwords.words('bengali')\n",
    "stopwords"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "25699963-b6fd-4d30-8491-dcbfb3058ecd",
   "metadata": {},
   "outputs": [],
   "source": [
    "filtered_sentences = []\n",
    "\n",
    "for sentence in sentences:\n",
    "    \n",
    "    #break the sentences into word to apply stopwords and stemmer\n",
    "    new_words = bn.word_tokenize(sentence)\n",
    "    filtered_word = []\n",
    "\n",
    "    #applying stopwords\n",
    "    for word in new_words:\n",
    "        if word not in stopwords:\n",
    "            filtered_word.append(word)\n",
    "\n",
    "    #appyling stemmer after stopwords\n",
    "    stemmer_word=[]\n",
    "    for w in filtered_word:\n",
    "        stemmer_word.append(bn.stemmer(w))\n",
    "\n",
    "    #after stopwords and stemming joining the words to make a sentence\n",
    "    new_sentence = ' '.join(stemmer_word)\n",
    "\n",
    "    #added the new sentences into a new list\n",
    "    filtered_sentences.append(new_sentence)\n",
    "    \n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4fa115df-df30-425f-b4f0-18498e5d85f9",
   "metadata": {},
   "source": [
    "### Again tokenize the words in sentences that get after applying stopwords and stemming. And provide the length of the tokenize words."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "8ac9b8f2-ef0d-4e0a-9aee-bcca2283ddf8",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['গতকাল ডিএসইত ১ ১৯০ কে ২৬ লাখ টাকার শেয়ার লেনদে হয়',\n",
       " 'আগের ৫ কে ১৫ লাখ টাকা কম',\n",
       " 'গতকাল ডিএসইত ১ ১৯৫ কে ৪১ লাখ টাকার শেয়ার লেনদে হয়',\n",
       " 'আগের মঙ্গলবার ১ ১৮৩ কে টাকা শেয়ার লেনদে হয়',\n",
       " 'বাজার বিশ্লেষণ যায় ডিএসই প্রধা সূচক ডিএসইএক্স ১২ পয়েন্ট বেড় অবস্হা ৬ ৩১২ পয়েন্ট',\n",
       " 'সূচকগুলোর ডিএসইএস শরিয়াহ সূচক ৪ পয়েন্ট বেড় অবস্হা ১ ৩৭৫ পয়েন্ট',\n",
       " 'এছাড়া ডিএস৩০ সূচক ৬ পয়েন্ট বেড় দাঁড় ২ ২৬৫ পয়েন্ট',\n",
       " 'দেশের প্রধা শেয়ারবাজার গতকাল ৩৮১টি কোম্ মিউচুয়াল ফান্ডের শেয়ার লেনদে হয়',\n",
       " 'দর বেড়েছ ১২৯টির',\n",
       " 'কমেছ ১৯৯টির অপরিবর্তিত রয় ৫৩টির',\n",
       " 'অপর বাজার চট্টগ্রাম স্টক এক্সচেঞ্জ সিএসই সিএসই সার্ব সূচক সিএসপিআই ৭৮ point বেড়েছ',\n",
       " 'লেনদে হয় 21 core টাকার শেয়ার']"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "filtered_sentences"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "103478a5-92c2-44ad-84be-7ab3f63d53a1",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['গতকাল',\n",
       " 'ডিএসইত',\n",
       " '১',\n",
       " '১৯০',\n",
       " 'কে',\n",
       " '২৬',\n",
       " 'লাখ',\n",
       " 'টাকার',\n",
       " 'শেয়ার',\n",
       " 'লেনদে',\n",
       " 'হয়',\n",
       " 'আগের',\n",
       " '৫',\n",
       " 'কে',\n",
       " '১৫',\n",
       " 'লাখ',\n",
       " 'টাকা',\n",
       " 'কম',\n",
       " 'গতকাল',\n",
       " 'ডিএসইত',\n",
       " '১',\n",
       " '১৯৫',\n",
       " 'কে',\n",
       " '৪১',\n",
       " 'লাখ',\n",
       " 'টাকার',\n",
       " 'শেয়ার',\n",
       " 'লেনদে',\n",
       " 'হয়',\n",
       " 'আগের',\n",
       " 'মঙ্গলবার',\n",
       " '১',\n",
       " '১৮৩',\n",
       " 'কে',\n",
       " 'টাকা',\n",
       " 'শেয়ার',\n",
       " 'লেনদে',\n",
       " 'হয়',\n",
       " 'বাজার',\n",
       " 'বিশ্লেষণ',\n",
       " 'যায়',\n",
       " 'ডিএসই',\n",
       " 'প্রধা',\n",
       " 'সূচক',\n",
       " 'ডিএসইএক্স',\n",
       " '১২',\n",
       " 'পয়েন্ট',\n",
       " 'বেড়',\n",
       " 'অবস্হা',\n",
       " '৬',\n",
       " '৩১২',\n",
       " 'পয়েন্ট',\n",
       " 'সূচকগুলোর',\n",
       " 'ডিএসইএস',\n",
       " 'শরিয়াহ',\n",
       " 'সূচক',\n",
       " '৪',\n",
       " 'পয়েন্ট',\n",
       " 'বেড়',\n",
       " 'অবস্হা',\n",
       " '১',\n",
       " '৩৭৫',\n",
       " 'পয়েন্ট',\n",
       " 'এছাড়া',\n",
       " 'ডিএস৩০',\n",
       " 'সূচক',\n",
       " '৬',\n",
       " 'পয়েন্ট',\n",
       " 'বেড়',\n",
       " 'দাঁড়',\n",
       " '২',\n",
       " '২৬৫',\n",
       " 'পয়েন্ট',\n",
       " 'দেশের',\n",
       " 'প্রধা',\n",
       " 'শেয়ারবাজার',\n",
       " 'গতকাল',\n",
       " '৩৮১টি',\n",
       " 'কোম্',\n",
       " 'মিউচুয়াল',\n",
       " 'ফান্ডের',\n",
       " 'শেয়ার',\n",
       " 'লেনদে',\n",
       " 'হয়',\n",
       " 'দর',\n",
       " 'বেড়েছ',\n",
       " '১২৯টির',\n",
       " 'কমেছ',\n",
       " '১৯৯টির',\n",
       " 'অপরিবর্তিত',\n",
       " 'রয়',\n",
       " '৫৩টির',\n",
       " 'অপর',\n",
       " 'বাজার',\n",
       " 'চট্টগ্রাম',\n",
       " 'স্টক',\n",
       " 'এক্সচেঞ্জ',\n",
       " 'সিএসই',\n",
       " 'সিএসই',\n",
       " 'সার্ব',\n",
       " 'সূচক',\n",
       " 'সিএসপিআই',\n",
       " '৭৮',\n",
       " 'point',\n",
       " 'বেড়েছ',\n",
       " 'লেনদে',\n",
       " 'হয়',\n",
       " '21',\n",
       " 'core',\n",
       " 'টাকার',\n",
       " 'শেয়ার']"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Word Tokenize\n",
    "word_after_stem=[]\n",
    "for sentence in filtered_sentences:\n",
    "    w = bn.word_tokenize(sentence)\n",
    "    word_after_stem.extend(w) #extend this to get direct a flat list \n",
    "    \n",
    "word_after_stem"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "e2531b5a-9d50-415a-aaf2-58e854ca67ee",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "111"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Tokenize Words length\n",
    "len(word_after_stem)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "43f7f0b4-0d8b-46ab-888e-5217d844b9db",
   "metadata": {},
   "source": [
    "### Stemmer Vs Lemamtization\n",
    "Stemming and lemmatization are both techniques used in natural language processing (NLP) and text mining to reduce words to their base or root form."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "41f78829-772c-417b-bf38-eede5d16196f",
   "metadata": {},
   "source": [
    "# Few differences between Stemmer and Lemmatization:\n",
    "**1.** Stemmer removes last few character from word while lemmataization convert the word to it's base form  \n",
    "**2.** Stemmer is fater than lemmatization while lemmatization is often more accurate than stemmer "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cb65df3b-842c-4289-92c0-2b4e4860de6d",
   "metadata": {},
   "source": [
    "Suppose there are some application where we will use Stemming and Lemmatization text processing technique. Tell Us which text processing technique suitable for these applications. Provide answer like **(# Content Filtering -> Stemming)**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7eee28b9-76f8-489e-8361-57713b817484",
   "metadata": {},
   "source": [
    "Sentiment analysis -> **Lemmatization**  \n",
    "Chatbots application -> **Stemmer**  \n",
    "Gmail spam classification -> **Stemmer**  \n",
    "Question answer -> **Lemmatization**  "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9813b3b8-8ba8-4948-8296-d84e94a6f5f1",
   "metadata": {},
   "source": [
    "### Create Bag of words\n",
    "**1.** Step 1: Cleaning the text that not contain any numeric value, any punctuations etc.(In the give text)\n",
    "\n",
    "**2.** Step 2: Apply stopwords and stemmer again in the clean data.\n",
    "\n",
    "**3.** Step 3: Create Bag of Words (Use \"from sklearn.feature_extraction.text import CountVectorizer\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "c1f422cb-3864-4f1b-9659-d99c51d12ab9",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'গতকাল ডিএসইতে ১ হাজার ১৯০ কোটি ২৬ লাখ টাকার শেয়ার লেনদেন হয়েছে। যা আগের দিন থেকে ৫ কোটি ১৫ লাখ টাকা কম! গতকাল ডি.এসইতে ১ হাজার ১৯৫ কোটি ৪১ লাখ টাকার শেয়ার লেনদেন হয়েছিল। এর আগের দিন মঙ্গলবার ১ হাজার ১৮৩ কোটি টাকা শেয়ার লেনদেন হয়েছিল। বাজার বিশ্লেষণে দেখা যায় ডিএসই প্রধান সূচক ডিএসইএক্স ১২ পয়েন্ট বেড়ে অবস্হান করছে ৬ হাজার ৩১২ পয়েন্টে। অন্য সূচকগুলোর মধ্যে ডিএসইএস বা শরিয়াহ সূচক ৪ পয়েন্ট বেড়ে অবস্হান করছে ১ হাজার ৩৭৫ পয়েন্টে। এছাড়া ডিএস৩০ সূচক ৬ পয়েন্ট বেড়ে দাঁড়িয়েছে ২ হাজার ২৬৫ পয়েন্টে। দেশের প্রধান এই শেয়ারবাজারে গতকাল ৩৮১টি কোম্পানি ও মিউচুয়াল ফান্ডের শেয়ার লেনদেন হয়েছে। এর মধ্যে দর বেড়েছে ১২৯টির। কমেছে ১৯৯টির এবং অপরিবর্তিত রয়েছে ৫৩টির। অপর বাজার চট্টগ্রাম স্টক  এক্সচেঞ্জে সিএসই সিএসই সার্বিক সূচক সিএসপিআই ৭৮ point বেড়েছে। লেনদেন হয়েছে 21 core টাকার শেয়ার।'"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "paragraph"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fa4d82d5-bc4c-457a-bed7-4201344933f5",
   "metadata": {},
   "source": [
    "#### Cleaning the Paragraph "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "92e719f7-f620-446a-9410-cdbb1ee5a322",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'গতকাল ডিএসইতে হাজার কোটি লাখ টাকার শেয়ার লেনদেন হয়েছে যা আগের দিন থেকে কোটি লাখ টাকা কম গতকাল ডিএসইতে হাজার কোটি লাখ টাকার শেয়ার লেনদেন হয়েছিল এর আগের দিন মঙ্গলবার হাজার কোটি টাকা শেয়ার লেনদেন হয়েছিল বাজার বিশ্লেষণে দেখা যায় ডিএসই প্রধান সূচক ডিএসইএক্স পয়েন্ট বেড়ে অবস্হান করছে হাজার পয়েন্টে অন্য সূচকগুলোর মধ্যে ডিএসইএস বা শরিয়াহ সূচক পয়েন্ট বেড়ে অবস্হান করছে হাজার পয়েন্টে এছাড়া ডিএস সূচক পয়েন্ট বেড়ে দাঁড়িয়েছে হাজার পয়েন্টে দেশের প্রধান এই শেয়ারবাজারে গতকাল টি কোম্পানি ও মিউচুয়াল ফান্ডের শেয়ার লেনদেন হয়েছে এর মধ্যে দর বেড়েছে টির কমেছে টির এবং অপরিবর্তিত রয়েছে টির অপর বাজার চট্টগ্রাম স্টক এক্সচেঞ্জে সিএসই সিএসই সার্বিক সূচক সিএসপিআই বেড়েছে লেনদেন হয়েছে টাকার শেয়ার'"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "clean_punctuations = bn.clean_text(paragraph)\n",
    "\n",
    "#clean number both English and Bengali and English words\n",
    "clean_num_other = re.sub('[a-zA-Z0-9০-৯]','',clean_punctuations)\n",
    "\n",
    "#remove extra spaces\n",
    "clean_data = re.sub(' +', ' ', clean_num_other)\n",
    "clean_data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7df66237-930d-456c-b110-cd4d44ced488",
   "metadata": {},
   "source": [
    "### Apply stopwards and Stemmer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "613f8807-c48b-49c8-81ce-bfce43a43ba7",
   "metadata": {},
   "outputs": [],
   "source": [
    "\n",
    "# Tokenize into words\n",
    "words = bn.word_tokenize(clean_data)\n",
    "\n",
    "# Apply stopwords\n",
    "filtered_words = [word for word in words if word not in stopwords]\n",
    "\n",
    "# Apply stemming\n",
    "stemmed_words = [bn.stemmer(word) for word in filtered_words]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eef0c141-2836-4304-8f50-19c8c50b6297",
   "metadata": {},
   "source": [
    "### Applying Cunter Vectorizer to create Bag of words"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "673b5576-ce3a-4e74-a7d5-daa2478fa3fa",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Feature names:\n",
      "['অপর' 'অপরিবর্তিত' 'অবস্হা' 'আগের' 'এক্সচেঞ্জ' 'এছাড়া' 'কম' 'কমেছ' 'কে'\n",
      " 'কোম্' 'গতকাল' 'চট্টগ্রাম' 'টাকা' 'টাকার' 'ডিএস' 'ডিএসই' 'ডিএসইএক্স'\n",
      " 'ডিএসইএস' 'ডিএসইত' 'দর' 'দাঁড়' 'দেশের' 'প্রধা' 'পয়েন্ট' 'ফান্ডের'\n",
      " 'বাজার' 'বিশ্লেষণ' 'বেড়' 'বেড়েছ' 'মঙ্গলবার' 'মিউচুয়াল' 'যায়' 'রয়' 'লাখ'\n",
      " 'লেনদে' 'শরিয়াহ' 'শেয়ার' 'শেয়ারবাজার' 'সার্ব' 'সিএসই' 'সিএসপিআই' 'সূচক'\n",
      " 'সূচকগুলোর' 'স্টক' 'হয়']\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\User\\AppData\\Local\\Programs\\Python\\Python311\\Lib\\site-packages\\sklearn\\feature_extraction\\text.py:525: UserWarning: The parameter 'token_pattern' will not be used since 'tokenizer' is not None'\n",
      "  warnings.warn(\n"
     ]
    }
   ],
   "source": [
    "\n",
    "vectorizer = CountVectorizer(tokenizer=lambda x: x.split())\n",
    "#fit the data\n",
    "X = vectorizer.fit_transform(stemmed_words)\n",
    "\n",
    "# Get the feature names\n",
    "feature_names = vectorizer.get_feature_names_out()\n",
    "\n",
    "print(\"Feature names:\")\n",
    "print(feature_names)\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "widgets": {
   "application/vnd.jupyter.widget-state+json": {
    "state": {},
    "version_major": 2,
    "version_minor": 0
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}