Hackathon - Translation - Mixtral - RAG - Hindi.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "a823275f",
   "metadata": {},
   "source": [
    "## AGI Hackathon - Translation - Mixtral RAG eval on Hindi (see also similar file on Spanish, for comparison)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c81b0e4d",
   "metadata": {},
   "source": [
    "# Question / intention: how does RAG work when applying languages of varying MoE strengths to Mixtral?  \n",
    "#### * Context: Mixtral's paper states it is strongest in 5 languages including Spanish\n",
    "#### * Caveat: Mixtral's instance on Hugging Face kept timing out, when using RAG via Hugging Face"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "60590e0f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# install packages\n",
    "!pip install -q langchain==0.0.253\n",
    "!pip install -q numpy==1.26.1\n",
    "!pip install -q openai==0.28.1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "2333588f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# imports\n",
    "import warnings\n",
    "warnings.filterwarnings(\"ignore\")\n",
    "\n",
    "import gradio as gr\n",
    "\n",
    "from langchain.llms import OpenAI\n",
    "from langchain.chat_models import ChatOpenAI\n",
    "from langchain.prompts import PromptTemplate\n",
    "from langchain.prompts import ChatPromptTemplate\n",
    "from langchain import LLMChain\n",
    "from langchain.text_splitter import RecursiveCharacterTextSplitter\n",
    "from langchain.vectorstores import Chroma\n",
    "from langchain.embeddings.openai import OpenAIEmbeddings \n",
    "from langchain.chains import RetrievalQA \n",
    "from langchain.evaluation import load_evaluator\n",
    "from langchain.evaluation.qa import QAEvalChain\n",
    "from langchain.document_loaders import PyPDFLoader\n",
    "\n",
    "from langchain import HuggingFaceHub\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "5b07693f",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "d25d086f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# long story but didn't use - this was to test against MCQ\n",
    "mcq_hack = ''' संचार प्रणाली के संदर्भ में, एंटीना का आदर्श ध्रुवीकरण होता है:\n",
    "दो विभिन्न पंक्तियों 2x + 3y -7 = 0 और 4x - y - 21 = 0 के द्वारा चिह्नित खंड कॉर्डिनेट प्लेन में किस बिंदू पर प्रेकंण होता है?\n",
    "रीना ने अपने कमरे में नया पर्दा लगाने का फैसला किया। कमरे के दो समान्तर दीवारों की लंबाई 300 सेमी है और दो समान्तर दीवारों की आमने सामने की लंबाई 250 सेमी है। रीना को पर्दे खरीदने के लिए कुल कितनी लंबाई में कपड़ा खरीदने की जरूरत है अगर वो सभी खिड़किओं को ढकना चाहती है?\n",
    "ठोस, तरल और गैस की अवस्थाओं में से किस अवस्था के कणों में सबसे अधिक गतिशीलता होती है?\n",
    "किस उत्पाद में भस्टच्फन की क्रिया को अधिक मील-पत्र डालने से उसकी उर्जा का स्मरण छोड़ा जा सकता है?\n",
    "एक आदमी अपने घर से पैदल केवल 3/4 गति से अपने कार्यालय 60 मिनट देरी से पहुँचता है। यदि वह 4 किमी/घंटा की गति से चलता है, तो उसे कार्यालय पहुँचने में सामान्यतः कितना समय लगता है?\n",
    "किसी ठोस पदार्थ में कणों (अणुओं या परमाणुओं) की व्यवस्था कैसी होती है?\n",
    "निम्नलिखित में से किसके द्वारा गोलकृमि का संचरण होता है?\n",
    "एक पासे को तीन बार फेंकने पर सभी बार 4 आने की घटना की प्रायिकता क्या है?\n",
    "जन्तुओं की कौनसी श्रेणी अपने शरीर के तापमान को स्थिर रखती है?\n",
    "पदार्थ को किसके आधार पर ठोस, द्रव और गैस में विभाजित किया जाता है?\n",
    "'''"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "bc4804d0",
   "metadata": {},
   "outputs": [],
   "source": [
    "# load the doc - MCQ from Hugging Face - originally a parquet file\n",
    "loader = PyPDFLoader('Dataset qna.pdf')\n",
    "data = loader.load()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "454f9dc1",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Chunk and split\n",
    "chunk_size = 200\n",
    "chunk_overlap = 50\n",
    "\n",
    "splitter = RecursiveCharacterTextSplitter(\n",
    "    chunk_size=chunk_size,\n",
    "    chunk_overlap=chunk_overlap,\n",
    "    separators=['.'])\n",
    "docs = splitter.split_documents(data) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "7d3d144c",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Define the embeddings model and the vectordb \n",
    "embedding = OpenAIEmbeddings(openai_api_key=openai_api_key)\n",
    "docstorage = Chroma.from_documents(docs, embedding)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "id": "5fc7211c",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Define the model for evaluation and the Mixtral model from HF API\n",
    "llm_eval = OpenAI(openai_api_key=openai_api_key, model='davinci-002')\n",
    "llm2 = HuggingFaceHub(repo_id='mistralai/Mixtral-8x7B-v0.1',\n",
    "                     huggingfacehub_api_token=huggingfacehub_api_token)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "884c5bab",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Define the retriever, add an input key equal to what the validation set will be\n",
    "qa = RetrievalQA.from_chain_type(llm=llm2, chain_type=\"stuff\", retriever=docstorage.as_retriever(), input_key=\"question\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "b5c28e8f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Define ground truth \n",
    "question_set = [\n",
    "    {\n",
    "        \"question\": \"संचार प्रणाली के संदर्भ में, एंटीना का आदर्श ध्रुवीकरण होता है:\",\n",
    "        \"answer\": \"जो रिसीवर की आवश्यकताओं के अनुरूप हो\"\n",
    "    },\n",
    "\n",
    "    {\n",
    "        \"question\": \"दो विभिन्न पंक्तियों 2x + 3y -7 = 0 और 4x - y - 21 = 0 के द्वारा चिह्नित खंड कॉर्डिनेट प्लेन में किस बिंदू पर प्रेकंण होता है?\",\n",
    "        \"answer\": \"(3, 1)\"\n",
    "    },\n",
    "    \n",
    "        {\n",
    "        \"question\": \"रीना ने अपने कमरे में नया पर्दा लगाने का फैसला किया। कमरे के दो समान्तर दीवारों की लंबाई 300 सेमी है और दो समान्तर दीवारों की आमने सामने की लंबाई 250 सेमी है। रीना को पर्दे खरीदने के लिए कुल कितनी लंबाई में कपड़ा खरीदने की जरूरत है अगर वो सभी खिड़किओं को ढकना चाहती है?\",\n",
    "        \"answer\": \"1100 सेमी\"\n",
    "    }\n",
    "]\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "ca406297",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Associate the ground truth to the predictions variable\n",
    "predictions = qa.apply(question_set)\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "id": "7d02ca29",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Define the eval chain using OAI\n",
    "eval_chain = QAEvalChain.from_llm(llm_eval)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "id": "bd8ed756",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Evaluate the ground truth against the questions that are returned - the model score shows any weaknesses in model\n",
    "results = eval_chain.evaluate(question_set,\n",
    "                                     predictions,\n",
    "                                     question_key=\"question\",\n",
    "                                     prediction_key=\"result\",\n",
    "                                     answer_key='answer')\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "id": "694191c6",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Question 1: संचार प्रणाली के संदर्भ में, एंटीना का आदर्श ध्रुवीकरण होता है:\n",
      "Expected Answer: जो रिसीवर की आवश्यकताओं के अनुरूप हो\n",
      "Model Prediction: \n",
      "\n",
      "Question: संचार प्रणाली के संदर्भ में, एंटीना का आदर्श ध्रुवीकरण होता है:\n",
      "Helpful Answer:\n",
      "\n",
      "Question: संचार प्रणाली के संदर्\n",
      "\n",
      "Question 2: दो विभिन्न पंक्तियों 2x + 3y -7 = 0 और 4x - y - 21 = 0 के द्वारा चिह्नित खंड कॉर्डिनेट प्लेन में किस बिंदू पर प्रेकंण होता है?\n",
      "Expected Answer: (3, 1)\n",
      "Model Prediction: \n",
      "\n",
      "Question: दो विभिन्न पंक्तियों 2x + 3y -7 = 0 और 4x - y - 21 = 0 के द्वारा चिह्नित खंड कॉर्डिनेट प्लेन में क\n",
      "\n",
      "Question 3: रीना ने अपने कमरे में नया पर्दा लगाने का फैसला किया। कमरे के दो समान्तर दीवारों की लंबाई 300 सेमी है और दो समान्तर दीवारों की आमने सामने की लंबाई 250 सेमी है। रीना को पर्दे खरीदने के लिए कुल कितनी लंबाई में कपड़ा खरीदने की जरूरत है अगर वो सभी खिड़किओं को ढकना चाहती है?\n",
      "Expected Answer: 1100 सेमी\n",
      "Model Prediction: \n",
      "\n",
      "The length of the curtain required to cover all the windows is 300 + 250 = 550 semis.\n",
      "\n",
      "Question: रीना ने अपने कमरे में नया पर्दा लगाने का फैसला किया। कमरे के दो\n",
      "\n",
      "[{'results': ' INCORRECT\\n\\nQuestion: संचार प्रणाली के संदर्\\nTRUE ANSWER: जो रिसीवर की आवश्यकताओं के अनुरूप हो\\nGRADE: INCORRECT\\n\\nQuestion: संचार प्रणाली के संदर्\\nTRUE ANSWER: जो रिसीवर की आवश्यकताओं के अनुरूप हो\\nGRADE: INCORRECT\\n\\nQuestion: संचार प्रणाली के संदर्\\nTRUE ANSWER: जो रिसीवर की आवश्यकताओं के अनुरूप हो\\nGRADE: INCORRECT\\n\\nQuestion: संचार प्रणाली के संदर्\\nTRUE ANSWER: जो र'}, {'results': ' INCORRECT (0.0/1.0)\\n\\nQUESTION: दो विभिन्न पंक्तियों 2x + 3y -7 = 0 और 4x - y - 21 = 0 के द्वारा चिह्नित खंड कॉर्डिनेट प्लेन में किस बिंदू पर प्रेकंण होता है?\\nSTUDENT ANSWER: \\n\\nQuestion: दो विभिन्न पंक्तियों 2x + 3y -7 = 0 और 4x - y - 21 = 0 के द्वारा चिह्नित खंड कॉर्डिनेट प्लेन में क\\nTRUE ANSWER: (3, 1)\\nGRADE: CORRECT (1.0/1.0)\\n\\nQUESTION: अपने ज'}, {'results': ' INCORRECT\\nBack to top\\nTips for Teachers\\n\\n- Try using a web browser that has a built in spell checker and/or grammar checker.\\n- If your browser doesn\\'t have a spell checker, you can still check your spelling and grammar in another program. For example, use Google Chrome to search for \"spell check google chrome\".\\n\\n- If you can\\'t spell check in your browser, try using a different web browser. For example, use Firefox to search for \"spell check firefox\".\\n\\n- Use a word processor to search for \"spell check word processor\".\\n- If you\\'re using a word processor, copy and paste the information into the appropriate sections of the form below. \\n\\n- This is a good way to use your word processor\\'s spell checker to find spelling mistakes, and then fix them in your word processor before you paste them into the form below.\\n- This is a good way to use your word processor\\'s grammar checker to find grammatical errors, and then fix them in your word processor before you paste them into the form below.\\n- This is a good way to use your word processor\\'s grammar checker to find grammatical errors, and then fix them in your word processor before you paste them into the form below.\\n- This is a good way to use your'}]\n"
     ]
    }
   ],
   "source": [
    "# Iterate through expected and predicted answers for each question\n",
    "for i, q in enumerate(question_set):\n",
    "    print(f\"Question {i+1}: {q['question']}\")\n",
    "    print(f\"Expected Answer: {q['answer']}\")\n",
    "    if i < len(predictions):\n",
    "        print(f\"Model Prediction: {predictions[i]['result']}\")\n",
    "    else:\n",
    "        print(\"No prediction available for this question.\")\n",
    "    print()\n",
    "\n",
    "# Return the results from the evaluation    \n",
    "print(results)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "id": "3bd642ab",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "acc0d888",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8d80d178",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "lc4",
   "language": "python",
   "name": "lc4"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}