genq-with-arabic-vs-english.ipynb

{"metadata":{"kernelspec":{"language":"python","display_name":"Python 3","name":"python3"},"language_info":{"name":"python","version":"3.10.13","mimetype":"text/x-python","codemirror_mode":{"name":"ipython","version":3},"pygments_lexer":"ipython3","nbconvert_exporter":"python","file_extension":".py"},"kaggle":{"accelerator":"none","dataSources":[],"dockerImageVersionId":30746,"isInternetEnabled":true,"language":"python","sourceType":"notebook","isGpuEnabled":false}},"nbformat_minor":4,"nbformat":4,"cells":[{"cell_type":"code","source":"from datasets import load_dataset\n\nds = load_dataset(\"csebuetnlp/xlsum\", \"arabic\")","metadata":{"execution":{"iopub.status.busy":"2024-07-29T06:30:54.893635Z","iopub.execute_input":"2024-07-29T06:30:54.894064Z","iopub.status.idle":"2024-07-29T06:30:56.194561Z","shell.execute_reply.started":"2024-07-29T06:30:54.894032Z","shell.execute_reply":"2024-07-29T06:30:56.193460Z"},"trusted":true},"execution_count":9,"outputs":[]},{"cell_type":"code","source":"ds.keys()","metadata":{"execution":{"iopub.status.busy":"2024-07-29T06:30:58.654463Z","iopub.execute_input":"2024-07-29T06:30:58.654951Z","iopub.status.idle":"2024-07-29T06:30:58.665755Z","shell.execute_reply.started":"2024-07-29T06:30:58.654916Z","shell.execute_reply":"2024-07-29T06:30:58.663813Z"},"trusted":true},"execution_count":10,"outputs":[{"execution_count":10,"output_type":"execute_result","data":{"text/plain":"dict_keys(['train', 'test', 'validation'])"},"metadata":{}}]},{"cell_type":"code","source":"ds[\"train\"][0]","metadata":{"execution":{"iopub.status.busy":"2024-07-29T06:31:02.454196Z","iopub.execute_input":"2024-07-29T06:31:02.454731Z","iopub.status.idle":"2024-07-29T06:31:02.465544Z","shell.execute_reply.started":"2024-07-29T06:31:02.454689Z","shell.execute_reply":"2024-07-29T06:31:02.463783Z"},"trusted":true},"execution_count":11,"outputs":[{"execution_count":11,"output_type":"execute_result","data":{"text/plain":"{'id': '140323_russian_troops_crimea_naval_base',\n 'url': 'https://www.bbc.com/arabic/worldnews/2014/03/140323_russian_troops_crimea_naval_base',\n 'title': 'القوات الأوكرانية تبدأ الانسحاب من القرم',\n 'summary': 'بدأت القوات الأوكرانية الانسحاب من شبه جزيرة القرم.',\n 'text': 'وكان الرئيس الأوكراني المؤقت، الكسندر تورتشينوف، قد أمر بسحب جميع القوات الأوكرانية من القرم. وسيطرت قوات روسية صباح الاثنين على قاعدة بحرية أوكرانية في فيودوسيا، في ثالث هجوم من نوعه خلال 48 ساعة، وذلك بحسب تصريحات مسؤولين أوكرانيين لبي بي سي . وقال المتحدث باسم وزارة الدفاع الأوكرانية فلاديسلاف سيليزنيوف إن القوات الروسية هاجمت القاعدة وألقت القبض على الجنود الأوكرانيين في قاعدة فيودوسيا وقيدت أيادي ضباطهم. ومن المتوقع أن تسيطر الأزمة الأوكرانية على قمة مجموعة الدول الصناعية السبع في لاهاي. مواضيع قد تهمك نهاية وأكد الرئيس الأمريكي باراك أوباما خلال لقاء مع نظيره الصيني شى جين بينغ على أن \"واشنطن وبكين يمكنهما، بالعمل سويا، تعزيز القانون الدولي واحترام سيادة الدول\". وتسيطر قوات روسية حاليا على معظم القواعد العسكرية الأوكرانية في القرم التي أعلنت موسكو ضمها للاتحاد الروسي بعد استفتاء أجرته السلطات المحلية هناك. قلق بالغ وقال مارك لوين، مراسل بي بي سي في القرم، إن القوات الروسية تسيطر بشكل كامل على القاعدة، ونقلت الجنود الأوكرانيين بعيدا إلى مكان مجهول. وتعد قاعدة فيودوسيا واحدة من آخر القواعد العسكرية التي بقيت تحت سيطرة كييف، لكن قوات روسية ظلت تحاصرها لبعض الوقت، حسبما أفاد مراسلنا. واقتحمت القوات الروسية قاعدتين أخريين وسيطرت عليهما يوم الجمعة. وكان مسؤولون عسكريون روس أعلنوا في وقت سابق أن العلم الروسي أصبح يرفرف على 189 وحدة ومنشأة عسكرية أوكرانية في القرم. وقال ديفيد ستيرن مراسل بي بي سي في كييف إن الأوكرانيين يتابعون هذه التطورات بقلق بالغ. وأشار إلى أن السؤال الذي يدور الآن هو ماذا سيكون رد فعل أوكرانيا والغرب وما هي الخطوة الروسية المقبلة. وحذر قائد الناتو في أوروبا يوم الأحد من أن القوات الروسية المنتشرة على الحدود الشرقية لأوكرانيا قادرة على شن عملية تمتد حتى مولدوفا. قمة الدول الصناعية الكبرى أوباما: العقوبات الغربية على موسكو ستؤثر على الاقتصاد الروسي. ويلقي ضم روسيا لمنطقة القرم بظلاله على قمة مجموعة السبع، التي كان مزمعا عقدها منذ فترة طويلة، بشأن تهديدات الأمن النووي. ومن المتوقع أن يبحث زعماء المجموعة موقفا موحدا حيال الأزمة. وأكد الرئيس الأمريكي على أن أوروبا والولايات المتحدة متفقون على دعم الحكومة الأوكرانية وشعبها، مشيرا إلى أن العقوبات التي فرضت على موسكو ستؤثر على الاقتصاد الروسي. ومن المقرر أن يلتقي وزير الخارجية الأمريكي، جون كيري، مع نظيره الروسي، سيرغي لافروف، على هامش قمة مجموعة السبع. انقطاع الكهرباء من جهة أخرى، شكا سكان محليون في بعض مناطق القرم من انقطاع الكهرباء في وقت متأخر من الأحد. ولف الظلام العديد من المدن من بينها بعض أحياء العاصمة سيمفربول. وقالت شركة توريد الكهرباء في القرم \"كريمنيرغو\" في بيان بث على موقعها الإلكتروني إن عطلا فنيا أصاب أحد الخطوط التي تديرها شركة الكهرباء الوطنية الأوكرانية \"اوكرينيرغو\". ولم يتسن الحصول على تعليق من اوكرينيرغو، ولم يصدر أيضا تأكيد مستقل حول سبب انقطاع الكهرباء. ضم القرم وضمت روسيا القرم إليها عقب استفتاء أجري في المنطقة في 16 مارس/آذار. وجاءت الخطوة الروسية بعد أن أطاحت احتجاجات بالرئيس الأوكراني السابق الموالي لروسيا فيكتور يانوكوفيتش. وأكدت روسيا أنها تحركت لحماية مواطني القرم المتحدرين من أصول روسية ضد من وصفتهم \"بالفاشيين\" الذين انتقلوا إليها من البلد الأم أوكرانيا. وردت الولايات المتحدة والاتحاد الأوروبي بفرض سلسلة من العقوبات ضد أفراد من بينهم مسؤولون بارزون اتهمتهم واشنطن وبروكسل بلعب دور في ضم القرم. موالون لروسيا يتظاهرون في مدينة مدينة دونيتسك، شرقي أوكرانيا. تسيطر قوات روسية حاليا على معظم القواعد العسكرية الأوكرانية في القرم.'}"},"metadata":{}}]},{"cell_type":"code","source":"from transformers import T5Tokenizer, T5ForConditionalGeneration\nimport torch\n\ntokenizer = T5Tokenizer.from_pretrained(\"BeIR/query-gen-msmarco-t5-large-v1\")\nmodel = T5ForConditionalGeneration.from_pretrained(\"BeIR/query-gen-msmarco-t5-large-v1\")\nmodel.eval()\n\npara = ds[\"train\"][0][\"text\"]\n\ninput_ids = tokenizer.encode(para, return_tensors=\"pt\")\nwith torch.no_grad():\n    outputs = model.generate(\n        input_ids=input_ids,\n        max_length=64,\n        do_sample=True,\n        top_p=0.95,\n        num_return_sequences=3,\n    )\n\nprint(\"Paragraph:\")\nprint(para)\n\nprint(\"\\nGenerated Queries:\")\nfor i in range(len(outputs)):\n    query = tokenizer.decode(outputs[i], skip_special_tokens=True)\n    print(f\"{i + 1}: {query}\")","metadata":{"execution":{"iopub.status.busy":"2024-07-29T06:34:44.574606Z","iopub.execute_input":"2024-07-29T06:34:44.575178Z","iopub.status.idle":"2024-07-29T06:35:32.343664Z","shell.execute_reply.started":"2024-07-29T06:34:44.575135Z","shell.execute_reply":"2024-07-29T06:35:32.342425Z"},"trusted":true},"execution_count":13,"outputs":[{"name":"stderr","text":"Token indices sequence length is longer than the specified maximum sequence length for this model (1081 > 512). Running this sequence through the model will result in indexing errors\n","output_type":"stream"},{"name":"stdout","text":"Paragraph:\nوكان الرئيس الأوكراني المؤقت، الكسندر تورتشينوف، قد أمر بسحب جميع القوات الأوكرانية من القرم. وسيطرت قوات روسية صباح الاثنين على قاعدة بحرية أوكرانية في فيودوسيا، في ثالث هجوم من نوعه خلال 48 ساعة، وذلك بحسب تصريحات مسؤولين أوكرانيين لبي بي سي . وقال المتحدث باسم وزارة الدفاع الأوكرانية فلاديسلاف سيليزنيوف إن القوات الروسية هاجمت القاعدة وألقت القبض على الجنود الأوكرانيين في قاعدة فيودوسيا وقيدت أيادي ضباطهم. ومن المتوقع أن تسيطر الأزمة الأوكرانية على قمة مجموعة الدول الصناعية السبع في لاهاي. مواضيع قد تهمك نهاية وأكد الرئيس الأمريكي باراك أوباما خلال لقاء مع نظيره الصيني شى جين بينغ على أن \"واشنطن وبكين يمكنهما، بالعمل سويا، تعزيز القانون الدولي واحترام سيادة الدول\". وتسيطر قوات روسية حاليا على معظم القواعد العسكرية الأوكرانية في القرم التي أعلنت موسكو ضمها للاتحاد الروسي بعد استفتاء أجرته السلطات المحلية هناك. قلق بالغ وقال مارك لوين، مراسل بي بي سي في القرم، إن القوات الروسية تسيطر بشكل كامل على القاعدة، ونقلت الجنود الأوكرانيين بعيدا إلى مكان مجهول. وتعد قاعدة فيودوسيا واحدة من آخر القواعد العسكرية التي بقيت تحت سيطرة كييف، لكن قوات روسية ظلت تحاصرها لبعض الوقت، حسبما أفاد مراسلنا. واقتحمت القوات الروسية قاعدتين أخريين وسيطرت عليهما يوم الجمعة. وكان مسؤولون عسكريون روس أعلنوا في وقت سابق أن العلم الروسي أصبح يرفرف على 189 وحدة ومنشأة عسكرية أوكرانية في القرم. وقال ديفيد ستيرن مراسل بي بي سي في كييف إن الأوكرانيين يتابعون هذه التطورات بقلق بالغ. وأشار إلى أن السؤال الذي يدور الآن هو ماذا سيكون رد فعل أوكرانيا والغرب وما هي الخطوة الروسية المقبلة. وحذر قائد الناتو في أوروبا يوم الأحد من أن القوات الروسية المنتشرة على الحدود الشرقية لأوكرانيا قادرة على شن عملية تمتد حتى مولدوفا. قمة الدول الصناعية الكبرى أوباما: العقوبات الغربية على موسكو ستؤثر على الاقتصاد الروسي. ويلقي ضم روسيا لمنطقة القرم بظلاله على قمة مجموعة السبع، التي كان مزمعا عقدها منذ فترة طويلة، بشأن تهديدات الأمن النووي. ومن المتوقع أن يبحث زعماء المجموعة موقفا موحدا حيال الأزمة. وأكد الرئيس الأمريكي على أن أوروبا والولايات المتحدة متفقون على دعم الحكومة الأوكرانية وشعبها، مشيرا إلى أن العقوبات التي فرضت على موسكو ستؤثر على الاقتصاد الروسي. ومن المقرر أن يلتقي وزير الخارجية الأمريكي، جون كيري، مع نظيره الروسي، سيرغي لافروف، على هامش قمة مجموعة السبع. انقطاع الكهرباء من جهة أخرى، شكا سكان محليون في بعض مناطق القرم من انقطاع الكهرباء في وقت متأخر من الأحد. ولف الظلام العديد من المدن من بينها بعض أحياء العاصمة سيمفربول. وقالت شركة توريد الكهرباء في القرم \"كريمنيرغو\" في بيان بث على موقعها الإلكتروني إن عطلا فنيا أصاب أحد الخطوط التي تديرها شركة الكهرباء الوطنية الأوكرانية \"اوكرينيرغو\". ولم يتسن الحصول على تعليق من اوكرينيرغو، ولم يصدر أيضا تأكيد مستقل حول سبب انقطاع الكهرباء. ضم القرم وضمت روسيا القرم إليها عقب استفتاء أجري في المنطقة في 16 مارس/آذار. وجاءت الخطوة الروسية بعد أن أطاحت احتجاجات بالرئيس الأوكراني السابق الموالي لروسيا فيكتور يانوكوفيتش. وأكدت روسيا أنها تحركت لحماية مواطني القرم المتحدرين من أصول روسية ضد من وصفتهم \"بالفاشيين\" الذين انتقلوا إليها من البلد الأم أوكرانيا. وردت الولايات المتحدة والاتحاد الأوروبي بفرض سلسلة من العقوبات ضد أفراد من بينهم مسؤولون بارزون اتهمتهم واشنطن وبروكسل بلعب دور في ضم القرم. موالون لروسيا يتظاهرون في مدينة مدينة دونيتسك، شرقي أوكرانيا. تسيطر قوات روسية حاليا على معظم القواعد العسكرية الأوكرانية في القرم.\n\nGenerated Queries:\n1: what is the meaning of\n2: what is the u.s. senate s.o. b. a b\n3: \n","output_type":"stream"}]},{"cell_type":"code","source":"para = ds[\"train\"][1][\"text\"]\n\ninput_ids = tokenizer.encode(para, return_tensors=\"pt\")\nwith torch.no_grad():\n    outputs = model.generate(\n        input_ids=input_ids,\n        max_length=64,\n        do_sample=True,\n        top_p=0.95,\n        num_return_sequences=3,\n    )\n\nprint(\"Paragraph:\")\nprint(para)\n\nprint(\"\\nGenerated Queries:\")\nfor i in range(len(outputs)):\n    query = tokenizer.decode(outputs[i], skip_special_tokens=True)\n    print(f\"{i + 1}: {query}\")","metadata":{"execution":{"iopub.status.busy":"2024-07-29T06:37:10.720211Z","iopub.execute_input":"2024-07-29T06:37:10.720781Z","iopub.status.idle":"2024-07-29T06:37:28.680360Z","shell.execute_reply.started":"2024-07-29T06:37:10.720733Z","shell.execute_reply":"2024-07-29T06:37:28.679070Z"},"trusted":true},"execution_count":14,"outputs":[{"name":"stdout","text":"Paragraph:\nبحلول عام 2050 ستحتاج مصر إلى 21 مليار متر مكعب فوق حصتها الحالية بحسب خبراء وأثار هذا الإعلان ردود فعل غاضبة في مصر وصل بعضها إلى التساؤل عن إمكانية تنفيذ عملية عسكرية ضد إثيوبيا لمنع بناء السد لكن محمد نصر الدين علام، وزير الموارد المائية والرى الأسبق استبعد هذا الخيار مؤكدا أن النزاع حول ملف \"مياه النيل\" لايمكن حله سوى بالطريق السلمي والمفاوضات. والنيل الأزرق هو أحد فرعي نهر النيل وهو الذي يمد مصر بنحو 60 في المئة من حصتها السنوية من مياه النيل التي تبلغ 55 مليار مليمتر مكعب سنويا. \"استباق للأحداث\" واعتبر خبير المياه نادر نورالدين التأثير على حصة مصر في المياة بمثابة \"اعلان حرب\" منتقدا ماسماه إصرار أديس أبابا على تنفيذ المشروع بالرغم من عدم انتهاء عمل لجنة تضم خبراء من مصر والسودان وإثيوبيا إلى جانب استشاريين دوليين لبحث آثار سد النهضة الإثيوبي على الدول الثلاث. ودشنت اللجنة الثلاثية عملها رسميا في 8 مايو/آيار من العام الماضي حيث تفقد الخبراء موقع السد بولاية بني شنقول وعقدت اجتماعات بالقاهرة وأديس أبابا والخرطوم لمتابعة تطورات الإنشاءات بالموقع ودراسة علاقتها بالدراسات المقدمة. مواضيع قد تهمك نهاية وتقول إثيوبيا إن هناك تنسيق على مستوى رفيع بين الدول الثلاث حول ملف مياه نهر النيل استنادًا إلى التزام كل طرف بمبدأ عدم الإضرار بمصالح الطرف الآخر. وصرح سفير إثيوبيا في مصر محمود درير لبي بي سي أن الحديث عن أضرار ربما تلحق بدول المصب \"استباق للأحداث\"، وأضاف أن قرار تغيير مجرى النهر حدده خبراء إثيوبيون مؤكدا حرص بلاده على عدم الاضرار بدول الحوض وستكون للسد فائدة إقليمية. \"تمويه ثم أمر واقع\" كانت الجولة الأخيرة من اجتماعات لجنة الخبراء الثلاثية بدأت في العاصمة الإثيوبية أديس أبابا الثلاثاء في الوقت الذي أكد عمر عامر المتحدث باسم الرئاسة المصرية أن مؤسسة الرئاسة تنتظر انتهاء اللجنة من إعداد تقريرها للنظر فى الخطوة القادمة التى سيتم إتخاذها. لكن هاني رسلان رئيس وحدة السودان وحوض النيل في مركز الأهرام للدراسات الاستراتيجية يرى أن إثيوبيا تستخدم أسلوب \"التمويه والخداع الاستراتيجي\" في إدارة ملف \"حوض النيل\". وأضاف لبي بي سي \"كان من المفترض أن تتم عملية تحويل النيل الأزرق في سبتمبر/أيلول المقبل في الوقت التي شاركت إثيوبيا في لجنة خبراء مشتركة للمراوغة وكسب الوقت ثم استبقت قرار اللجنة غير الملزم وبدأت في فرض مشروعها كأمر واقع جديد\". من جانبه، قال مدير مشروع سد النهضة في تصريحات للتليفزيون الرسمي الاثيوبي، \"تمكنا من إنجاز جميع الاستعدادات لتحويل مجرى نهر النيل التي كانت مقررة في سبتمبر المقبل قبل موعدها\". وتحدث أيمن سلامة أستاذ القانون الدولي لبي بي سي عن الناحية القانونية للقضية قائلا \"لايجوز لإثيوبيا أن تقوم بتحويل رافد في نهر دولي تتشاطر فيه 9 دول أخرى فالمسألة ليست مصر والسودان لأن الأنهار الدولية تحكمها قوانين وأعراف وأي مساس بحصص المياه يتطلب إخطارا مسبقا وضمانات بعدم الإضرار\". ويقول خبراء إنه بحلول عام 2050 ستحتاج مصر إلى 21 مليار متر مكعب فوق حصتها الحالية لسد احتياجات سكانها الذي يتوقع أن يصل إلى 150 مليون نسمة من المياه.\n\nGenerated Queries:\n1: what year is?\n2: what is the future in english\n3: how old should you be in order to be in 2050\n","output_type":"stream"}]},{"cell_type":"code","source":"from datasets import load_dataset\n\nds = load_dataset(\"csebuetnlp/xlsum\", \"english\")","metadata":{"execution":{"iopub.status.busy":"2024-07-29T06:38:11.187056Z","iopub.execute_input":"2024-07-29T06:38:11.187539Z","iopub.status.idle":"2024-07-29T06:38:27.319204Z","shell.execute_reply.started":"2024-07-29T06:38:11.187503Z","shell.execute_reply":"2024-07-29T06:38:27.317883Z"},"trusted":true},"execution_count":16,"outputs":[{"output_type":"display_data","data":{"text/plain":"Downloading data:   0%|          | 0.00/315M [00:00<?, ?B/s]","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"73930dd30eb44e6a81164ae9c1e4f715"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Downloading data:   0%|          | 0.00/264M [00:00<?, ?B/s]","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"b0cc674485584aaf84691bd088b683a6"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Downloading data:   0%|          | 0.00/20.8M [00:00<?, ?B/s]","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"d316f4baa4c1415f8e0a3aa2e0855647"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Downloading data:   0%|          | 0.00/20.9M [00:00<?, ?B/s]","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"99811e721bb34bc983cbdf756b2e29f3"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Generating train split:   0%|          | 0/306522 [00:00<?, ? examples/s]","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"27e26bfe1bee4490827cfc725af1956f"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Generating test split:   0%|          | 0/11535 [00:00<?, ? examples/s]","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"b808a74a85124f92a1cbddec169b31e8"}},"metadata":{}},{"output_type":"display_data","data":{"text/plain":"Generating validation split:   0%|          | 0/11535 [00:00<?, ? examples/s]","application/vnd.jupyter.widget-view+json":{"version_major":2,"version_minor":0,"model_id":"7641533ba2ef4cb58fe952201c74ab64"}},"metadata":{}}]},{"cell_type":"code","source":"para = ds[\"train\"][0][\"text\"]\n\ninput_ids = tokenizer.encode(para, return_tensors=\"pt\")\nwith torch.no_grad():\n    outputs = model.generate(\n        input_ids=input_ids,\n        max_length=64,\n        do_sample=True,\n        top_p=0.95,\n        num_return_sequences=3,\n    )\n\nprint(\"Paragraph:\")\nprint(para)\n\nprint(\"\\nGenerated Queries:\")\nfor i in range(len(outputs)):\n    query = tokenizer.decode(outputs[i], skip_special_tokens=True)\n    print(f\"{i + 1}: {query}\")","metadata":{"execution":{"iopub.status.busy":"2024-07-29T06:38:32.447740Z","iopub.execute_input":"2024-07-29T06:38:32.448249Z","iopub.status.idle":"2024-07-29T06:38:36.671311Z","shell.execute_reply.started":"2024-07-29T06:38:32.448209Z","shell.execute_reply":"2024-07-29T06:38:36.669750Z"},"trusted":true},"execution_count":17,"outputs":[{"name":"stdout","text":"Paragraph:\nThe Met Office has issued a yellow weather warning for wind covering Wales and England, starting from 21:00 GMT on Wednesday evening. Travel and power are both likely to be disrupted, with the warning to remain in place until 15:00 on Thursday. Gusts of 55mph (88kmh) are likely and could hit up to 70mph on coasts and hills, with heavy and blustery showers.\n\nGenerated Queries:\n1: what is the forecast for welsh mountains\n2: what is the wind in wales\n3: weather in wales\n","output_type":"stream"}]},{"cell_type":"code","source":"para = ds[\"train\"][1][\"text\"]\n\ninput_ids = tokenizer.encode(para, return_tensors=\"pt\")\nwith torch.no_grad():\n    outputs = model.generate(\n        input_ids=input_ids,\n        max_length=64,\n        do_sample=True,\n        top_p=0.95,\n        num_return_sequences=3,\n    )\n\nprint(\"Paragraph:\")\nprint(para)\n\nprint(\"\\nGenerated Queries:\")\nfor i in range(len(outputs)):\n    query = tokenizer.decode(outputs[i], skip_special_tokens=True)\n    print(f\"{i + 1}: {query}\")","metadata":{"execution":{"iopub.status.busy":"2024-07-29T06:39:56.710749Z","iopub.execute_input":"2024-07-29T06:39:56.711283Z","iopub.status.idle":"2024-07-29T06:40:00.585450Z","shell.execute_reply.started":"2024-07-29T06:39:56.711239Z","shell.execute_reply":"2024-07-29T06:40:00.584148Z"},"trusted":true},"execution_count":18,"outputs":[{"name":"stdout","text":"Paragraph:\nAtlantis Resources unveiled the marine energy device at Invergordon ahead of it being shipped to Kirkwall. Trials on the device will now be run at the European Marine Energy Centre test site off Eday. The device stands 22.5m (73ft) tall, weighs 1,300 tonnes and has two sets of blades on a single unit. It could generate enough power for 1,000 homes.\n\nGenerated Queries:\n1: where is the atlantis device located?\n2: where are european marine energy centre trials\n3: how tall is the energy meter?\n","output_type":"stream"}]},{"cell_type":"code","source":"para = ds[\"train\"][100][\"text\"]\n\ninput_ids = tokenizer.encode(para, return_tensors=\"pt\")\nwith torch.no_grad():\n    outputs = model.generate(\n        input_ids=input_ids,\n        max_length=64,\n        do_sample=True,\n        top_p=0.95,\n        num_return_sequences=3,\n    )\n\nprint(\"Paragraph:\")\nprint(para)\n\nprint(\"\\nGenerated Queries:\")\nfor i in range(len(outputs)):\n    query = tokenizer.decode(outputs[i], skip_special_tokens=True)\n    print(f\"{i + 1}: {query}\")","metadata":{"execution":{"iopub.status.busy":"2024-07-29T06:41:18.598310Z","iopub.execute_input":"2024-07-29T06:41:18.598870Z","iopub.status.idle":"2024-07-29T06:41:59.748593Z","shell.execute_reply.started":"2024-07-29T06:41:18.598827Z","shell.execute_reply":"2024-07-29T06:41:59.747363Z"},"trusted":true},"execution_count":19,"outputs":[{"name":"stdout","text":"Paragraph:\nBy Alison GeeBBC World Service At the end of 2012, six women were raped in Marseille, in the south of France. Evidence, including DNA, led police to not one, but two suspects - identical twins Elwin and Yohan. Their surname was not revealed. When asked to identify the attacker, victims recognised the twins but couldn't say which one had assaulted them. Police are struggling to work out which one to prosecute. They have been holding the brothers in custody since February - each twin says he didn't carry out the attacks, but neither is blaming the other. When the twins were arrested, media reports said tests to determine who to charge with the crimes would be prohibitively expensive, but that looks set to change. Scientists specialising in genomic research at the Eurofins laboratory in Ebersberg, Germany, say they can now help in cases like this. \"The human genome consists of a three-billion-letter code,\" says Georg Gradl, their next-generation sequencing expert. \"If the body is growing, or an embryo is developing, then all the three billion letters have to be copied. \"During this copying process in the body there are 'typos' happening,\" says Gradl, referring to slight mutations. In standard DNA tests only a tiny fraction of the code is analysed - enough to differentiate between two average people, but not identical twins. Gradl and his team took samples from a pair of male twins and looked at the entire three-billion-letter sequence, and they found a few dozen differences in their DNA. The scientists also tested the son of one of the men, and found he had inherited five of the mutations from his father. Having analysed the results, they are confident that they can now tell any twin from another, and from their children. And the speed of the test is important - it can be carried out in about a month. Forensic institutes and police from Europe, Latin America and the US have already asked Eurofins if it can help them solve some 10 different cases. Gradl says cases of rape or sexual violence involving a twin are \"more frequent than we expected\". Often there are traces of sperm \"and in these cases we can really differentiate,\" he says. The company can't reveal which cases it is working on, but Gradl admits Marseille is \"certainly one of the cases that we would like to help… and we are very convinced that we would get [a result]\". A number of other cases present similar difficulties. A court in Argentina recently suspended a trial so further investigations could be carried out, after a man charged with rape blamed his twin. There have also been a handful of cases in the US. Sometimes a tattoo or an alibi has enabled investigators to work out which twin to prosecute, but there have been times when both suspects have walked free. One of these cases occurred in 1999 in Grand Rapids, Michigan, when a female student was hit over the head and raped. Five years later, police matched DNA from the attack to Jerome Cooper - but he has an identical twin, Tyrone. Both brothers already had records for sexual assault. \"Both gave us statements, both denied it,\" says Captain Jeffrey Hertel of Grand Rapids Police Department. \"We were naively hopeful that one of them would come forward and say, 'I don't want my brother falsely accused of something - it was me,' but that never happened.\" \"At one time we put them in the same room together to see if they would come to some type of conclusion between the two of them. That didn't occur - they just talked small talk,\" he says. \"We're all hoping that science is going to catch up to this case… we've taken deep breaths, we know it's going to happen, it's just a matter of time.\" More than a decade after the assault, he says the victim is \"still waiting for her day in court\". Another case occurred in 2009, in Malaysia, when police in Kuala Lumpur stopped a car containing 166kg (366lbs) of cannabis and 1.7kg (3.7lbs) of raw opium, and arrested the driver. A little later another man arrived at the house to which the car had been heading. They arrested him too. It turned out they had picked up identical twins, Sathis and Sabarish Raj. Only the first one had a key to the house and would have known for sure what was in the bags in the car. But when the case came to court, there was reasonable doubt which twin was which. A DNA test that might usually have been able to link a suspect to the car was of no use. \"I can't be sending the wrong person to the gallows,\" said the judge, according to the New Straits Times. So both walked free, escaping the death penalty that is mandatory for convicted drugs traffickers in Malaysia. It's not just crimes that could be solved by the new test - doubts about paternity could also be laid to rest. In 2007, a court in Missouri heard a case concerning Holly Marie Adams, who had sex with identical twin brothers and subsequently gave birth to a child. A DNA test gave a nonsensical result - there was a 99.9% probability that Raymon Miller was the father, and also a 99.9% probability that his twin, Richard Miller, was the father. In the end, the judge had to rely on Adams' testimony to find out the exact dates she had slept with each man, how this corresponded with her menstrual cycle and whether either had used a condom. In the end he ruled that Raymon was the legal father. The standard of proof was lower than in a criminal trial. For all of these scenarios, Eurofins' test offers \"a very exciting development… a significant step forward in forensic DNA analysis,\" says Laura Walton-Williams of the Forensic and Crime Science Department at Staffordshire University in the UK. She says she could also imagine a situation where police would use the test to determine whether a twin had been involved in the murder of an identical sibling - as for the first time they could differentiate between the DNA of the victim and the suspect. Walton-Williams cautions, however, that courts will want to know how rigorously the method has been tested before they allow it to be used as evidence. The cost of the test will also influence how widely it will be used, she says - and it will therefore probably be used more often in criminal trials than paternity cases, she predicts. Eurofins won't say publicly how much their test costs Other companies have said they can do something similar in the past, but for one reason or another it has never proved to be the breakthrough that police and prosecutors need. And there will always be some cases where no DNA test would be sufficient. In 2009, jewellery with a retail value of six million euros ($8.2m) was stolen from Berlin's KaDeWe department store. Traces of DNA were found in a glove found at the crime scene, and once again the DNA led police to twin brothers, who walked free. But even if police had been able to tell which one the DNA belonged to, they still might not have been able to get a conviction. The defence could have argued that even though the suspect had once worn the glove, someone else might have left it at the crime scene, and that neither of the twins was ever at the department store. Georg Gradl spoke to Newshour on the BBC World Service. Follow @BBCNewsMagazine on Twitter and on Facebook\n\nGenerated Queries:\n1: what is eurofins\n2: can identical twins have dna test\n3: where does dna testing help criminology cases\n","output_type":"stream"}]}]}