Created tests for ReleaseCandidateScraper (#160)

tests/candidate_scraper/manifest.ini

@@ -0,0 +1 @@
+[test_candidate_scraper.py]

tests/candidate_scraper/test_candidate_scraper.py

@@ -0,0 +1,142 @@
+#!/usr/bin/env python
+
+# This Source Code Form is subject to the terms of the Mozilla Public
+# License, v. 2.0. If a copy of the MPL was not distributed with this file,
+# You can obtain one at http://mozilla.org/MPL/2.0/.
+
+import os
+import unittest
+import urllib
+
+from mozdownload import ReleaseCandidateScraper
+from mozdownload.utils import urljoin
+import mozhttpd_base_test as mhttpd
+
+firefox_tests = [
+    # -p win32 -v 21.0
+    {'args': {'platform': 'win32',
+              'version': '21.0'},
+     'target': 'firefox-21.0-build3.en-US.win32.exe',
+     'target_url': 'firefox/nightly/21.0-candidates/build3/win32/en-US/Firefox Setup 21.0.exe'},
+    # -a firefox -p linux -v 21.0
+    {'args': {'application': 'firefox',
+              'platform': 'linux',
+              'version': '21.0'},
+     'target': 'firefox-21.0-build3.en-US.linux.tar.bz2',
+     'target_url': 'firefox/nightly/21.0-candidates/build3/linux-i686/en-US/firefox-21.0.tar.bz2'},
+    # -a firefox -p linux64 -v 21.0
+    {'args': {'application': 'firefox',
+              'platform': 'linux64',
+              'version': '21.0'},
+     'target': 'firefox-21.0-build3.en-US.linux64.tar.bz2',
+     'target_url': 'firefox/nightly/21.0-candidates/build3/linux-x86_64/en-US/firefox-21.0.tar.bz2'},
+    # -a firefox -p mac -v 21.0
+    {'args': {'application': 'firefox',
+              'platform': 'mac',
+              'version': '21.0'},
+     'target': 'firefox-21.0-build3.en-US.mac.dmg',
+     'target_url': 'firefox/nightly/21.0-candidates/build3/mac/en-US/Firefox 21.0.dmg'},
+    # -a firefox -p win32 -v 21.0
+    {'args': {'application': 'firefox',
+              'platform': 'win32',
+              'version': '21.0'},
+     'target': 'firefox-21.0-build3.en-US.win32.exe',
+     'target_url': 'firefox/nightly/21.0-candidates/build3/win32/en-US/Firefox Setup 21.0.exe'},
+    # -a firefox -p win32 -v 21.0 -l cs
+    {'args': {'application': 'firefox',
+              'locale': 'cs',
+              'platform': 'win32',
+              'version': '21.0'},
+     'target': 'firefox-21.0-build3.cs.win32.exe',
+     'target_url': 'firefox/nightly/21.0-candidates/build3/win32/cs/Firefox Setup 21.0.exe'},
+    # -a firefox -p win32 -v 21.0 -l en-GB
+    {'args': {'application': 'firefox',
+              'locale': 'en-GB',
+              'platform': 'win32',
+              'version': '21.0'},
+     'target': 'firefox-21.0-build3.en-GB.win32.exe',
+     'target_url': 'firefox/nightly/21.0-candidates/build3/win32/en-GB/Firefox Setup 21.0.exe'},
+    # -a firefox -p win32 -v 21.0 --build-number=1
+    {'args': {'application': 'firefox',
+              'build_number': '1',
+              'platform': 'win32',
+              'version': '21.0'},
+     'target': 'firefox-21.0-build1.en-US.win32.exe',
+     'target_url': 'firefox/nightly/21.0-candidates/build1/win32/en-US/Firefox Setup 21.0.exe'},
+    # -a firefox -p win32 -v 21.0 --stub
+    {'args': {'application': 'firefox',
+              'is_stub_installer': True,
+              'platform': 'win32',
+              'version': '21.0'},
+     'target': 'firefox-21.0-build3.en-US.win32.exe',
+     'target_url': 'firefox/nightly/21.0-candidates/build3/win32/en-US/Firefox Setup Stub 21.0.exe'},
+]
+
+thunderbird_tests = [
+    # -a thunderbird -p linux -v 10.0.5esr
+    {'args': {'application': 'thunderbird',
+              'platform': 'linux',
+              'version': '10.0.5esr'},
+     'target': 'thunderbird-10.0.5esr-build3.en-US.linux.tar.bz2',
+     'target_url': 'thunderbird/nightly/10.0.5esr-candidates/build3/linux-i686/en-US/thunderbird-10.0.5esr.tar.bz2'},
+    # -a thunderbird -p linux64 -v 10.0.5esr
+    {'args': {'application': 'thunderbird',
+              'platform': 'linux64',
+              'version': '10.0.5esr'},
+     'target': 'thunderbird-10.0.5esr-build3.en-US.linux64.tar.bz2',
+     'target_url': 'thunderbird/nightly/10.0.5esr-candidates/build3/linux-x86_64/en-US/thunderbird-10.0.5esr.tar.bz2'},
+    # -a thunderbird -p mac -v 10.0.5esr
+    {'args': {'application': 'thunderbird',
+              'platform': 'mac',
+              'version': '10.0.5esr'},
+     'target': 'thunderbird-10.0.5esr-build3.en-US.mac.dmg',
+     'target_url': 'thunderbird/nightly/10.0.5esr-candidates/build3/mac/en-US/Thunderbird 10.0.5esr.dmg'},
+    # -a thunderbird -p win32 -v 10.0.5esr
+    {'args': {'application': 'thunderbird',
+              'platform': 'win32',
+              'version': '10.0.5esr'},
+     'target': 'thunderbird-10.0.5esr-build3.en-US.win32.exe',
+     'target_url': 'thunderbird/nightly/10.0.5esr-candidates/build3/win32/en-US/Thunderbird Setup 10.0.5esr.exe'},
+    # -a thunderbird -p win32 -v 10.0.5esr -l cs
+    {'args': {'application': 'thunderbird',
+              'locale': 'cs',
+              'platform': 'win32',
+              'version': '10.0.5esr'},
+     'target': 'thunderbird-10.0.5esr-build3.cs.win32.exe',
+     'target_url': 'thunderbird/nightly/10.0.5esr-candidates/build3/win32/cs/Thunderbird Setup 10.0.5esr.exe'},
+    # -a thunderbird -p win32 -v 10.0.5esr -l en-GB
+    {'args': {'application': 'thunderbird',
+              'locale': 'en-GB',
+              'platform': 'win32',
+              'version': '10.0.5esr'},
+     'target': 'thunderbird-10.0.5esr-build3.en-GB.win32.exe',
+     'target_url': 'thunderbird/nightly/10.0.5esr-candidates/build3/win32/en-GB/Thunderbird Setup 10.0.5esr.exe'},
+    # -a thunderbird -p win32 -v 10.0.5esr
+    {'args': {'application': 'thunderbird',
+              'build_number': '1',
+              'platform': 'win32',
+              'version': '10.0.5esr'},
+     'target': 'thunderbird-10.0.5esr-build1.en-US.win32.exe',
+     'target_url': 'thunderbird/nightly/10.0.5esr-candidates/build1/win32/en-US/Thunderbird Setup 10.0.5esr.exe'},
+]
+
+tests = firefox_tests + thunderbird_tests
+
+
+class ReleaseCandidateScraperTest(mhttpd.MozHttpdBaseTest):
+    """test mozdownload scraper class"""
+
+    def test_scraper(self):
+        """Testing various download scenarios for ReleaseScraper"""
+
+        for entry in tests:
+            scraper = ReleaseCandidateScraper(directory=self.temp_dir,
+                                              base_url=self.wdir,
+                                              **entry['args'])
+            expected_target = os.path.join(self.temp_dir, entry['target'])
+            self.assertEqual(scraper.target, expected_target)
+            self.assertEqual(urllib.unquote(scraper.final_url),
+                             urljoin(self.wdir, entry['target_url']))
+
+if __name__ == '__main__':
+    unittest.main()

tests/data/firefox/nightly/21.0-candidates/build1/linux-i686/en-US/firefox-21.0.tar.bz2

@@ -0,0 +1,11 @@
+Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Nam cursus. Morbi ut mi. Nullam enim leo, egestas id, condimentum at, laoreet mattis, massa. Sed eleifend nonummy diam. Praesent mauris ante, elementum et, bibendum at, posuere sit amet, nibh. Duis tincidunt lectus quis dui viverra vestibulum. Suspendisse vulputate aliquam dui. Nulla elementum dui ut augue. Aliquam vehicula mi at mauris. Maecenas placerat, nisl at consequat rhoncus, sem nunc gravida justo, quis eleifend arcu velit quis lacus. Morbi magna magna, tincidunt a, mattis non, imperdiet vitae, tellus. Sed odio est, auctor ac, sollicitudin in, consequat vitae, orci. Fusce id felis. Vivamus sollicitudin metus eget eros.
+
+Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. In posuere felis nec tortor. Pellentesque faucibus. Ut accumsan ultricies elit. Maecenas at justo id velit placerat molestie. Donec dictum lectus non odio. Cras a ante vitae enim iaculis aliquam. Mauris nunc quam, venenatis nec, euismod sit amet, egestas placerat, est. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Cras id elit. Integer quis urna. Ut ante enim, dapibus malesuada, fringilla eu, condimentum quis, tellus. Aenean porttitor eros vel dolor. Donec convallis pede venenatis nibh. Duis quam. Nam eget lacus. Aliquam erat volutpat. Quisque dignissim congue leo.
+
+Mauris vel lacus vitae felis vestibulum volutpat. Etiam est nunc, venenatis in, tristique eu, imperdiet ac, nisl. Cum sociis natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus. In iaculis facilisis massa. Etiam eu urna. Sed porta. Suspendisse quam leo, molestie sed, luctus quis, feugiat in, pede. Fusce tellus. Sed metus augue, convallis et, vehicula ut, pulvinar eu, ante. Integer orci tellus, tristique vitae, consequat nec, porta vel, lectus. Nulla sit amet diam. Duis non nunc. Nulla rhoncus dictum metus. Curabitur tristique mi condimentum orci. Phasellus pellentesque aliquam enim. Proin dui lectus, cursus eu, mattis laoreet, viverra sit amet, quam. Curabitur vel dolor ultrices ipsum dictum tristique. Praesent vitae lacus. Ut velit enim, vestibulum non, fermentum nec, hendrerit quis, leo. Pellentesque rutrum malesuada neque.
+
+Nunc tempus felis vitae urna. Vivamus porttitor, neque at volutpat rutrum, purus nisi eleifend libero, a tempus libero lectus feugiat felis. Morbi diam mauris, viverra in, gravida eu, mattis in, ante. Morbi eget arcu. Morbi porta, libero id ullamcorper nonummy, nibh ligula pulvinar metus, eget consectetuer augue nisi quis lacus. Ut ac mi quis lacus mollis aliquam. Curabitur iaculis tempus eros. Curabitur vel mi sit amet magna malesuada ultrices. Ut nisi erat, fermentum vel, congue id, euismod in, elit. Fusce ultricies, orci ac feugiat suscipit, leo massa sodales velit, et scelerisque mi tortor at ipsum. Proin orci odio, commodo ac, gravida non, tristique vel, tellus. Pellentesque nibh libero, ultricies eu, sagittis non, mollis sed, justo. Praesent metus ipsum, pulvinar pulvinar, porta id, fringilla at, est.
+
+Phasellus felis dolor, scelerisque a, tempus eget, lobortis id, libero. Donec scelerisque leo ac risus. Praesent sit amet est. In dictum, dolor eu dictum porttitor, enim felis viverra mi, eget luctus massa purus quis odio. Etiam nulla massa, pharetra facilisis, volutpat in, imperdiet sit amet, sem. Aliquam nec erat at purus cursus interdum. Vestibulum ligula augue, bibendum accumsan, vestibulum ut, commodo a, mi. Morbi ornare gravida elit. Integer congue, augue et malesuada iaculis, ipsum dui aliquet felis, at cursus magna nisl nec elit. Donec iaculis diam a nisi accumsan viverra. Duis sed tellus et tortor vestibulum gravida. Praesent elementum elit at tellus. Curabitur metus ipsum, luctus eu, malesuada ut, tincidunt sed, diam. Donec quis mi sed magna hendrerit accumsan. Suspendisse risus nibh, ultricies eu, volutpat non, condimentum hendrerit, augue. Etiam eleifend, metus vitae adipiscing semper, mauris ipsum iaculis elit, congue gravida elit mi egestas orci. Curabitur pede.
+
+Maecenas aliquet velit vel turpis. Mauris neque metus, malesuada nec, ultricies sit amet, porttitor mattis, enim. In massa libero, interdum nec, interdum vel, blandit sed, nulla. In ullamcorper, est eget tempor cursus, neque mi consectetuer mi, a ultricies massa est sed nisl. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos hymenaeos. Proin nulla arcu, nonummy luctus, dictum eget, fermentum et, lorem. Nunc porta convallis pede.

tests/data/firefox/nightly/21.0-candidates/build1/linux-x86_64/en-US/firefox-21.0.tar.bz2

@@ -0,0 +1,11 @@
+Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Nam cursus. Morbi ut mi. Nullam enim leo, egestas id, condimentum at, laoreet mattis, massa. Sed eleifend nonummy diam. Praesent mauris ante, elementum et, bibendum at, posuere sit amet, nibh. Duis tincidunt lectus quis dui viverra vestibulum. Suspendisse vulputate aliquam dui. Nulla elementum dui ut augue. Aliquam vehicula mi at mauris. Maecenas placerat, nisl at consequat rhoncus, sem nunc gravida justo, quis eleifend arcu velit quis lacus. Morbi magna magna, tincidunt a, mattis non, imperdiet vitae, tellus. Sed odio est, auctor ac, sollicitudin in, consequat vitae, orci. Fusce id felis. Vivamus sollicitudin metus eget eros.
+
+Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. In posuere felis nec tortor. Pellentesque faucibus. Ut accumsan ultricies elit. Maecenas at justo id velit placerat molestie. Donec dictum lectus non odio. Cras a ante vitae enim iaculis aliquam. Mauris nunc quam, venenatis nec, euismod sit amet, egestas placerat, est. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Cras id elit. Integer quis urna. Ut ante enim, dapibus malesuada, fringilla eu, condimentum quis, tellus. Aenean porttitor eros vel dolor. Donec convallis pede venenatis nibh. Duis quam. Nam eget lacus. Aliquam erat volutpat. Quisque dignissim congue leo.
+
+Mauris vel lacus vitae felis vestibulum volutpat. Etiam est nunc, venenatis in, tristique eu, imperdiet ac, nisl. Cum sociis natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus. In iaculis facilisis massa. Etiam eu urna. Sed porta. Suspendisse quam leo, molestie sed, luctus quis, feugiat in, pede. Fusce tellus. Sed metus augue, convallis et, vehicula ut, pulvinar eu, ante. Integer orci tellus, tristique vitae, consequat nec, porta vel, lectus. Nulla sit amet diam. Duis non nunc. Nulla rhoncus dictum metus. Curabitur tristique mi condimentum orci. Phasellus pellentesque aliquam enim. Proin dui lectus, cursus eu, mattis laoreet, viverra sit amet, quam. Curabitur vel dolor ultrices ipsum dictum tristique. Praesent vitae lacus. Ut velit enim, vestibulum non, fermentum nec, hendrerit quis, leo. Pellentesque rutrum malesuada neque.
+
+Nunc tempus felis vitae urna. Vivamus porttitor, neque at volutpat rutrum, purus nisi eleifend libero, a tempus libero lectus feugiat felis. Morbi diam mauris, viverra in, gravida eu, mattis in, ante. Morbi eget arcu. Morbi porta, libero id ullamcorper nonummy, nibh ligula pulvinar metus, eget consectetuer augue nisi quis lacus. Ut ac mi quis lacus mollis aliquam. Curabitur iaculis tempus eros. Curabitur vel mi sit amet magna malesuada ultrices. Ut nisi erat, fermentum vel, congue id, euismod in, elit. Fusce ultricies, orci ac feugiat suscipit, leo massa sodales velit, et scelerisque mi tortor at ipsum. Proin orci odio, commodo ac, gravida non, tristique vel, tellus. Pellentesque nibh libero, ultricies eu, sagittis non, mollis sed, justo. Praesent metus ipsum, pulvinar pulvinar, porta id, fringilla at, est.
+
+Phasellus felis dolor, scelerisque a, tempus eget, lobortis id, libero. Donec scelerisque leo ac risus. Praesent sit amet est. In dictum, dolor eu dictum porttitor, enim felis viverra mi, eget luctus massa purus quis odio. Etiam nulla massa, pharetra facilisis, volutpat in, imperdiet sit amet, sem. Aliquam nec erat at purus cursus interdum. Vestibulum ligula augue, bibendum accumsan, vestibulum ut, commodo a, mi. Morbi ornare gravida elit. Integer congue, augue et malesuada iaculis, ipsum dui aliquet felis, at cursus magna nisl nec elit. Donec iaculis diam a nisi accumsan viverra. Duis sed tellus et tortor vestibulum gravida. Praesent elementum elit at tellus. Curabitur metus ipsum, luctus eu, malesuada ut, tincidunt sed, diam. Donec quis mi sed magna hendrerit accumsan. Suspendisse risus nibh, ultricies eu, volutpat non, condimentum hendrerit, augue. Etiam eleifend, metus vitae adipiscing semper, mauris ipsum iaculis elit, congue gravida elit mi egestas orci. Curabitur pede.
+
+Maecenas aliquet velit vel turpis. Mauris neque metus, malesuada nec, ultricies sit amet, porttitor mattis, enim. In massa libero, interdum nec, interdum vel, blandit sed, nulla. In ullamcorper, est eget tempor cursus, neque mi consectetuer mi, a ultricies massa est sed nisl. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos hymenaeos. Proin nulla arcu, nonummy luctus, dictum eget, fermentum et, lorem. Nunc porta convallis pede.

tests/data/firefox/nightly/21.0-candidates/build1/mac/en-US/Firefox 21.0.dmg

@@ -0,0 +1,11 @@
+Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Nam cursus. Morbi ut mi. Nullam enim leo, egestas id, condimentum at, laoreet mattis, massa. Sed eleifend nonummy diam. Praesent mauris ante, elementum et, bibendum at, posuere sit amet, nibh. Duis tincidunt lectus quis dui viverra vestibulum. Suspendisse vulputate aliquam dui. Nulla elementum dui ut augue. Aliquam vehicula mi at mauris. Maecenas placerat, nisl at consequat rhoncus, sem nunc gravida justo, quis eleifend arcu velit quis lacus. Morbi magna magna, tincidunt a, mattis non, imperdiet vitae, tellus. Sed odio est, auctor ac, sollicitudin in, consequat vitae, orci. Fusce id felis. Vivamus sollicitudin metus eget eros.
+
+Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. In posuere felis nec tortor. Pellentesque faucibus. Ut accumsan ultricies elit. Maecenas at justo id velit placerat molestie. Donec dictum lectus non odio. Cras a ante vitae enim iaculis aliquam. Mauris nunc quam, venenatis nec, euismod sit amet, egestas placerat, est. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Cras id elit. Integer quis urna. Ut ante enim, dapibus malesuada, fringilla eu, condimentum quis, tellus. Aenean porttitor eros vel dolor. Donec convallis pede venenatis nibh. Duis quam. Nam eget lacus. Aliquam erat volutpat. Quisque dignissim congue leo.
+
+Mauris vel lacus vitae felis vestibulum volutpat. Etiam est nunc, venenatis in, tristique eu, imperdiet ac, nisl. Cum sociis natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus. In iaculis facilisis massa. Etiam eu urna. Sed porta. Suspendisse quam leo, molestie sed, luctus quis, feugiat in, pede. Fusce tellus. Sed metus augue, convallis et, vehicula ut, pulvinar eu, ante. Integer orci tellus, tristique vitae, consequat nec, porta vel, lectus. Nulla sit amet diam. Duis non nunc. Nulla rhoncus dictum metus. Curabitur tristique mi condimentum orci. Phasellus pellentesque aliquam enim. Proin dui lectus, cursus eu, mattis laoreet, viverra sit amet, quam. Curabitur vel dolor ultrices ipsum dictum tristique. Praesent vitae lacus. Ut velit enim, vestibulum non, fermentum nec, hendrerit quis, leo. Pellentesque rutrum malesuada neque.
+
+Nunc tempus felis vitae urna. Vivamus porttitor, neque at volutpat rutrum, purus nisi eleifend libero, a tempus libero lectus feugiat felis. Morbi diam mauris, viverra in, gravida eu, mattis in, ante. Morbi eget arcu. Morbi porta, libero id ullamcorper nonummy, nibh ligula pulvinar metus, eget consectetuer augue nisi quis lacus. Ut ac mi quis lacus mollis aliquam. Curabitur iaculis tempus eros. Curabitur vel mi sit amet magna malesuada ultrices. Ut nisi erat, fermentum vel, congue id, euismod in, elit. Fusce ultricies, orci ac feugiat suscipit, leo massa sodales velit, et scelerisque mi tortor at ipsum. Proin orci odio, commodo ac, gravida non, tristique vel, tellus. Pellentesque nibh libero, ultricies eu, sagittis non, mollis sed, justo. Praesent metus ipsum, pulvinar pulvinar, porta id, fringilla at, est.
+
+Phasellus felis dolor, scelerisque a, tempus eget, lobortis id, libero. Donec scelerisque leo ac risus. Praesent sit amet est. In dictum, dolor eu dictum porttitor, enim felis viverra mi, eget luctus massa purus quis odio. Etiam nulla massa, pharetra facilisis, volutpat in, imperdiet sit amet, sem. Aliquam nec erat at purus cursus interdum. Vestibulum ligula augue, bibendum accumsan, vestibulum ut, commodo a, mi. Morbi ornare gravida elit. Integer congue, augue et malesuada iaculis, ipsum dui aliquet felis, at cursus magna nisl nec elit. Donec iaculis diam a nisi accumsan viverra. Duis sed tellus et tortor vestibulum gravida. Praesent elementum elit at tellus. Curabitur metus ipsum, luctus eu, malesuada ut, tincidunt sed, diam. Donec quis mi sed magna hendrerit accumsan. Suspendisse risus nibh, ultricies eu, volutpat non, condimentum hendrerit, augue. Etiam eleifend, metus vitae adipiscing semper, mauris ipsum iaculis elit, congue gravida elit mi egestas orci. Curabitur pede.
+
+Maecenas aliquet velit vel turpis. Mauris neque metus, malesuada nec, ultricies sit amet, porttitor mattis, enim. In massa libero, interdum nec, interdum vel, blandit sed, nulla. In ullamcorper, est eget tempor cursus, neque mi consectetuer mi, a ultricies massa est sed nisl. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos hymenaeos. Proin nulla arcu, nonummy luctus, dictum eget, fermentum et, lorem. Nunc porta convallis pede.