Commits

spirit committed e69168b

Minor

Comments (0)

Files changed (2)

generate_trigrams.py

                       key=lambda k: (-self.trigrams[k], k))[:MAX_GRAMS]
 
 
-def parse_args():
-    parser = argparse.ArgumentParser(description=__doc__)
-    parser.add_argument(
-        "txt_dir",
-        help="directory of plain text files"
-    )
-    parser.add_argument(
-        "output",
-        help="output trigrams file"
-    )
-    return parser.parse_args()
-
-
 def parse(builder, path):
     lines = []
     with open(path) as f:
         builder.feed(" ".join(lines))
 
 
+def parse_args():
+    parser = argparse.ArgumentParser(description=__doc__)
+    parser.add_argument(
+        "txt_dir",
+        help="directory of plain text files"
+    )
+    parser.add_argument(
+        "output",
+        help="output trigrams file"
+    )
+    return parser.parse_args()
+
+
 def main():
     args = parse_args()
     builder = OrderedModelBuilder()
 
 class GuessLanguageTest(unittest.TestCase):
     tests = [
-        ("This is a test of the language checker.", "en"),
-        ("Vérifions que le détecteur de langue fonctionne.", "fr"),
-        ("Sprawdźmy, czy odgadywacz języków pracuje", "pl"),
-        ("авай проверить  узнает ли наш угадатель русски язык", "ru"),
-        ("La respuesta de los acreedores a la oferta argentina para salir "
-         "del default no ha sido muy positiv", "es"),
-        ("Сайлау нәтижесінде дауыстардың басым бөлігін ел премьер "
-         "министрі Виктор Янукович пен оның қарсыласы, оппозиция "
-         "жетекшісі Виктор Ющенко алды.", "kk"),
-        ("милиция ва уч солиқ идораси ходимлари яраланган. Шаҳарда "
-         "хавфсизлик чоралари кучайтирилган.", "uz"),
-        ("көрбөгөндөй элдик толкундоо болуп, Кокон шаарынын көчөлөрүндө "
-         "бир нече миң киши нааразылык билдирди.", "ky"),
-        ("yakın tarihin en çekişmeli başkanlık seçiminde oy verme işlemi "
-         "sürerken, katılımda rekor bekleniyor.", "tr"),
+        ("", UNKNOWN),
+        (" ملايين الناخبين الأمريكيين يدلون بأصواتهم وسط إقبال قياسي على "
+         "انتخابات هي الأشد تنافسا منذ عقود", "ar"),
         ("Daxil olan xəbərlərdə deyilir ki, 6 nəfər Bağdadın mərkəzində "
          "yerləşən Təhsil Nazirliyinin binası yaxınlığında baş vermiş "
          "partlayış zamanı həlak olub.", "az"),
-        (" ملايين الناخبين الأمريكيين يدلون بأصواتهم وسط إقبال قياسي على "
-         "انتخابات هي الأشد تنافسا منذ عقود", "ar"),
-        ("Американське суспільство, поділене суперечностями, збирається "
-         "взяти активну участь у голосуванні", "uk"),
-        ("Francouzský ministr financí zmírnil výhrady vůči nízkým "
-         "firemním daním v nových členských státech EU", "cs"),
-        ("biće prilično izjednačena, sugerišu najnovije ankete. "
-         "Oba kandidata tvrde da su sposobni da dobiju rat protiv "
-         "terorizma", "hr"),
-        (" е готов да даде гаранции, че няма да прави ядрено оръжие, "
-         "ако му се разреши мирна атомна програма", "bg"),
-        ("на јавното мислење покажуваат дека трката е толку тесна, "
-         "што се очекува двајцата соперници да ја прекршат традицијата "
-         "и да се појават и на самиот изборен ден.", "mk"),
-        ("în acest sens aparţinînd Adunării Generale a organizaţiei, "
-         "în ciuda faptului că mai multe dintre solicitările organizaţiei "
-         "privind organizarea scrutinului nu au fost soluţionate", "ro"),
-        ("kaluan ditën e fundit të fushatës në shtetet kryesore "
-         "për të siguruar sa më shumë votues.", "sq"),
-        ("αναμένεται να σπάσουν παράδοση δεκαετιών και να συνεχίσουν "
-         "την εκστρατεία τους ακόμη και τη μέρα των εκλογών", "el"),
-        (" 美国各州选民今天开始正式投票。据信,", "zh"),
-        (" Die kritiek was volgens hem bitter hard nodig, "
-         "omdat Nederland binnen een paar jaar in een soort Belfast zou "
-         "dreigen te veranderen", "nl"),
+        ("е готов да даде гаранции, че няма да прави ядрено оръжие, ако му "
+         "се разреши мирна атомна програма", "bg"),
+        ("Francouzský ministr financí zmírnil výhrady vůči nízkým firemním "
+         "daním v nových členských státech EU", "cs"),
         ("På denne side bringer vi billeder fra de mange forskellige "
-         "forberedelser til arrangementet, efterhånden som vi får dem ",
-         "da"),
-        ("Vi säger att Frälsningen är en gåva till alla, fritt och för "
-         "intet.  Men som vi nämnt så finns det två villkor som måste",
-         "sv"),
-        ("Nominasjonskomiteen i Akershus KrF har skviset ut Einar Holstad "
-         "fra stortingslisten. Ytre Enebakk-mannen har plass p Stortinget "
-         "s lenge Valgerd Svarstad Haugland sitter i", "nb"),
-        ("on julkishallinnon verkkopalveluiden yhteinen osoite. "
-         "Kansalaisten arkielämää helpottavaa tietoa on koottu eri "
-         "aihealueisiin", "fi"),
+         "forberedelser til arrangementet, efterhånden som vi får dem ", "da"),
+        ("αναμένεται να σπάσουν παράδοση δεκαετιών και να συνεχίσουν την "
+         "εκστρατεία τους ακόμη και τη μέρα των εκλογών", "el"),
+        ("This is a test of the language checker.", "en"),
+        ("La akcento estas sur la antaŭlasta silabo.", "eo"),
+        ("La respuesta de los acreedores a la oferta argentina para salir del "
+         "default no ha sido muy positiv", "es"),
         ("Ennetamaks reisil ebameeldivaid vahejuhtumeid vii end kurssi "
          "reisidokumentide ja viisade reeglitega ning muu praktilise "
          "informatsiooniga", "et"),
+        ("on julkishallinnon verkkopalveluiden yhteinen osoite. Kansalaisten "
+         "arkielämää helpottavaa tietoa on koottu eri aihealueisiin", "fi"),
+        ("Vérifions que le détecteur de langue fonctionne.", "fr"),
+        ("biće prilično izjednačena, sugerišu najnovije ankete. Oba kandidata "
+         "tvrde da su sposobni da dobiju rat protiv terorizma", "hr"),
         ("Hiába jön létre az önkéntes magyar haderő, hiába nem lesz "
          "többé bevonulás, változatlanul fennmarad a hadkötelezettség "
          "intézménye", "hu"),
         ("հարաբերական", "hy"),
+        ("トヨタ自動車、フィリピンの植林活動で第三者認証取得 "
+         "トヨタ自動車(株)(以下、トヨタ)は、2007年9月よりフィリピンのルソン"
+         "島北部に位置するカガヤン州ペニャブランカ町", "ja"),
+        ("Сайлау нәтижесінде дауыстардың басым бөлігін ел премьер "
+         "министрі Виктор Янукович пен оның қарсыласы, оппозиция "
+         "жетекшісі Виктор Ющенко алды.", "kk"),
+        ("көрбөгөндөй элдик толкундоо болуп, Кокон шаарынын көчөлөрүндө "
+         "бир нече миң киши нааразылык билдирди.", "ky"),
+        ("на јавното мислење покажуваат дека трката е толку тесна, "
+         "што се очекува двајцата соперници да ја прекршат традицијата "
+         "и да се појават и на самиот изборен ден.", "mk"),
+        ("Nominasjonskomiteen i Akershus KrF har skviset ut Einar Holstad "
+         "fra stortingslisten. Ytre Enebakk-mannen har plass p Stortinget "
+         "s lenge Valgerd Svarstad Haugland sitter i", "nb"),
+        ("Die kritiek was volgens hem bitter hard nodig, "
+         "omdat Nederland binnen een paar jaar in een soort Belfast zou "
+         "dreigen te veranderen", "nl"),
+        ("Sprawdźmy, czy odgadywacz języków pracuje", "pl"),
+        ("Portugal é um país soberano unitário localizado "
+         "no Sudoeste da Europa.", "pt"),
+        ("în acest sens aparţinînd Adunării Generale a organizaţiei, "
+         "în ciuda faptului că mai multe dintre solicitările organizaţiei "
+         "privind organizarea scrutinului nu au fost soluţionate", "ro"),
+        ("авай проверить  узнает ли наш угадатель русски язык", "ru"),
+        ("kaluan ditën e fundit të fushatës në shtetet kryesore "
+         "për të siguruar sa më shumë votues.", "sq"),
+        ("Vi säger att Frälsningen är en gåva till alla, fritt och för "
+         "intet.  Men som vi nämnt så finns det två villkor som måste",
+         "sv"),
+        ("yakın tarihin en çekişmeli başkanlık seçiminde oy verme işlemi "
+         "sürerken, katılımda rekor bekleniyor.", "tr"),
+        ("Американське суспільство, поділене суперечностями, збирається "
+         "взяти активну участь у голосуванні", "uk"),
+        ("милиция ва уч солиқ идораси ходимлари яраланган. Шаҳарда "
+         "хавфсизлик чоралари кучайтирилган.", "uz"),
         ("Hai vấn đề khó chịu với màn hình thường gặp nhất khi bạn dùng "
          "laptop là vết trầy xước và điểm chết. Sau đây là vài cách xử "
          "lý chúng.", "vi"),
-        ("トヨタ自動車、フィリピンの植林活動で第三者認証取得 "
-         "トヨタ自動車(株)(以下、トヨタ)は、2007年9月よりフィリピンのルソン"
-         "島北部に位置するカガヤン州ペニャブランカ町", "ja"),
-        ("Portugal é um país soberano unitário localizado "
-         "no Sudoeste da Europa.", "pt"),
-        ("La akcento estas sur la antaŭlasta silabo.", "eo"),
-        ("", UNKNOWN),
+        ("美国各州选民今天开始正式投票。据信,", "zh"),
     ]
 
     # Tests with limited possible languages