Commits

medoc committed 5383d70

CP1252->WINDOWS-1252

  • Participants
  • Parent commits a4b0a23

Comments (0)

Files changed (15)

File langstats/LangFrenchModel.cpp

-static const unsigned char french_cp1252CharToOrderMap[] = 
-{
-255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
-255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
-255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
-255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
-255, 34, 45, 32, 37, 28, 55, 53, 54, 33, 40, 58, 30, 29, 50, 44,
- 36, 51, 42, 35, 43, 52, 41, 67, 61, 62, 71,255,255,255,255,255,
-255,  2, 20, 12, 11,  1, 17, 19, 21,  4, 23, 63,  9, 13,  6, 10,
- 14, 18,  7,  3,  5,  8, 16, 65, 24, 26, 31,255,255,255,255,255,
-255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
-255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
-255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
-255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
- 59,255, 74,255,255,255,255, 60, 68, 56, 66,255,255,255, 73,255,
-255,255,255,255, 70,255,255,255,255,255,255,255,255,255,255,255,
- 22, 72, 38,255,255,255,255, 39, 25, 15, 27, 64,255,255, 46, 57,
-255,255,255,255, 49,255,255,255,255, 47,255, 48, 69,255,255,255,
-};
-
-static const PRUint8 frenchLangModel[] = 
-{
-2,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,2,3,3,2,0,2,3,0,3,0,0,2,0,3,0,
-0,0,0,0,0,2,3,0,0,0,1,0,1,0,0,3,1,0,0,0,0,0,1,0,2,0,0,0,1,0,2,0,
-2,2,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,0,3,2,0,3,0,0,0,0,3,0,
-0,0,1,0,0,0,3,0,0,0,0,0,0,3,0,0,1,0,0,0,0,0,0,0,2,0,0,0,0,0,3,2,
-3,3,3,3,3,2,2,3,3,3,2,3,3,3,3,1,2,3,2,2,2,0,1,0,3,3,0,0,0,1,0,0,
-0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
-3,3,3,2,3,3,3,2,3,3,3,3,3,3,3,3,3,3,3,3,1,0,2,3,3,1,1,0,0,1,3,0,
-0,0,0,2,0,1,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
-3,3,3,3,3,2,3,3,2,3,1,2,2,3,3,0,1,0,0,1,3,0,0,0,3,2,3,0,0,0,2,0,
-0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,3,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
-3,3,3,3,3,3,3,3,2,3,3,3,2,2,3,3,3,3,3,2,3,0,2,2,2,2,3,0,0,0,3,0,
-0,1,0,0,0,2,3,0,0,0,0,0,0,0,0,1,1,1,0,0,0,0,1,0,0,0,0,0,0,0,2,0,
-3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,0,1,1,3,3,3,0,0,0,2,0,
-2,0,0,0,0,3,3,0,0,0,0,0,0,1,0,2,3,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,
-3,3,3,3,3,3,3,1,3,3,3,3,3,3,3,3,3,3,3,3,2,0,3,3,2,3,3,0,0,0,2,0,
-0,0,0,0,0,2,1,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,2,0,0,0,0,0,2,2,
-3,3,3,3,3,1,1,3,3,3,2,3,3,3,3,2,2,3,3,3,3,3,0,1,3,3,2,1,0,0,2,0,
-0,0,0,0,0,3,0,0,0,0,0,0,0,1,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
-3,2,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,2,0,2,2,2,3,2,0,0,0,3,0,
-0,0,0,0,1,0,0,0,0,0,0,0,0,2,3,3,0,0,0,0,0,0,0,0,2,0,0,0,0,0,2,1,
-3,3,3,3,2,1,3,3,1,3,2,1,3,0,3,2,1,1,2,2,2,0,2,0,3,2,0,1,0,0,0,0,
-0,1,0,0,0,2,0,0,0,0,0,0,0,2,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,3,3,3,3,3,3,3,3,2,3,1,0,3,0,1,3,2,0,3,0,0,0,3,2,1,0,0,0,0,1,
-0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,1,3,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
-3,3,2,3,3,3,1,3,2,3,0,0,3,3,3,0,0,0,1,3,0,0,0,0,3,2,3,0,0,0,0,0,
-0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,3,3,3,3,3,3,3,3,1,2,0,3,3,0,0,0,2,1,3,0,0,2,3,2,3,0,0,0,0,0,
-0,0,1,0,0,3,2,0,0,0,0,0,0,1,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,3,2,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,2,0,3,0,0,0,0,0,0,0,2,0,
-0,0,0,0,0,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
-3,3,0,3,0,0,3,3,0,3,0,0,0,0,3,0,0,0,1,0,0,0,0,0,3,1,3,0,0,0,0,0,
-0,0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,3,3,2,0,3,3,3,3,0,1,0,0,3,0,3,0,1,0,0,0,0,0,2,1,2,0,0,0,0,0,
-0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,1,1,0,0,0,0,3,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,3,3,3,3,3,3,3,3,1,0,2,0,3,1,0,0,2,2,3,0,0,0,3,2,2,0,0,0,0,0,
-0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
-3,3,3,3,2,1,3,3,3,3,2,1,1,0,3,1,0,0,0,3,0,0,2,0,2,3,3,0,0,0,0,0,
-0,0,0,0,0,2,0,0,0,0,0,0,0,2,0,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,
-3,3,1,3,3,3,3,3,2,3,1,0,2,2,3,0,0,0,0,0,0,0,0,0,3,2,2,0,0,0,0,0,
-0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,0,1,0,0,0,3,0,3,0,0,0,2,1,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,0,3,3,0,0,2,0,2,0,3,0,3,2,0,0,2,0,0,2,0,0,1,1,1,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,3,0,3,3,3,0,3,0,2,3,3,1,0,3,1,2,3,2,0,0,0,0,0,0,0,0,0,0,1,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,3,1,2,2,3,0,2,3,2,2,2,2,3,1,1,0,2,1,0,0,0,1,2,1,0,0,0,0,1,0,
-0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,3,2,0,0,2,0,0,3,3,1,0,3,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,1,3,1,3,3,2,3,3,0,2,2,3,1,0,2,1,1,2,0,3,0,0,2,0,0,0,2,2,2,1,2,
-2,2,3,2,2,0,0,0,1,3,2,1,2,0,0,0,0,3,0,2,1,2,1,0,0,0,0,0,2,0,0,0,
-3,3,0,3,0,0,0,2,2,3,0,1,3,0,2,0,0,0,1,0,0,0,0,0,2,1,2,2,2,1,0,1,
-2,2,1,2,0,0,0,0,0,0,1,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,
-3,3,0,3,0,0,0,3,2,3,0,0,0,0,2,0,0,0,0,0,2,2,0,0,0,2,0,3,2,2,0,1,
-3,3,1,0,1,1,0,0,1,0,2,2,0,0,0,0,0,1,0,1,0,0,0,2,0,1,0,0,0,2,0,0,
-3,3,0,2,0,1,1,2,1,3,0,0,1,1,2,0,0,0,1,1,1,0,0,0,2,3,0,0,0,0,2,0,
-0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,0,2,0,0,2,2,3,3,0,0,0,0,2,0,1,0,0,0,3,0,0,0,0,2,0,3,0,2,0,1,
-2,2,2,2,1,0,0,0,0,1,2,2,0,0,0,0,1,2,1,2,2,2,2,0,0,2,0,0,0,0,0,0,
-1,0,2,0,2,3,2,0,3,1,2,2,2,0,0,1,0,0,1,1,0,0,0,0,0,0,0,3,2,2,1,2,
-3,2,2,2,1,0,0,0,3,2,3,2,2,0,0,0,0,3,2,0,2,1,2,1,0,1,0,0,2,0,0,0,
-0,1,2,3,2,3,3,3,3,0,2,2,2,3,0,2,3,1,2,3,3,0,2,0,0,2,0,1,2,2,2,2,
-2,1,2,2,2,0,0,1,2,2,2,0,2,0,0,0,0,3,3,2,2,0,2,0,0,2,0,0,0,1,1,0,
-3,3,0,3,2,0,0,3,1,3,0,2,1,2,2,0,0,1,0,0,2,0,0,0,1,2,0,2,1,0,0,1,
-2,2,2,2,2,0,0,0,0,1,2,2,2,0,0,1,0,1,0,2,0,1,2,2,0,2,0,0,0,0,1,0,
-3,3,0,3,0,0,3,3,3,3,0,0,0,0,2,0,0,0,0,0,3,0,0,0,2,1,0,2,0,2,0,1,
-2,2,2,1,2,1,0,2,0,3,2,2,0,0,0,0,1,0,0,2,0,2,1,1,0,1,0,0,0,0,0,0,
-3,3,0,3,0,0,2,3,0,2,0,0,1,2,3,0,0,0,0,0,0,0,1,0,2,0,0,3,0,1,0,2,
-2,2,2,0,0,0,0,1,1,2,0,2,0,0,0,0,0,1,0,2,1,1,2,2,0,0,0,0,0,0,0,0,
-0,0,1,2,3,2,0,0,3,0,0,3,2,2,0,1,0,1,2,1,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,3,0,0,0,0,0,3,0,3,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,0,0,0,0,0,2,0,3,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,
-0,2,0,0,2,0,0,0,0,0,1,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,0,3,0,0,1,2,2,3,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,1,1,2,0,0,0,0,
-3,2,0,0,1,0,0,0,0,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,0,2,0,0,0,2,0,3,0,0,0,0,3,0,0,0,0,0,2,0,0,0,0,1,0,3,2,2,0,2,
-2,2,2,2,2,0,0,0,2,2,2,3,2,0,0,0,0,2,0,2,1,1,1,2,0,0,0,0,0,0,0,0,
-3,3,1,2,0,0,3,3,0,3,0,1,0,0,2,0,0,0,0,0,3,0,0,0,1,1,0,3,1,2,0,2,
-3,2,2,1,0,0,0,0,1,2,2,2,0,0,0,0,0,1,0,2,1,3,1,2,0,0,0,0,0,0,0,0,
-0,0,1,2,1,3,3,3,2,0,1,2,1,2,0,2,1,0,1,2,3,0,0,0,0,0,0,2,2,2,0,2,
-2,1,2,2,2,0,0,2,2,2,2,1,2,0,2,0,0,3,0,2,1,0,2,0,0,0,0,0,1,1,1,0,
-3,3,0,3,0,0,3,2,3,3,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,1,2,0,1,
-2,2,1,0,2,1,0,1,0,2,1,2,1,0,0,0,0,2,0,2,0,0,1,2,0,0,0,0,0,2,0,0,
-0,0,0,0,3,3,0,0,2,0,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
-0,0,0,0,3,1,2,0,2,0,0,1,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,3,2,0,0,3,0,2,0,2,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-3,3,0,3,0,0,0,2,0,3,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,2,
-2,2,3,2,2,0,0,0,1,1,3,2,1,0,0,0,1,2,1,2,2,0,2,2,0,1,0,0,0,0,0,0,
-0,1,1,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,1,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,2,3,2,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,2,2,0,2,
-2,2,2,2,2,0,0,0,2,3,2,2,2,0,0,0,0,2,0,0,2,0,1,0,0,0,0,0,2,0,1,0,
-2,3,0,2,0,0,3,3,2,3,0,0,1,0,2,0,0,0,0,0,1,0,0,0,0,1,1,2,0,1,0,0,
-1,2,2,1,0,0,0,0,2,1,1,2,2,0,0,0,0,2,0,2,0,0,0,1,0,0,0,0,0,0,0,0,
-3,3,0,2,0,0,0,3,0,3,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,1,0,3,0,0,0,0,
-2,2,0,0,1,0,0,0,0,2,1,2,1,0,0,0,2,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,
-2,3,0,2,0,1,3,2,2,3,0,0,0,1,3,0,0,0,0,1,1,0,0,1,0,0,1,2,2,2,0,0,
-2,3,2,2,0,0,0,0,0,2,0,2,1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,
-0,0,0,0,2,0,1,0,2,0,2,2,1,2,0,2,0,0,2,1,0,0,0,0,0,0,0,2,2,2,0,2,
-0,0,2,2,2,0,0,0,1,2,1,1,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
-2,1,2,0,1,1,1,0,2,1,2,1,0,0,0,2,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
-2,3,0,2,0,0,2,1,1,2,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,2,1,1,0,0,
-0,1,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-1,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,
-3,0,0,0,0,0,0,0,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,
-1,2,0,0,0,0,0,1,0,2,0,0,0,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,1,2,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-2,2,2,3,1,0,2,2,1,3,0,1,2,0,1,0,1,0,1,1,2,0,0,0,0,1,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
-0,0,2,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
-};
-
-const SequenceModel cp1252frenchModel = 
-{
-  french_cp1252CharToOrderMap,
-  frenchLangModel,
-  (float)0.986450,
-  PR_TRUE,
-  "cp1252"
-};

File langstats/french/charstats_french_cp1252.txt

-0x65 e 541995
-0x61 a 303176
-0x73 s 294384
-0x69 i 269908
-0x74 t 263139
-0x6e n 253423
-0x72 r 243070
-0x75 u 232886
-0x6c l 225642
-0x6f o 184338
-0x64 d 134833
-0x63 c 101495
-0x6d m 97694
-0x70 p 89386
-0xe9 � 64477
-0x76 v 61163
-0x66 f 39249
-0x71 q 37897
-0x67 g 36363
-0x62 b 35737
-0x68 h 33203
-0xe0 � 17846
-0x6a j 15147
-0x78 x 14421
-0xe8 � 13470
-0x79 y 9031
-0xea � 8606
-0x45 E 8065
-0x4d M 6624
-0x4c L 6512
-0x7a z 6061
-0x43 C 6055
-0x49 I 5792
-0x41 A 4506
-0x53 S 3779
-0x50 P 3709
-0x44 D 3336
-0xe2 � 2946
-0xe7 � 2842
-0x4a J 2746
-0x56 V 2500
-0x52 R 2434
-0x54 T 2339
-0x4f O 1887
-0x42 B 1878
-0xee � 1778
-0xf9 � 1709
-0xfb � 1694
-0xf4 � 1589
-0x4e N 1500
-0x51 Q 1228
-0x55 U 1151
-0x47 G 972
-0x48 H 956
-0x46 F 934
-0xc9 � 310
-0xef � 282
-0x4b K 217
-0xc0 � 201
-0xc7 � 159
-0x58 X 135
-0x59 Y 86
-0x6b k 69
-0xeb � 60
-0x77 w 24
-0xca � 16
-0x57 W 9
-0xc8 � 8
-0xfc � 5
-0xd4 � 4
-0x5a Z 3
-0xe1 � 2
-0xce � 1
-0xc2 � 1