Source

uchardet-enhanced / langstats / LangFrenchModel.cpp

Full commit
static const unsigned char french_cp1252CharToOrderMap[] = 
{
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255, 34, 45, 32, 37, 28, 55, 53, 54, 33, 40, 58, 30, 29, 50, 44,
 36, 51, 42, 35, 43, 52, 41, 67, 61, 62, 71,255,255,255,255,255,
255,  2, 20, 12, 11,  1, 17, 19, 21,  4, 23, 63,  9, 13,  6, 10,
 14, 18,  7,  3,  5,  8, 16, 65, 24, 26, 31,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
 59,255, 74,255,255,255,255, 60, 68, 56, 66,255,255,255, 73,255,
255,255,255,255, 70,255,255,255,255,255,255,255,255,255,255,255,
 22, 72, 38,255,255,255,255, 39, 25, 15, 27, 64,255,255, 46, 57,
255,255,255,255, 49,255,255,255,255, 47,255, 48, 69,255,255,255,
};

static const PRUint8 frenchLangModel[] = 
{
2,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,2,3,3,2,0,2,3,0,3,0,0,2,0,3,0,
0,0,0,0,0,2,3,0,0,0,1,0,1,0,0,3,1,0,0,0,0,0,1,0,2,0,0,0,1,0,2,0,
2,2,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,0,3,2,0,3,0,0,0,0,3,0,
0,0,1,0,0,0,3,0,0,0,0,0,0,3,0,0,1,0,0,0,0,0,0,0,2,0,0,0,0,0,3,2,
3,3,3,3,3,2,2,3,3,3,2,3,3,3,3,1,2,3,2,2,2,0,1,0,3,3,0,0,0,1,0,0,
0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
3,3,3,2,3,3,3,2,3,3,3,3,3,3,3,3,3,3,3,3,1,0,2,3,3,1,1,0,0,1,3,0,
0,0,0,2,0,1,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
3,3,3,3,3,2,3,3,2,3,1,2,2,3,3,0,1,0,0,1,3,0,0,0,3,2,3,0,0,0,2,0,
0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,3,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,3,2,3,3,3,2,2,3,3,3,3,3,2,3,0,2,2,2,2,3,0,0,0,3,0,
0,1,0,0,0,2,3,0,0,0,0,0,0,0,0,1,1,1,0,0,0,0,1,0,0,0,0,0,0,0,2,0,
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,0,1,1,3,3,3,0,0,0,2,0,
2,0,0,0,0,3,3,0,0,0,0,0,0,1,0,2,3,0,0,0,0,0,0,0,0,0,0,0,0,0,3,0,
3,3,3,3,3,3,3,1,3,3,3,3,3,3,3,3,3,3,3,3,2,0,3,3,2,3,3,0,0,0,2,0,
0,0,0,0,0,2,1,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,2,0,0,0,0,0,2,2,
3,3,3,3,3,1,1,3,3,3,2,3,3,3,3,2,2,3,3,3,3,3,0,1,3,3,2,1,0,0,2,0,
0,0,0,0,0,3,0,0,0,0,0,0,0,1,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
3,2,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,2,0,2,2,2,3,2,0,0,0,3,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,2,3,3,0,0,0,0,0,0,0,0,2,0,0,0,0,0,2,1,
3,3,3,3,2,1,3,3,1,3,2,1,3,0,3,2,1,1,2,2,2,0,2,0,3,2,0,1,0,0,0,0,
0,1,0,0,0,2,0,0,0,0,0,0,0,2,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,3,3,3,2,3,1,0,3,0,1,3,2,0,3,0,0,0,3,2,1,0,0,0,0,1,
0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,1,3,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
3,3,2,3,3,3,1,3,2,3,0,0,3,3,3,0,0,0,1,3,0,0,0,0,3,2,3,0,0,0,0,0,
0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,3,3,3,1,2,0,3,3,0,0,0,2,1,3,0,0,2,3,2,3,0,0,0,0,0,
0,0,1,0,0,3,2,0,0,0,0,0,0,1,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,2,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,2,0,3,0,0,0,0,0,0,0,2,0,
0,0,0,0,0,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
3,3,0,3,0,0,3,3,0,3,0,0,0,0,3,0,0,0,1,0,0,0,0,0,3,1,3,0,0,0,0,0,
0,0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,2,0,3,3,3,3,0,1,0,0,3,0,3,0,1,0,0,0,0,0,2,1,2,0,0,0,0,0,
0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,1,1,0,0,0,0,3,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,3,3,3,1,0,2,0,3,1,0,0,2,2,3,0,0,0,3,2,2,0,0,0,0,0,
0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,
3,3,3,3,2,1,3,3,3,3,2,1,1,0,3,1,0,0,0,3,0,0,2,0,2,3,3,0,0,0,0,0,
0,0,0,0,0,2,0,0,0,0,0,0,0,2,0,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,
3,3,1,3,3,3,3,3,2,3,1,0,2,2,3,0,0,0,0,0,0,0,0,0,3,2,2,0,0,0,0,0,
0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,0,1,0,0,0,3,0,3,0,0,0,2,1,0,0,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,0,3,3,0,0,2,0,2,0,3,0,3,2,0,0,2,0,0,2,0,0,1,1,1,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,3,0,3,3,3,0,3,0,2,3,3,1,0,3,1,2,3,2,0,0,0,0,0,0,0,0,0,0,1,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,1,2,2,3,0,2,3,2,2,2,2,3,1,1,0,2,1,0,0,0,1,2,1,0,0,0,0,1,0,
0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,3,2,0,0,2,0,0,3,3,1,0,3,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,1,3,1,3,3,2,3,3,0,2,2,3,1,0,2,1,1,2,0,3,0,0,2,0,0,0,2,2,2,1,2,
2,2,3,2,2,0,0,0,1,3,2,1,2,0,0,0,0,3,0,2,1,2,1,0,0,0,0,0,2,0,0,0,
3,3,0,3,0,0,0,2,2,3,0,1,3,0,2,0,0,0,1,0,0,0,0,0,2,1,2,2,2,1,0,1,
2,2,1,2,0,0,0,0,0,0,1,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,
3,3,0,3,0,0,0,3,2,3,0,0,0,0,2,0,0,0,0,0,2,2,0,0,0,2,0,3,2,2,0,1,
3,3,1,0,1,1,0,0,1,0,2,2,0,0,0,0,0,1,0,1,0,0,0,2,0,1,0,0,0,2,0,0,
3,3,0,2,0,1,1,2,1,3,0,0,1,1,2,0,0,0,1,1,1,0,0,0,2,3,0,0,0,0,2,0,
0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,0,2,0,0,2,2,3,3,0,0,0,0,2,0,1,0,0,0,3,0,0,0,0,2,0,3,0,2,0,1,
2,2,2,2,1,0,0,0,0,1,2,2,0,0,0,0,1,2,1,2,2,2,2,0,0,2,0,0,0,0,0,0,
1,0,2,0,2,3,2,0,3,1,2,2,2,0,0,1,0,0,1,1,0,0,0,0,0,0,0,3,2,2,1,2,
3,2,2,2,1,0,0,0,3,2,3,2,2,0,0,0,0,3,2,0,2,1,2,1,0,1,0,0,2,0,0,0,
0,1,2,3,2,3,3,3,3,0,2,2,2,3,0,2,3,1,2,3,3,0,2,0,0,2,0,1,2,2,2,2,
2,1,2,2,2,0,0,1,2,2,2,0,2,0,0,0,0,3,3,2,2,0,2,0,0,2,0,0,0,1,1,0,
3,3,0,3,2,0,0,3,1,3,0,2,1,2,2,0,0,1,0,0,2,0,0,0,1,2,0,2,1,0,0,1,
2,2,2,2,2,0,0,0,0,1,2,2,2,0,0,1,0,1,0,2,0,1,2,2,0,2,0,0,0,0,1,0,
3,3,0,3,0,0,3,3,3,3,0,0,0,0,2,0,0,0,0,0,3,0,0,0,2,1,0,2,0,2,0,1,
2,2,2,1,2,1,0,2,0,3,2,2,0,0,0,0,1,0,0,2,0,2,1,1,0,1,0,0,0,0,0,0,
3,3,0,3,0,0,2,3,0,2,0,0,1,2,3,0,0,0,0,0,0,0,1,0,2,0,0,3,0,1,0,2,
2,2,2,0,0,0,0,1,1,2,0,2,0,0,0,0,0,1,0,2,1,1,2,2,0,0,0,0,0,0,0,0,
0,0,1,2,3,2,0,0,3,0,0,3,2,2,0,1,0,1,2,1,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,3,0,0,0,0,0,3,0,3,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,0,0,0,0,0,2,0,3,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,
0,2,0,0,2,0,0,0,0,0,1,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,0,3,0,0,1,2,2,3,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,1,1,2,0,0,0,0,
3,2,0,0,1,0,0,0,0,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,0,2,0,0,0,2,0,3,0,0,0,0,3,0,0,0,0,0,2,0,0,0,0,1,0,3,2,2,0,2,
2,2,2,2,2,0,0,0,2,2,2,3,2,0,0,0,0,2,0,2,1,1,1,2,0,0,0,0,0,0,0,0,
3,3,1,2,0,0,3,3,0,3,0,1,0,0,2,0,0,0,0,0,3,0,0,0,1,1,0,3,1,2,0,2,
3,2,2,1,0,0,0,0,1,2,2,2,0,0,0,0,0,1,0,2,1,3,1,2,0,0,0,0,0,0,0,0,
0,0,1,2,1,3,3,3,2,0,1,2,1,2,0,2,1,0,1,2,3,0,0,0,0,0,0,2,2,2,0,2,
2,1,2,2,2,0,0,2,2,2,2,1,2,0,2,0,0,3,0,2,1,0,2,0,0,0,0,0,1,1,1,0,
3,3,0,3,0,0,3,2,3,3,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,1,2,0,1,
2,2,1,0,2,1,0,1,0,2,1,2,1,0,0,0,0,2,0,2,0,0,1,2,0,0,0,0,0,2,0,0,
0,0,0,0,3,3,0,0,2,0,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
0,0,0,0,3,1,2,0,2,0,0,1,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,3,2,0,0,3,0,2,0,2,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,0,3,0,0,0,2,0,3,0,1,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,2,
2,2,3,2,2,0,0,0,1,1,3,2,1,0,0,0,1,2,1,2,2,0,2,2,0,1,0,0,0,0,0,0,
0,1,1,0,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,1,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,2,3,2,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,3,2,2,0,2,
2,2,2,2,2,0,0,0,2,3,2,2,2,0,0,0,0,2,0,0,2,0,1,0,0,0,0,0,2,0,1,0,
2,3,0,2,0,0,3,3,2,3,0,0,1,0,2,0,0,0,0,0,1,0,0,0,0,1,1,2,0,1,0,0,
1,2,2,1,0,0,0,0,2,1,1,2,2,0,0,0,0,2,0,2,0,0,0,1,0,0,0,0,0,0,0,0,
3,3,0,2,0,0,0,3,0,3,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,1,0,3,0,0,0,0,
2,2,0,0,1,0,0,0,0,2,1,2,1,0,0,0,2,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,
2,3,0,2,0,1,3,2,2,3,0,0,0,1,3,0,0,0,0,1,1,0,0,1,0,0,1,2,2,2,0,0,
2,3,2,2,0,0,0,0,0,2,0,2,1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,
0,0,0,0,2,0,1,0,2,0,2,2,1,2,0,2,0,0,2,1,0,0,0,0,0,0,0,2,2,2,0,2,
0,0,2,2,2,0,0,0,1,2,1,1,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
2,1,2,0,1,1,1,0,2,1,2,1,0,0,0,2,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
2,3,0,2,0,0,2,1,1,2,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,2,1,1,0,0,
0,1,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,
3,0,0,0,0,0,0,0,2,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,
1,2,0,0,0,0,0,1,0,2,0,0,0,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,1,2,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,2,3,1,0,2,2,1,3,0,1,2,0,1,0,1,0,1,1,2,0,0,0,0,1,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,
0,0,2,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
};

const SequenceModel cp1252frenchModel = 
{
  french_cp1252CharToOrderMap,
  frenchLangModel,
  (float)0.986450,
  PR_TRUE,
  "cp1252"
};