Source

uchardet-enhanced / langstats / greek / LangGreekModel1

Full commit
static const unsigned char greek_WINDOWS-1253CharToOrderMap[] = 
{
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
 69,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255, 55,255,255,255,255,255,255,255,255,255,255,255,255,255,
255, 68,255,255,255, 71,255,255, 51, 58, 62,255, 49,255, 64, 67,
 52, 32, 41, 44, 40, 33, 59, 48, 54, 39, 38, 47, 36, 43, 60, 42,
 34,255,255, 25, 35, 57, 46, 50, 63, 56, 66, 70, 17, 21, 18, 15,
 65,  1, 30, 19, 23,  5, 29,  9, 27,  6, 12, 16, 13,  4, 37,  2,
 14,  7, 11,  8,  3, 10, 22, 26, 45, 24, 53, 61, 20, 28, 31,255,
};

static const PRUint8 greekLangModel[] = 
{
1,2,3,3,2,3,3,3,2,3,3,3,3,3,3,3,1,2,3,2,2,3,3,1,0,3,3,3,3,3,1,0,
0,0,0,0,3,1,0,0,0,0,0,0,2,0,0,0,0,0,0,3,3,0,0,0,0,0,0,0,1,0,0,0,
2,2,3,3,3,3,3,3,2,3,3,3,3,3,3,3,1,3,3,1,2,3,3,1,1,3,3,3,2,3,2,0,
0,0,0,0,2,1,1,0,0,0,0,0,2,0,0,0,0,0,0,2,2,0,0,0,0,0,0,0,2,0,0,0,
3,3,2,1,3,3,3,3,3,3,2,1,2,1,3,3,3,3,1,3,3,1,0,3,0,1,1,3,2,1,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,1,3,3,2,1,2,1,0,3,2,3,3,2,3,3,1,3,3,0,1,3,2,1,1,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,3,3,2,3,3,3,2,3,3,3,3,3,3,3,2,1,3,3,3,3,3,3,0,3,3,3,2,3,2,0,
0,0,0,0,3,0,0,0,0,0,0,0,2,0,0,0,0,0,0,1,2,0,0,0,0,0,0,0,1,0,0,0,
3,3,3,3,3,1,3,3,2,1,3,3,3,3,1,3,3,2,3,3,3,3,3,3,0,3,3,1,3,3,3,0,
0,0,0,0,2,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,2,3,3,1,3,3,2,3,2,3,3,3,3,3,2,2,3,0,3,3,3,1,2,3,0,
0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,1,3,3,1,3,3,3,0,3,3,3,3,2,3,3,1,2,2,3,2,3,0,3,3,3,0,2,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,1,3,3,0,0,3,3,1,2,3,3,3,2,1,3,1,0,3,0,0,2,2,1,0,2,3,2,1,1,1,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,2,3,3,2,2,3,3,2,0,3,3,3,3,2,3,2,2,3,2,2,3,3,2,0,3,3,0,3,3,2,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,1,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,2,3,3,3,2,3,3,1,3,2,2,3,3,3,3,1,3,3,2,2,3,0,1,2,3,0,1,3,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,3,3,3,1,1,3,2,1,0,3,3,3,0,3,3,0,3,3,3,1,3,0,0,0,2,0,3,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,0,3,2,1,0,0,2,3,3,3,3,0,3,3,1,0,3,0,0,0,3,0,0,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,0,3,3,3,0,3,3,3,3,0,3,0,0,3,0,0,2,3,3,0,3,2,0,3,2,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,2,3,3,0,2,3,3,1,2,2,2,3,3,3,3,2,3,3,2,2,3,0,2,3,3,1,2,3,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,2,3,3,2,2,3,3,2,1,3,3,3,3,0,3,0,0,3,0,0,3,3,2,0,3,3,0,3,3,0,0,
0,0,0,0,3,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
0,0,3,3,0,0,3,3,0,0,3,3,3,2,0,3,0,0,3,0,0,2,2,0,0,2,3,0,1,1,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,3,3,3,3,0,3,3,0,3,3,0,3,3,3,3,3,3,3,1,2,3,0,2,0,2,0,1,3,0,
0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,2,3,3,2,2,3,3,2,1,3,3,3,3,0,3,0,0,3,0,0,2,3,1,0,3,2,0,2,2,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,2,2,3,3,2,1,3,3,3,3,0,3,0,0,3,0,0,3,3,2,0,3,2,0,2,3,0,0,
0,0,0,0,3,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,2,3,3,3,1,3,3,0,0,0,0,3,2,3,3,1,3,3,1,1,3,0,0,3,3,0,0,3,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,1,3,3,3,1,3,3,0,0,0,0,3,0,3,3,1,3,3,1,1,3,0,0,0,3,0,0,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,1,3,3,1,2,3,3,2,1,3,2,3,3,2,2,2,2,2,1,1,2,2,0,0,2,2,0,1,3,1,0,
0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,1,0,0,0,
2,2,3,0,3,2,0,0,2,3,0,2,1,2,1,1,2,2,0,1,1,1,0,2,1,2,0,2,0,1,1,2,
2,1,2,1,0,1,2,1,0,2,1,0,0,1,1,2,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,1,3,2,0,0,2,1,3,2,3,3,0,3,3,1,0,3,0,0,3,2,0,0,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,2,3,3,3,0,3,3,0,0,2,0,2,2,3,3,0,2,3,0,0,2,0,0,0,3,0,0,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,3,3,3,2,1,3,3,2,0,3,2,3,3,0,3,0,0,3,0,0,2,2,2,0,3,3,0,2,2,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,0,1,3,2,0,0,3,2,0,0,1,0,2,0,2,3,0,3,2,0,0,3,0,1,0,2,0,0,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,0,3,3,3,1,2,2,0,0,0,0,2,3,3,2,2,2,2,0,2,2,0,0,0,2,0,2,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,3,3,1,1,3,3,2,0,3,2,3,2,0,2,0,0,2,0,0,2,2,1,0,2,2,0,1,1,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,0,2,3,2,2,3,2,0,3,2,2,2,3,2,3,0,0,3,0,0,2,2,0,2,2,2,2,1,2,0,1,
1,2,2,2,3,2,2,2,1,1,2,2,1,1,2,1,0,1,0,0,1,1,0,0,1,0,1,1,0,0,0,0,
1,1,2,3,0,3,3,2,0,2,1,2,3,3,3,3,2,0,2,0,0,2,2,0,2,1,2,1,1,2,0,1,
1,2,2,1,2,2,2,1,1,1,2,1,0,1,2,1,0,1,0,0,0,1,0,1,1,0,0,1,1,0,0,0,
3,3,1,2,3,2,3,0,2,1,0,0,0,0,2,3,2,2,0,2,2,0,0,2,2,0,0,3,0,0,2,2,
2,1,1,0,0,0,2,2,0,2,0,0,0,0,1,1,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,
2,3,0,0,2,2,3,2,2,3,0,0,1,0,3,0,2,1,0,2,2,0,0,2,2,0,0,1,2,0,2,2,
2,1,1,0,0,0,2,0,0,2,0,0,0,0,0,2,0,0,0,0,0,0,0,1,1,0,1,0,0,0,0,0,
3,2,1,1,3,2,0,0,2,2,0,0,0,3,2,0,2,2,0,2,2,0,0,2,0,0,0,1,0,0,1,2,
2,1,0,1,0,0,1,0,1,2,1,0,0,0,1,1,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,
3,2,1,0,3,3,0,0,3,2,0,0,0,1,2,1,2,2,1,2,2,0,1,2,0,0,0,2,0,0,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,1,2,2,2,0,1,2,0,0,0,0,2,2,2,1,0,2,2,0,0,2,0,0,0,3,0,1,2,2,
2,0,1,1,0,1,1,1,1,2,1,0,0,0,1,2,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,
3,3,2,2,2,0,1,2,2,0,0,1,1,1,0,1,1,0,1,1,0,0,2,2,2,1,0,0,0,1,1,2,
1,1,2,1,0,2,1,2,1,2,2,1,0,0,1,1,0,1,0,0,0,1,0,2,1,0,0,0,0,0,0,0,
2,2,0,1,3,3,2,0,3,2,0,0,0,0,2,0,1,2,0,1,1,0,0,3,1,0,0,2,0,0,1,1,
2,0,0,0,0,0,2,1,0,2,0,0,0,1,0,2,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,
2,3,0,0,2,3,2,0,1,2,0,0,0,0,2,2,2,1,1,2,2,0,0,0,0,0,0,1,0,0,1,2,
1,1,0,0,0,0,2,0,0,1,0,0,0,0,2,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,
0,0,1,2,0,3,2,1,0,2,0,3,2,1,1,2,0,0,0,0,0,1,2,0,2,1,1,2,0,1,0,1,
1,1,2,2,1,1,2,2,1,1,2,2,0,1,2,1,0,2,0,0,0,1,0,0,2,0,0,1,0,0,1,0,
2,3,2,0,2,2,0,0,1,1,0,0,0,0,2,0,2,1,0,2,3,0,0,0,1,0,0,1,0,0,1,2,
2,0,2,0,0,1,2,1,0,2,1,0,0,0,0,1,0,0,0,0,0,1,0,1,1,0,0,0,0,0,0,0,
2,2,0,2,2,3,2,0,1,2,0,2,0,0,1,2,2,1,0,1,1,0,0,0,0,0,0,2,0,0,1,2,
2,0,1,1,0,1,2,0,0,2,1,1,0,0,1,1,0,1,0,0,0,0,0,1,1,0,0,0,0,0,0,0,
2,2,1,0,3,2,0,0,3,2,0,0,0,0,2,0,2,2,0,1,2,0,0,2,0,0,0,2,0,0,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,1,0,3,2,2,0,0,2,0,0,0,0,3,2,2,0,0,2,1,0,0,2,0,0,1,2,0,0,1,2,
1,0,0,0,0,1,1,0,0,1,0,1,0,0,1,1,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,
2,3,0,0,2,2,0,0,1,2,0,0,0,0,2,0,2,1,0,2,2,0,0,1,0,0,0,1,0,0,0,2,
2,0,0,0,0,0,2,0,0,2,0,1,0,1,2,2,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,0,
0,0,0,2,0,0,2,1,0,0,0,1,2,1,0,2,0,0,1,0,0,1,1,0,2,1,1,1,0,0,0,0,
1,1,1,2,0,1,0,0,0,0,2,1,0,0,1,1,0,1,0,0,0,1,0,0,0,0,0,1,0,0,0,0,
0,0,2,1,0,0,2,2,0,0,0,0,2,2,0,3,0,0,1,0,0,1,0,0,0,2,2,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,1,0,2,1,3,0,1,0,0,0,0,0,2,0,2,0,0,1,1,0,0,2,0,0,1,0,0,0,1,1,
1,2,1,0,0,0,1,0,0,1,1,0,0,0,0,1,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,
0,0,2,2,0,0,2,2,0,0,0,2,2,2,0,2,0,0,1,0,0,3,1,1,0,2,1,0,0,2,0,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,3,1,1,0,0,1,2,0,0,0,1,1,0,0,1,0,0,0,0,0,0,2,0,0,0,0,0,1,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,1,1,2,0,0,1,3,0,0,0,2,1,0,0,1,1,0,1,1,0,0,2,0,0,1,0,0,1,1,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,1,0,0,2,1,2,0,1,1,0,0,0,0,0,0,2,1,0,1,2,0,0,1,0,0,0,1,0,0,1,1,
1,0,0,0,0,0,1,0,0,1,1,0,0,0,1,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,
0,1,1,2,0,1,2,2,0,1,0,1,2,1,0,2,0,0,2,0,0,1,2,0,0,0,1,0,0,1,0,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,1,0,1,2,1,0,0,2,1,1,0,0,0,0,0,0,0,0,0,0,0,2,1,0,0,0,0,0,1,
0,0,2,1,0,0,0,0,1,0,2,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,1,0,0,0,0,0,0,1,2,0,0,0,0,1,1,0,0,2,0,1,0,0,0,0,0,0,1,
0,1,1,1,0,1,1,1,1,0,2,1,1,0,1,0,0,1,0,0,0,1,0,0,0,0,0,0,0,0,1,0,
0,0,2,0,0,0,2,1,0,0,0,1,1,1,0,1,0,0,0,0,0,0,1,0,0,1,1,0,0,0,0,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,
2,1,0,0,2,1,0,0,1,1,0,0,0,0,0,0,1,1,0,0,1,0,0,1,0,0,0,0,0,0,1,1,
0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,1,0,0,1,1,0,0,1,1,0,0,0,0,0,0,1,0,0,0,2,0,0,0,0,0,0,1,0,0,0,1,
1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,1,0,1,0,0,
0,0,0,1,0,0,0,1,0,0,0,0,1,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,0,0,1,0,0,0,2,0,0,0,0,1,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,0,0,0,1,1,0,0,1,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,
0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
};

const SequenceModel WINDOWS-1253greekModel = 
{
  greek_WINDOWS-1253CharToOrderMap,
  greekLangModel,
  (float)0.969893,
  PR_TRUE,
  "WINDOWS-1253"
};