Source

uchardet-enhanced / langstats / greek / LangGreekModel

Full commit
static const unsigned char greek_ISO-8859-7CharToOrderMap[] = 
{
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,255,
255,255,255, 73, 70, 79,255, 71, 77, 72,255,255, 76,255,255, 75,
255, 69,255,255,255, 74, 56,255, 51, 59, 63,255, 49,255, 65, 68,
 52, 32, 41, 44, 40, 33, 60, 48, 55, 39, 38, 47, 36, 43, 61, 42,
 34, 53,255, 25, 35, 58, 46, 50, 64, 57, 67, 78, 17, 21, 18, 15,
 66,  1, 30, 19, 23,  5, 29,  9, 27,  6, 12, 16, 13,  4, 37,  2,
 14,  7, 11,  8,  3, 10, 22, 26, 45, 24, 54, 62, 20, 28, 31,255,
};

static const PRUint8 greekLangModel[] = 
{
1,2,3,3,2,3,3,3,2,3,3,3,3,3,3,3,1,2,3,2,2,3,3,1,0,3,3,3,3,3,1,0,
0,0,0,0,3,1,0,0,0,0,0,0,2,0,0,0,0,0,0,3,0,3,0,0,0,0,0,0,0,1,0,0,
2,2,3,3,3,3,3,3,2,3,3,3,3,3,3,3,1,3,3,1,2,3,3,1,1,3,3,3,2,3,2,0,
0,0,0,0,2,1,1,0,0,0,0,0,2,0,0,0,0,0,0,2,0,2,0,0,0,0,0,0,0,2,0,0,
3,3,2,1,3,3,3,3,3,3,1,1,2,1,3,3,3,3,1,3,3,1,0,3,0,1,1,3,2,1,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,1,3,3,2,1,2,1,0,3,2,3,3,2,3,3,1,3,3,0,1,3,2,1,1,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,3,3,2,3,3,3,2,3,3,3,3,3,3,3,2,1,3,3,3,3,3,3,0,3,3,3,2,3,2,0,
0,0,0,0,3,0,0,0,0,0,0,0,2,0,0,0,0,0,0,1,0,2,0,0,0,0,0,0,0,1,0,0,
3,3,3,3,3,1,3,3,2,1,3,3,3,3,1,3,3,2,3,3,3,3,3,3,0,3,3,1,3,3,3,0,
0,0,0,0,2,0,0,0,0,1,0,0,2,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,2,3,3,1,3,3,2,3,2,3,3,3,3,3,2,2,3,0,3,3,3,1,2,3,0,
0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,1,3,3,1,3,3,3,0,3,3,3,3,2,3,3,1,2,2,3,2,3,0,3,3,3,0,2,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,1,3,3,0,0,3,3,1,1,3,3,3,2,1,3,1,0,3,0,0,2,2,1,0,2,3,2,1,1,1,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,2,3,3,2,2,3,3,1,0,3,3,3,3,2,3,2,2,3,2,1,3,3,1,0,3,3,0,3,3,2,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,1,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,2,3,3,3,2,3,3,1,3,2,2,3,3,3,3,1,3,3,2,2,3,0,1,2,3,0,1,3,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,3,3,3,1,1,3,2,1,0,3,3,3,0,3,3,0,3,3,3,1,3,0,0,0,2,0,3,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,0,3,2,1,0,0,2,3,3,3,3,0,3,3,1,0,3,0,0,0,3,0,0,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,0,3,3,3,0,3,3,3,3,0,3,0,0,3,0,0,2,3,3,0,3,2,0,3,2,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,2,3,3,0,2,3,3,1,2,2,2,3,3,3,3,2,3,3,2,2,3,0,2,3,3,1,2,3,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,2,3,3,2,2,3,3,2,1,3,3,3,3,0,3,0,0,3,0,0,3,3,2,0,3,3,0,3,3,0,0,
0,0,0,0,3,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,
0,0,3,3,0,0,3,3,0,0,3,3,3,2,0,3,0,0,3,0,0,2,2,0,0,2,3,0,1,1,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,3,3,3,3,0,3,3,0,3,3,0,3,3,3,3,3,3,3,1,2,3,0,2,0,2,0,1,3,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,2,3,3,2,2,3,3,2,1,3,3,3,3,0,3,0,0,3,0,0,2,3,1,0,3,2,0,2,2,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,2,2,3,3,2,1,3,3,3,3,0,3,0,0,3,0,0,3,3,2,0,3,2,0,2,3,0,0,
0,0,0,0,3,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,
3,3,3,2,3,3,3,1,3,3,0,0,0,0,3,2,3,3,1,3,3,1,1,3,0,0,3,3,0,0,3,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,1,3,3,3,1,3,3,0,0,0,0,3,0,3,3,1,3,3,1,1,3,0,0,0,3,0,0,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,1,3,3,1,2,3,3,2,1,3,2,3,3,2,2,2,2,2,1,1,2,2,0,0,2,2,0,1,3,1,0,
0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,1,0,0,
2,2,3,0,3,2,0,0,2,3,0,2,1,2,1,1,2,2,0,1,1,1,0,2,1,2,0,2,0,1,1,2,
2,1,2,1,0,1,2,1,0,2,1,0,0,1,1,2,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,
3,3,3,3,3,3,3,1,3,2,0,0,2,1,3,2,3,3,0,3,3,1,0,3,0,0,3,2,0,0,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,2,3,3,3,0,3,3,0,0,2,0,2,2,3,3,0,2,3,0,0,2,0,0,0,3,0,0,3,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,3,3,3,2,1,3,3,2,0,3,2,3,3,0,3,0,0,3,0,0,2,2,2,0,3,3,0,2,2,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,0,1,3,2,0,0,3,2,0,0,1,0,2,0,2,3,0,3,2,0,0,3,0,1,0,2,0,0,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,0,3,3,3,1,2,2,0,0,0,0,2,3,3,2,2,2,2,0,2,2,0,0,0,2,0,2,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,3,3,1,1,3,3,2,0,3,2,3,2,0,2,0,0,2,0,0,2,2,1,0,2,2,0,1,1,0,0,
0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,0,2,3,2,2,3,2,0,3,2,2,2,3,2,3,0,0,3,0,0,2,2,0,2,2,2,2,1,1,0,1,
1,2,2,2,3,2,2,2,1,1,2,2,1,1,2,1,0,1,0,0,2,1,1,0,0,1,0,1,1,0,0,0,
1,1,2,3,0,3,3,2,0,2,1,2,3,3,3,3,2,0,2,0,0,2,2,0,2,1,2,1,1,2,0,1,
1,2,2,1,2,2,2,1,1,1,2,1,0,1,2,1,0,1,0,0,2,0,1,0,1,1,0,0,1,1,0,0,
3,3,1,2,3,2,3,0,2,1,0,0,0,0,2,3,2,2,0,2,2,0,0,2,2,0,0,3,0,0,2,2,
2,1,1,0,0,0,2,2,0,2,0,0,0,0,1,1,0,0,0,0,2,0,0,0,1,1,0,0,0,0,0,0,
2,3,0,0,2,2,3,2,2,3,0,0,1,0,3,0,2,1,0,2,2,0,0,2,2,0,0,1,2,0,2,2,
2,1,1,0,0,0,2,0,0,2,0,0,0,0,0,2,0,0,0,0,1,0,0,0,1,1,0,1,0,0,0,0,
3,2,1,1,3,2,0,0,2,2,0,0,0,3,2,0,2,2,0,2,2,0,0,2,0,0,0,1,0,0,1,2,
2,1,0,1,0,0,1,0,1,2,1,0,0,0,1,1,0,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,
3,2,1,0,3,3,0,0,3,2,0,0,0,1,2,1,2,2,1,2,2,0,1,2,0,0,0,2,0,0,2,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,1,1,2,2,2,0,1,2,0,0,0,0,2,2,2,1,0,2,2,0,0,2,0,0,0,3,0,1,2,2,
2,0,1,1,0,1,1,1,1,2,1,0,0,0,1,2,0,0,0,0,1,0,0,0,1,1,0,0,0,0,0,0,
3,3,2,2,2,0,1,2,2,0,0,1,1,1,0,1,1,0,1,1,0,0,2,2,2,1,0,0,0,1,1,2,
1,1,1,1,0,2,1,2,1,2,2,1,0,0,1,1,0,1,0,0,1,0,1,0,2,1,0,0,0,0,0,0,
2,2,0,1,3,3,2,0,3,2,0,0,0,0,2,0,1,2,0,1,1,0,0,3,1,0,0,2,0,0,1,1,
2,0,0,0,0,0,2,1,0,2,0,0,0,1,0,2,0,0,0,0,1,0,0,0,1,1,0,0,0,0,0,0,
2,3,0,0,2,3,2,0,1,2,0,0,0,0,2,2,2,1,1,2,2,0,0,0,0,0,0,1,0,0,1,2,
1,1,0,0,0,0,2,0,0,1,0,0,0,0,2,1,0,0,0,0,1,0,0,0,1,0,0,0,0,0,0,0,
0,0,1,1,0,3,2,1,0,2,0,3,2,1,1,2,0,0,0,0,0,1,2,0,2,1,1,2,0,1,0,1,
1,1,1,2,1,1,2,1,1,1,2,2,0,1,2,1,0,2,0,0,2,0,1,0,0,2,0,0,1,0,0,1,
2,3,2,0,2,2,0,0,1,1,0,0,0,0,2,0,1,1,0,2,3,0,0,0,1,0,0,1,0,0,1,2,
2,0,2,0,0,1,2,1,0,2,1,0,0,0,0,1,0,0,0,0,0,0,1,0,1,1,0,0,0,0,0,0,
2,2,0,2,2,3,2,0,1,2,0,2,0,0,1,2,2,1,0,1,1,0,0,0,0,0,0,2,0,0,1,2,
2,0,1,1,0,1,2,0,0,2,1,1,0,0,1,1,0,1,0,0,1,0,0,0,1,1,0,0,0,0,0,0,
2,2,1,0,3,2,0,0,3,2,0,0,0,0,2,0,2,2,0,1,2,0,0,2,0,0,0,2,0,0,1,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,1,0,3,2,2,0,0,2,0,0,0,0,3,2,2,0,0,2,1,0,0,2,0,0,1,1,0,0,1,2,
1,0,0,0,0,1,1,0,0,1,0,1,0,0,1,1,0,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,
2,3,0,0,2,2,0,0,1,2,0,0,0,0,2,0,2,1,0,2,2,0,0,1,0,0,0,1,0,0,0,2,
2,0,0,0,0,0,2,0,0,2,0,1,0,1,2,2,0,0,0,0,0,0,0,0,1,1,0,0,0,0,0,0,
0,0,0,1,0,0,2,1,0,0,0,1,2,1,0,2,0,0,1,0,0,1,1,0,2,1,1,1,0,0,0,0,
1,1,1,2,0,1,0,0,0,0,2,1,0,0,1,1,0,1,0,0,1,0,1,0,0,0,0,0,1,0,0,0,
0,0,2,1,0,0,2,2,0,0,0,0,2,2,0,3,0,0,1,0,0,1,0,0,0,2,2,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,1,0,2,1,3,0,1,0,0,0,0,0,2,0,2,0,0,1,1,0,0,1,0,0,1,0,0,0,1,1,
1,2,1,0,0,0,1,0,0,1,1,0,0,0,0,1,0,0,0,0,1,0,0,0,2,0,0,0,0,0,0,0,
0,0,2,2,0,0,2,2,0,0,0,2,2,2,0,2,0,0,1,0,0,3,1,1,0,2,1,0,0,2,0,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,3,1,1,0,0,1,2,0,0,0,1,1,0,0,1,0,0,0,0,0,0,2,0,0,0,0,0,1,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,0,0,2,2,0,0,1,1,0,0,0,0,1,0,2,1,0,2,1,0,0,2,1,0,0,0,0,0,2,2,
2,0,1,1,0,1,2,1,0,2,1,1,0,0,1,2,0,1,0,0,1,0,0,0,2,1,0,0,0,0,0,0,
1,1,1,1,0,0,1,3,0,0,0,2,1,0,0,1,1,0,1,1,0,0,2,0,0,1,0,0,1,1,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,1,0,0,2,1,2,0,1,1,0,0,0,0,0,0,2,1,0,1,2,0,0,1,0,0,0,1,0,0,1,1,
1,0,0,0,0,0,1,0,0,1,1,0,0,0,1,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,
0,1,1,2,0,1,2,2,0,1,0,1,2,1,0,2,0,0,2,0,0,1,2,0,0,0,1,0,0,1,0,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,1,0,1,2,1,0,0,2,1,1,0,0,0,0,0,0,0,0,0,0,0,2,1,0,0,0,0,0,1,
0,0,2,1,0,0,0,0,1,0,2,1,0,0,1,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,1,0,0,0,0,0,0,1,2,0,0,0,0,1,1,0,0,2,0,1,0,0,0,0,0,0,1,
0,1,1,1,0,1,1,1,1,0,2,1,1,0,1,0,0,1,0,0,2,0,1,0,0,0,0,0,0,0,0,1,
0,0,2,0,0,0,2,1,0,0,0,1,1,1,0,1,0,0,0,0,0,0,1,0,0,1,1,0,0,0,0,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,
2,1,0,0,2,1,0,0,1,1,0,0,0,0,0,0,1,1,0,0,1,0,0,1,0,0,0,0,0,0,1,1,
0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,1,0,0,1,1,0,0,1,1,0,0,0,0,0,0,1,0,0,0,2,0,0,0,0,0,0,1,0,0,0,1,
1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,1,0,1,0,
0,0,0,1,0,0,0,1,0,0,0,0,1,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,0,0,1,0,0,0,2,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,0,0,0,1,1,0,0,1,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,
0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
};

const SequenceModel ISO-8859-7greekModel = 
{
  greek_ISO-8859-7CharToOrderMap,
  greekLangModel,
  (float)0.969241,
  PR_TRUE,
  "ISO-8859-7"
};