Mercurial Repositories > eric / file comparison

comparison: ThirdParty/CharDet/chardet/mbcssm.py

ThirdParty/CharDet/chardet/mbcssm.py

changeset 0
de9c2efb9d02
child 12
1d8dd9706f46
equal deleted inserted replaced
-1:000000000000 0:de9c2efb9d02
1 ######################## BEGIN LICENSE BLOCK ########################
2 # The Original Code is mozilla.org code.
3 #
4 # The Initial Developer of the Original Code is
5 # Netscape Communications Corporation.
6 # Portions created by the Initial Developer are Copyright (C) 1998
7 # the Initial Developer. All Rights Reserved.
8 #
9 # Contributor(s):
10 # Mark Pilgrim - port to Python
11 #
12 # This library is free software; you can redistribute it and/or
13 # modify it under the terms of the GNU Lesser General Public
14 # License as published by the Free Software Foundation; either
15 # version 2.1 of the License, or (at your option) any later version.
16 #
17 # This library is distributed in the hope that it will be useful,
18 # but WITHOUT ANY WARRANTY; without even the implied warranty of
19 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
20 # Lesser General Public License for more details.
21 #
22 # You should have received a copy of the GNU Lesser General Public
23 # License along with this library; if not, write to the Free Software
24 # Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA
25 # 02110-1301 USA
26 ######################### END LICENSE BLOCK #########################
27
28 from constants import eStart, eError, eItsMe
29
30 # BIG5
31
32 BIG5_cls = ( \
33 1,1,1,1,1,1,1,1, # 00 - 07 #allow 0x00 as legal value
34 1,1,1,1,1,1,0,0, # 08 - 0f
35 1,1,1,1,1,1,1,1, # 10 - 17
36 1,1,1,0,1,1,1,1, # 18 - 1f
37 1,1,1,1,1,1,1,1, # 20 - 27
38 1,1,1,1,1,1,1,1, # 28 - 2f
39 1,1,1,1,1,1,1,1, # 30 - 37
40 1,1,1,1,1,1,1,1, # 38 - 3f
41 2,2,2,2,2,2,2,2, # 40 - 47
42 2,2,2,2,2,2,2,2, # 48 - 4f
43 2,2,2,2,2,2,2,2, # 50 - 57
44 2,2,2,2,2,2,2,2, # 58 - 5f
45 2,2,2,2,2,2,2,2, # 60 - 67
46 2,2,2,2,2,2,2,2, # 68 - 6f
47 2,2,2,2,2,2,2,2, # 70 - 77
48 2,2,2,2,2,2,2,1, # 78 - 7f
49 4,4,4,4,4,4,4,4, # 80 - 87
50 4,4,4,4,4,4,4,4, # 88 - 8f
51 4,4,4,4,4,4,4,4, # 90 - 97
52 4,4,4,4,4,4,4,4, # 98 - 9f
53 4,3,3,3,3,3,3,3, # a0 - a7
54 3,3,3,3,3,3,3,3, # a8 - af
55 3,3,3,3,3,3,3,3, # b0 - b7
56 3,3,3,3,3,3,3,3, # b8 - bf
57 3,3,3,3,3,3,3,3, # c0 - c7
58 3,3,3,3,3,3,3,3, # c8 - cf
59 3,3,3,3,3,3,3,3, # d0 - d7
60 3,3,3,3,3,3,3,3, # d8 - df
61 3,3,3,3,3,3,3,3, # e0 - e7
62 3,3,3,3,3,3,3,3, # e8 - ef
63 3,3,3,3,3,3,3,3, # f0 - f7
64 3,3,3,3,3,3,3,0) # f8 - ff
65
66 BIG5_st = ( \
67 eError,eStart,eStart, 3,eError,eError,eError,eError,#00-07
68 eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,#08-0f
69 eError,eStart,eStart,eStart,eStart,eStart,eStart,eStart)#10-17
70
71 Big5CharLenTable = (0, 1, 1, 2, 0)
72
73 Big5SMModel = {'classTable': BIG5_cls,
74 'classFactor': 5,
75 'stateTable': BIG5_st,
76 'charLenTable': Big5CharLenTable,
77 'name': 'Big5'}
78
79 # EUC-JP
80
81 EUCJP_cls = ( \
82 4,4,4,4,4,4,4,4, # 00 - 07
83 4,4,4,4,4,4,5,5, # 08 - 0f
84 4,4,4,4,4,4,4,4, # 10 - 17
85 4,4,4,5,4,4,4,4, # 18 - 1f
86 4,4,4,4,4,4,4,4, # 20 - 27
87 4,4,4,4,4,4,4,4, # 28 - 2f
88 4,4,4,4,4,4,4,4, # 30 - 37
89 4,4,4,4,4,4,4,4, # 38 - 3f
90 4,4,4,4,4,4,4,4, # 40 - 47
91 4,4,4,4,4,4,4,4, # 48 - 4f
92 4,4,4,4,4,4,4,4, # 50 - 57
93 4,4,4,4,4,4,4,4, # 58 - 5f
94 4,4,4,4,4,4,4,4, # 60 - 67
95 4,4,4,4,4,4,4,4, # 68 - 6f
96 4,4,4,4,4,4,4,4, # 70 - 77
97 4,4,4,4,4,4,4,4, # 78 - 7f
98 5,5,5,5,5,5,5,5, # 80 - 87
99 5,5,5,5,5,5,1,3, # 88 - 8f
100 5,5,5,5,5,5,5,5, # 90 - 97
101 5,5,5,5,5,5,5,5, # 98 - 9f
102 5,2,2,2,2,2,2,2, # a0 - a7
103 2,2,2,2,2,2,2,2, # a8 - af
104 2,2,2,2,2,2,2,2, # b0 - b7
105 2,2,2,2,2,2,2,2, # b8 - bf
106 2,2,2,2,2,2,2,2, # c0 - c7
107 2,2,2,2,2,2,2,2, # c8 - cf
108 2,2,2,2,2,2,2,2, # d0 - d7
109 2,2,2,2,2,2,2,2, # d8 - df
110 0,0,0,0,0,0,0,0, # e0 - e7
111 0,0,0,0,0,0,0,0, # e8 - ef
112 0,0,0,0,0,0,0,0, # f0 - f7
113 0,0,0,0,0,0,0,5) # f8 - ff
114
115 EUCJP_st = ( \
116 3, 4, 3, 5,eStart,eError,eError,eError,#00-07
117 eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,#08-0f
118 eItsMe,eItsMe,eStart,eError,eStart,eError,eError,eError,#10-17
119 eError,eError,eStart,eError,eError,eError, 3,eError,#18-1f
120 3,eError,eError,eError,eStart,eStart,eStart,eStart)#20-27
121
122 EUCJPCharLenTable = (2, 2, 2, 3, 1, 0)
123
124 EUCJPSMModel = {'classTable': EUCJP_cls,
125 'classFactor': 6,
126 'stateTable': EUCJP_st,
127 'charLenTable': EUCJPCharLenTable,
128 'name': 'EUC-JP'}
129
130 # EUC-KR
131
132 EUCKR_cls = ( \
133 1,1,1,1,1,1,1,1, # 00 - 07
134 1,1,1,1,1,1,0,0, # 08 - 0f
135 1,1,1,1,1,1,1,1, # 10 - 17
136 1,1,1,0,1,1,1,1, # 18 - 1f
137 1,1,1,1,1,1,1,1, # 20 - 27
138 1,1,1,1,1,1,1,1, # 28 - 2f
139 1,1,1,1,1,1,1,1, # 30 - 37
140 1,1,1,1,1,1,1,1, # 38 - 3f
141 1,1,1,1,1,1,1,1, # 40 - 47
142 1,1,1,1,1,1,1,1, # 48 - 4f
143 1,1,1,1,1,1,1,1, # 50 - 57
144 1,1,1,1,1,1,1,1, # 58 - 5f
145 1,1,1,1,1,1,1,1, # 60 - 67
146 1,1,1,1,1,1,1,1, # 68 - 6f
147 1,1,1,1,1,1,1,1, # 70 - 77
148 1,1,1,1,1,1,1,1, # 78 - 7f
149 0,0,0,0,0,0,0,0, # 80 - 87
150 0,0,0,0,0,0,0,0, # 88 - 8f
151 0,0,0,0,0,0,0,0, # 90 - 97
152 0,0,0,0,0,0,0,0, # 98 - 9f
153 0,2,2,2,2,2,2,2, # a0 - a7
154 2,2,2,2,2,3,3,3, # a8 - af
155 2,2,2,2,2,2,2,2, # b0 - b7
156 2,2,2,2,2,2,2,2, # b8 - bf
157 2,2,2,2,2,2,2,2, # c0 - c7
158 2,3,2,2,2,2,2,2, # c8 - cf
159 2,2,2,2,2,2,2,2, # d0 - d7
160 2,2,2,2,2,2,2,2, # d8 - df
161 2,2,2,2,2,2,2,2, # e0 - e7
162 2,2,2,2,2,2,2,2, # e8 - ef
163 2,2,2,2,2,2,2,2, # f0 - f7
164 2,2,2,2,2,2,2,0) # f8 - ff
165
166 EUCKR_st = (
167 eError,eStart, 3,eError,eError,eError,eError,eError,#00-07
168 eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart,eStart)#08-0f
169
170 EUCKRCharLenTable = (0, 1, 2, 0)
171
172 EUCKRSMModel = {'classTable': EUCKR_cls,
173 'classFactor': 4,
174 'stateTable': EUCKR_st,
175 'charLenTable': EUCKRCharLenTable,
176 'name': 'EUC-KR'}
177
178 # EUC-TW
179
180 EUCTW_cls = ( \
181 2,2,2,2,2,2,2,2, # 00 - 07
182 2,2,2,2,2,2,0,0, # 08 - 0f
183 2,2,2,2,2,2,2,2, # 10 - 17
184 2,2,2,0,2,2,2,2, # 18 - 1f
185 2,2,2,2,2,2,2,2, # 20 - 27
186 2,2,2,2,2,2,2,2, # 28 - 2f
187 2,2,2,2,2,2,2,2, # 30 - 37
188 2,2,2,2,2,2,2,2, # 38 - 3f
189 2,2,2,2,2,2,2,2, # 40 - 47
190 2,2,2,2,2,2,2,2, # 48 - 4f
191 2,2,2,2,2,2,2,2, # 50 - 57
192 2,2,2,2,2,2,2,2, # 58 - 5f
193 2,2,2,2,2,2,2,2, # 60 - 67
194 2,2,2,2,2,2,2,2, # 68 - 6f
195 2,2,2,2,2,2,2,2, # 70 - 77
196 2,2,2,2,2,2,2,2, # 78 - 7f
197 0,0,0,0,0,0,0,0, # 80 - 87
198 0,0,0,0,0,0,6,0, # 88 - 8f
199 0,0,0,0,0,0,0,0, # 90 - 97
200 0,0,0,0,0,0,0,0, # 98 - 9f
201 0,3,4,4,4,4,4,4, # a0 - a7
202 5,5,1,1,1,1,1,1, # a8 - af
203 1,1,1,1,1,1,1,1, # b0 - b7
204 1,1,1,1,1,1,1,1, # b8 - bf
205 1,1,3,1,3,3,3,3, # c0 - c7
206 3,3,3,3,3,3,3,3, # c8 - cf
207 3,3,3,3,3,3,3,3, # d0 - d7
208 3,3,3,3,3,3,3,3, # d8 - df
209 3,3,3,3,3,3,3,3, # e0 - e7
210 3,3,3,3,3,3,3,3, # e8 - ef
211 3,3,3,3,3,3,3,3, # f0 - f7
212 3,3,3,3,3,3,3,0) # f8 - ff
213
214 EUCTW_st = ( \
215 eError,eError,eStart, 3, 3, 3, 4,eError,#00-07
216 eError,eError,eError,eError,eError,eError,eItsMe,eItsMe,#08-0f
217 eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,eStart,eError,#10-17
218 eStart,eStart,eStart,eError,eError,eError,eError,eError,#18-1f
219 5,eError,eError,eError,eStart,eError,eStart,eStart,#20-27
220 eStart,eError,eStart,eStart,eStart,eStart,eStart,eStart)#28-2f
221
222 EUCTWCharLenTable = (0, 0, 1, 2, 2, 2, 3)
223
224 EUCTWSMModel = {'classTable': EUCTW_cls,
225 'classFactor': 7,
226 'stateTable': EUCTW_st,
227 'charLenTable': EUCTWCharLenTable,
228 'name': 'x-euc-tw'}
229
230 # GB2312
231
232 GB2312_cls = ( \
233 1,1,1,1,1,1,1,1, # 00 - 07
234 1,1,1,1,1,1,0,0, # 08 - 0f
235 1,1,1,1,1,1,1,1, # 10 - 17
236 1,1,1,0,1,1,1,1, # 18 - 1f
237 1,1,1,1,1,1,1,1, # 20 - 27
238 1,1,1,1,1,1,1,1, # 28 - 2f
239 3,3,3,3,3,3,3,3, # 30 - 37
240 3,3,1,1,1,1,1,1, # 38 - 3f
241 2,2,2,2,2,2,2,2, # 40 - 47
242 2,2,2,2,2,2,2,2, # 48 - 4f
243 2,2,2,2,2,2,2,2, # 50 - 57
244 2,2,2,2,2,2,2,2, # 58 - 5f
245 2,2,2,2,2,2,2,2, # 60 - 67
246 2,2,2,2,2,2,2,2, # 68 - 6f
247 2,2,2,2,2,2,2,2, # 70 - 77
248 2,2,2,2,2,2,2,4, # 78 - 7f
249 5,6,6,6,6,6,6,6, # 80 - 87
250 6,6,6,6,6,6,6,6, # 88 - 8f
251 6,6,6,6,6,6,6,6, # 90 - 97
252 6,6,6,6,6,6,6,6, # 98 - 9f
253 6,6,6,6,6,6,6,6, # a0 - a7
254 6,6,6,6,6,6,6,6, # a8 - af
255 6,6,6,6,6,6,6,6, # b0 - b7
256 6,6,6,6,6,6,6,6, # b8 - bf
257 6,6,6,6,6,6,6,6, # c0 - c7
258 6,6,6,6,6,6,6,6, # c8 - cf
259 6,6,6,6,6,6,6,6, # d0 - d7
260 6,6,6,6,6,6,6,6, # d8 - df
261 6,6,6,6,6,6,6,6, # e0 - e7
262 6,6,6,6,6,6,6,6, # e8 - ef
263 6,6,6,6,6,6,6,6, # f0 - f7
264 6,6,6,6,6,6,6,0) # f8 - ff
265
266 GB2312_st = ( \
267 eError,eStart,eStart,eStart,eStart,eStart, 3,eError,#00-07
268 eError,eError,eError,eError,eError,eError,eItsMe,eItsMe,#08-0f
269 eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eError,eError,eStart,#10-17
270 4,eError,eStart,eStart,eError,eError,eError,eError,#18-1f
271 eError,eError, 5,eError,eError,eError,eItsMe,eError,#20-27
272 eError,eError,eStart,eStart,eStart,eStart,eStart,eStart)#28-2f
273
274 # To be accurate, the length of class 6 can be either 2 or 4.
275 # But it is not necessary to discriminate between the two since
276 # it is used for frequency analysis only, and we are validing
277 # each code range there as well. So it is safe to set it to be
278 # 2 here.
279 GB2312CharLenTable = (0, 1, 1, 1, 1, 1, 2)
280
281 GB2312SMModel = {'classTable': GB2312_cls,
282 'classFactor': 7,
283 'stateTable': GB2312_st,
284 'charLenTable': GB2312CharLenTable,
285 'name': 'GB2312'}
286
287 # Shift_JIS
288
289 SJIS_cls = ( \
290 1,1,1,1,1,1,1,1, # 00 - 07
291 1,1,1,1,1,1,0,0, # 08 - 0f
292 1,1,1,1,1,1,1,1, # 10 - 17
293 1,1,1,0,1,1,1,1, # 18 - 1f
294 1,1,1,1,1,1,1,1, # 20 - 27
295 1,1,1,1,1,1,1,1, # 28 - 2f
296 1,1,1,1,1,1,1,1, # 30 - 37
297 1,1,1,1,1,1,1,1, # 38 - 3f
298 2,2,2,2,2,2,2,2, # 40 - 47
299 2,2,2,2,2,2,2,2, # 48 - 4f
300 2,2,2,2,2,2,2,2, # 50 - 57
301 2,2,2,2,2,2,2,2, # 58 - 5f
302 2,2,2,2,2,2,2,2, # 60 - 67
303 2,2,2,2,2,2,2,2, # 68 - 6f
304 2,2,2,2,2,2,2,2, # 70 - 77
305 2,2,2,2,2,2,2,1, # 78 - 7f
306 3,3,3,3,3,3,3,3, # 80 - 87
307 3,3,3,3,3,3,3,3, # 88 - 8f
308 3,3,3,3,3,3,3,3, # 90 - 97
309 3,3,3,3,3,3,3,3, # 98 - 9f
310 #0xa0 is illegal in sjis encoding, but some pages does
311 #contain such byte. We need to be more error forgiven.
312 2,2,2,2,2,2,2,2, # a0 - a7
313 2,2,2,2,2,2,2,2, # a8 - af
314 2,2,2,2,2,2,2,2, # b0 - b7
315 2,2,2,2,2,2,2,2, # b8 - bf
316 2,2,2,2,2,2,2,2, # c0 - c7
317 2,2,2,2,2,2,2,2, # c8 - cf
318 2,2,2,2,2,2,2,2, # d0 - d7
319 2,2,2,2,2,2,2,2, # d8 - df
320 3,3,3,3,3,3,3,3, # e0 - e7
321 3,3,3,3,3,4,4,4, # e8 - ef
322 4,4,4,4,4,4,4,4, # f0 - f7
323 4,4,4,4,4,0,0,0) # f8 - ff
324
325 SJIS_st = ( \
326 eError,eStart,eStart, 3,eError,eError,eError,eError,#00-07
327 eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,#08-0f
328 eItsMe,eItsMe,eError,eError,eStart,eStart,eStart,eStart)#10-17
329
330 SJISCharLenTable = (0, 1, 1, 2, 0, 0)
331
332 SJISSMModel = {'classTable': SJIS_cls,
333 'classFactor': 6,
334 'stateTable': SJIS_st,
335 'charLenTable': SJISCharLenTable,
336 'name': 'Shift_JIS'}
337
338 # UCS2-BE
339
340 UCS2BE_cls = ( \
341 0,0,0,0,0,0,0,0, # 00 - 07
342 0,0,1,0,0,2,0,0, # 08 - 0f
343 0,0,0,0,0,0,0,0, # 10 - 17
344 0,0,0,3,0,0,0,0, # 18 - 1f
345 0,0,0,0,0,0,0,0, # 20 - 27
346 0,3,3,3,3,3,0,0, # 28 - 2f
347 0,0,0,0,0,0,0,0, # 30 - 37
348 0,0,0,0,0,0,0,0, # 38 - 3f
349 0,0,0,0,0,0,0,0, # 40 - 47
350 0,0,0,0,0,0,0,0, # 48 - 4f
351 0,0,0,0,0,0,0,0, # 50 - 57
352 0,0,0,0,0,0,0,0, # 58 - 5f
353 0,0,0,0,0,0,0,0, # 60 - 67
354 0,0,0,0,0,0,0,0, # 68 - 6f
355 0,0,0,0,0,0,0,0, # 70 - 77
356 0,0,0,0,0,0,0,0, # 78 - 7f
357 0,0,0,0,0,0,0,0, # 80 - 87
358 0,0,0,0,0,0,0,0, # 88 - 8f
359 0,0,0,0,0,0,0,0, # 90 - 97
360 0,0,0,0,0,0,0,0, # 98 - 9f
361 0,0,0,0,0,0,0,0, # a0 - a7
362 0,0,0,0,0,0,0,0, # a8 - af
363 0,0,0,0,0,0,0,0, # b0 - b7
364 0,0,0,0,0,0,0,0, # b8 - bf
365 0,0,0,0,0,0,0,0, # c0 - c7
366 0,0,0,0,0,0,0,0, # c8 - cf
367 0,0,0,0,0,0,0,0, # d0 - d7
368 0,0,0,0,0,0,0,0, # d8 - df
369 0,0,0,0,0,0,0,0, # e0 - e7
370 0,0,0,0,0,0,0,0, # e8 - ef
371 0,0,0,0,0,0,0,0, # f0 - f7
372 0,0,0,0,0,0,4,5) # f8 - ff
373
374 UCS2BE_st = ( \
375 5, 7, 7,eError, 4, 3,eError,eError,#00-07
376 eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,#08-0f
377 eItsMe,eItsMe, 6, 6, 6, 6,eError,eError,#10-17
378 6, 6, 6, 6, 6,eItsMe, 6, 6,#18-1f
379 6, 6, 6, 6, 5, 7, 7,eError,#20-27
380 5, 8, 6, 6,eError, 6, 6, 6,#28-2f
381 6, 6, 6, 6,eError,eError,eStart,eStart)#30-37
382
383 UCS2BECharLenTable = (2, 2, 2, 0, 2, 2)
384
385 UCS2BESMModel = {'classTable': UCS2BE_cls,
386 'classFactor': 6,
387 'stateTable': UCS2BE_st,
388 'charLenTable': UCS2BECharLenTable,
389 'name': 'UTF-16BE'}
390
391 # UCS2-LE
392
393 UCS2LE_cls = ( \
394 0,0,0,0,0,0,0,0, # 00 - 07
395 0,0,1,0,0,2,0,0, # 08 - 0f
396 0,0,0,0,0,0,0,0, # 10 - 17
397 0,0,0,3,0,0,0,0, # 18 - 1f
398 0,0,0,0,0,0,0,0, # 20 - 27
399 0,3,3,3,3,3,0,0, # 28 - 2f
400 0,0,0,0,0,0,0,0, # 30 - 37
401 0,0,0,0,0,0,0,0, # 38 - 3f
402 0,0,0,0,0,0,0,0, # 40 - 47
403 0,0,0,0,0,0,0,0, # 48 - 4f
404 0,0,0,0,0,0,0,0, # 50 - 57
405 0,0,0,0,0,0,0,0, # 58 - 5f
406 0,0,0,0,0,0,0,0, # 60 - 67
407 0,0,0,0,0,0,0,0, # 68 - 6f
408 0,0,0,0,0,0,0,0, # 70 - 77
409 0,0,0,0,0,0,0,0, # 78 - 7f
410 0,0,0,0,0,0,0,0, # 80 - 87
411 0,0,0,0,0,0,0,0, # 88 - 8f
412 0,0,0,0,0,0,0,0, # 90 - 97
413 0,0,0,0,0,0,0,0, # 98 - 9f
414 0,0,0,0,0,0,0,0, # a0 - a7
415 0,0,0,0,0,0,0,0, # a8 - af
416 0,0,0,0,0,0,0,0, # b0 - b7
417 0,0,0,0,0,0,0,0, # b8 - bf
418 0,0,0,0,0,0,0,0, # c0 - c7
419 0,0,0,0,0,0,0,0, # c8 - cf
420 0,0,0,0,0,0,0,0, # d0 - d7
421 0,0,0,0,0,0,0,0, # d8 - df
422 0,0,0,0,0,0,0,0, # e0 - e7
423 0,0,0,0,0,0,0,0, # e8 - ef
424 0,0,0,0,0,0,0,0, # f0 - f7
425 0,0,0,0,0,0,4,5) # f8 - ff
426
427 UCS2LE_st = ( \
428 6, 6, 7, 6, 4, 3,eError,eError,#00-07
429 eError,eError,eError,eError,eItsMe,eItsMe,eItsMe,eItsMe,#08-0f
430 eItsMe,eItsMe, 5, 5, 5,eError,eItsMe,eError,#10-17
431 5, 5, 5,eError, 5,eError, 6, 6,#18-1f
432 7, 6, 8, 8, 5, 5, 5,eError,#20-27
433 5, 5, 5,eError,eError,eError, 5, 5,#28-2f
434 5, 5, 5,eError, 5,eError,eStart,eStart)#30-37
435
436 UCS2LECharLenTable = (2, 2, 2, 2, 2, 2)
437
438 UCS2LESMModel = {'classTable': UCS2LE_cls,
439 'classFactor': 6,
440 'stateTable': UCS2LE_st,
441 'charLenTable': UCS2LECharLenTable,
442 'name': 'UTF-16LE'}
443
444 # UTF-8
445
446 UTF8_cls = ( \
447 1,1,1,1,1,1,1,1, # 00 - 07 #allow 0x00 as a legal value
448 1,1,1,1,1,1,0,0, # 08 - 0f
449 1,1,1,1,1,1,1,1, # 10 - 17
450 1,1,1,0,1,1,1,1, # 18 - 1f
451 1,1,1,1,1,1,1,1, # 20 - 27
452 1,1,1,1,1,1,1,1, # 28 - 2f
453 1,1,1,1,1,1,1,1, # 30 - 37
454 1,1,1,1,1,1,1,1, # 38 - 3f
455 1,1,1,1,1,1,1,1, # 40 - 47
456 1,1,1,1,1,1,1,1, # 48 - 4f
457 1,1,1,1,1,1,1,1, # 50 - 57
458 1,1,1,1,1,1,1,1, # 58 - 5f
459 1,1,1,1,1,1,1,1, # 60 - 67
460 1,1,1,1,1,1,1,1, # 68 - 6f
461 1,1,1,1,1,1,1,1, # 70 - 77
462 1,1,1,1,1,1,1,1, # 78 - 7f
463 2,2,2,2,3,3,3,3, # 80 - 87
464 4,4,4,4,4,4,4,4, # 88 - 8f
465 4,4,4,4,4,4,4,4, # 90 - 97
466 4,4,4,4,4,4,4,4, # 98 - 9f
467 5,5,5,5,5,5,5,5, # a0 - a7
468 5,5,5,5,5,5,5,5, # a8 - af
469 5,5,5,5,5,5,5,5, # b0 - b7
470 5,5,5,5,5,5,5,5, # b8 - bf
471 0,0,6,6,6,6,6,6, # c0 - c7
472 6,6,6,6,6,6,6,6, # c8 - cf
473 6,6,6,6,6,6,6,6, # d0 - d7
474 6,6,6,6,6,6,6,6, # d8 - df
475 7,8,8,8,8,8,8,8, # e0 - e7
476 8,8,8,8,8,9,8,8, # e8 - ef
477 10,11,11,11,11,11,11,11, # f0 - f7
478 12,13,13,13,14,15,0,0) # f8 - ff
479
480 UTF8_st = ( \
481 eError,eStart,eError,eError,eError,eError, 12, 10,#00-07
482 9, 11, 8, 7, 6, 5, 4, 3,#08-0f
483 eError,eError,eError,eError,eError,eError,eError,eError,#10-17
484 eError,eError,eError,eError,eError,eError,eError,eError,#18-1f
485 eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,#20-27
486 eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,eItsMe,#28-2f
487 eError,eError, 5, 5, 5, 5,eError,eError,#30-37
488 eError,eError,eError,eError,eError,eError,eError,eError,#38-3f
489 eError,eError,eError, 5, 5, 5,eError,eError,#40-47
490 eError,eError,eError,eError,eError,eError,eError,eError,#48-4f
491 eError,eError, 7, 7, 7, 7,eError,eError,#50-57
492 eError,eError,eError,eError,eError,eError,eError,eError,#58-5f
493 eError,eError,eError,eError, 7, 7,eError,eError,#60-67
494 eError,eError,eError,eError,eError,eError,eError,eError,#68-6f
495 eError,eError, 9, 9, 9, 9,eError,eError,#70-77
496 eError,eError,eError,eError,eError,eError,eError,eError,#78-7f
497 eError,eError,eError,eError,eError, 9,eError,eError,#80-87
498 eError,eError,eError,eError,eError,eError,eError,eError,#88-8f
499 eError,eError, 12, 12, 12, 12,eError,eError,#90-97
500 eError,eError,eError,eError,eError,eError,eError,eError,#98-9f
501 eError,eError,eError,eError,eError, 12,eError,eError,#a0-a7
502 eError,eError,eError,eError,eError,eError,eError,eError,#a8-af
503 eError,eError, 12, 12, 12,eError,eError,eError,#b0-b7
504 eError,eError,eError,eError,eError,eError,eError,eError,#b8-bf
505 eError,eError,eStart,eStart,eStart,eStart,eError,eError,#c0-c7
506 eError,eError,eError,eError,eError,eError,eError,eError)#c8-cf
507
508 UTF8CharLenTable = (0, 1, 0, 0, 0, 0, 2, 3, 3, 3, 4, 4, 5, 5, 6, 6)
509
510 UTF8SMModel = {'classTable': UTF8_cls,
511 'classFactor': 16,
512 'stateTable': UTF8_st,
513 'charLenTable': UTF8CharLenTable,
514 'name': 'UTF-8'}

Mercurial Repository: eric

eric ide

mercurial