net.sf.okapi.steps.tokenization.common

Interfaces

• ILexer

Classes

• AbstractLexer
• Config
• InputTokenAnnotation
• LanguageAndTokenParameters
• LanguageParameters
• Lexem
• Lexems
• LexerRule
• LexerRules
• RegexRule
• RegexRules
• StructureParameters
• StructureParametersItem
• Token
• TokensAnnotation