udapi.block.tokenize package

Submodules

• udapi.block.tokenize.onwhitespace module
  • OnWhitespace
    • OnWhitespace.escape_whitespace_table
    • OnWhitespace.process_tree()
    • OnWhitespace.tokenize_sentence()
• udapi.block.tokenize.simple module
  • Simple
    • Simple.tokenize_sentence()

Module contents