Токенезация

pattern  = 'что после того, как'
sentence = "Она выразила уверенность, что после того, как туристы утром проснутся ... " 
# здесь идет поиск составных частей предложения (по корпусу)
if pattern in sentence:
     tokenize(pattern, sentence)
 
# здесь происходит токенезация все того, что является одним словом
 
sentence = sentence.split()
 
# результат - список токенов
 
sentence = "['Она'] ['выразила'] ['уверенность' ], ['что после того, как'],  ['туристы'], ['утром'], ['проснутся'] ... "

import nltk
 
grammar = r"""
NP: {<DT|JJ|NN.*>+}          # Chunk sequences of DT, JJ, NN
PP: {<IN><NP>}               # Chunk prepositions followed by NP
VP: {<VB.*><NP|PP|CLAUSE>+$} # Chunk verbs and their arguments
CLAUSE: {<NP><VP>}           # Chunk NP, VP
"""
cp = nltk.RegexpParser(grammar)
sentence = [
    ("Mary", "NN"), ("saw", "VBD"), 
    ("the", "DT"), ("cat", "NN"),  
    ("sit", "VB"), ("on", "IN"), 
    ("the", "DT"), ("mat", "NN")
]
tree = cp.parse(sentence)
for subtree in tree:
    if isinstance(subtree , nltk.tree.Tree):
        print(subtree.label(), subtree.leaves())
 
print(tree)