Разделить строку типа string на лексемы

/////////////////////////////////////////////////////////////////////////////////////////
#include <algorithm>
#include <cctype>
#include <iostream>
#include <iterator>
#include <sstream>
#include <string>
#include <vector>
/////////////////////////////////////////////////////////////////////////////////////////
typedef std::string         T_str;
typedef std::vector<T_str>  T_strings;
/////////////////////////////////////////////////////////////////////////////////////////
int     main()
{
    T_str   const   S           =   "aaa, bbbb. cccc; dddd eeee     fffff";
    char    const   SPACE_SYMB  =   ' ';
 
    T_str   ss  =   S;
 
    std::replace_if
        (
            ss.begin    (),
            ss.end      (),
            ispunct,
            SPACE_SYMB
        );
 
    std::istringstream  ssin(ss);
    T_strings           tokens;
 
    std::copy
        (
            std::istream_iterator<T_str>    ( ssin ),
            std::istream_iterator<T_str>    (),
            std::back_inserter              ( tokens )
        );
 
    std::copy
        (
            tokens.begin                    (),
            tokens.end                      (),
            std::ostream_iterator<T_str>    ( std::cout, "\n" )
        );
 
    system("pause");
}

    char *ptr;
    const char *raz = " ,!?.";
    char st[1000000];
    gets(st);
    ptr = strtok(st, raz);
    while (ptr) {
        cout << "ptr = " << ptr << "\n\n";
        ptr = strtok(0, raz);
    }

typedef char t_char
typedef std::basic_string<t_char> tstring;
typedef std::vector<tstring>  tstrings;
// итд ...