функция strtok - C++

@Zheka91 · Регистрация: 22.11.2010

расскажите алгоритм

C++

char str[] ="- This, a sample string.";
  char * pch;
  printf ("Splitting string \"%s\" into tokens:\n",str);
  pch = strtok (str," ,.-");
  while (pch != NULL)
  {
    printf ("%s\n",pch);
    pch = strtok (NULL, " ,.-");
  }

@Nameless One · 28.03.2011, 14:54

Функция strtok вычленяет токены, разделяемые любым из символов " ,.-", из исходной строки (при этом разрушая ее). Каждый вызов strtok возвращает указатель на строку-токен, заканчивающуюся символом '\0'. Если просмотрена вся исходная строка, то функция возвращает NULL.
Следовательно, алгоритм - пока pch не равно NULL, разбиваем строку на подстроки, разделенные символами " ,.-", и печатаем эти подстроки.

strtok

Код

STRTOK(3)                                        Linux Programmer's Manual                                       STRTOK(3)

NAME
       strtok, strtok_r - extract tokens from strings

SYNOPSIS
       #include <string.h>

       char *strtok(char *str, const char *delim);

       char *strtok_r(char *str, const char *delim, char **saveptr);

   Feature Test Macro Requirements for glibc (see feature_test_macros(7)):

       strtok_r(): _SVID_SOURCE || _BSD_SOURCE || _POSIX_C_SOURCE >= 1 || _XOPEN_SOURCE || _POSIX_SOURCE

DESCRIPTION
       The  strtok()  function  parses a string into a sequence of tokens.  On the first call to strtok() the string to be
       parsed should be specified in str.  In each subsequent call that should parse the same string, str should be NULL.

       The delim argument specifies a set of characters that delimit the tokens in the  parsed  string.   The  caller  may
       specify different strings in delim in successive calls that parse the same string.

       Each  call  to  strtok() returns a pointer to a null-terminated string containing the next token.  This string does
       not include the delimiting character.  If no more tokens are found, strtok() returns NULL.

       A sequence of two or more contiguous delimiter characters in the parsed string is considered to be a single  delim‐
       iter.  Delimiter characters at the start or end of the string are ignored.  Put another way: the tokens returned by
       strtok() are always nonempty strings.

       The strtok_r() function is a reentrant version strtok().  The saveptr argument is a pointer to a  char  *  variable
       that  is  used  internally  by strtok_r() in order to maintain context between successive calls that parse the same
       string.
       On the first call to strtok_r(), str should point to the string to be parsed, and the value of saveptr is  ignored.
       In subsequent calls, str should be NULL, and saveptr should be unchanged since the previous call.

       Different  strings may be parsed concurrently using sequences of calls to strtok_r() that specify different saveptr
       arguments.

RETURN VALUE
       The strtok() and strtok_r() functions return a pointer to the next token, or NULL if there are no more tokens.

@Zheka91 · 28.03.2011, 15:05 **[ТС]**

Сообщение от Nameless One

Функция strtok вычленяет токены, разделяемые любым из символов " ,.-", из исходной строки (при этом разрушая ее). Каждый вызов strtok возвращает указатель на строку-токен, заканчивающуюся символом '\0'. Если просмотрена вся исходная строка, то функция возвращает NULL.
Следовательно, алгоритм - пока pch не равно NULL, разбиваем строку на подстроки, разделенные символами " ,.-", и печатаем эти подстроки.

strtok

Код

STRTOK(3)                                        Linux Programmer's Manual                                       STRTOK(3)

NAME
       strtok, strtok_r - extract tokens from strings

SYNOPSIS
       #include <string.h>

       char *strtok(char *str, const char *delim);

       char *strtok_r(char *str, const char *delim, char **saveptr);

   Feature Test Macro Requirements for glibc (see feature_test_macros(7)):

       strtok_r(): _SVID_SOURCE || _BSD_SOURCE || _POSIX_C_SOURCE >= 1 || _XOPEN_SOURCE || _POSIX_SOURCE

DESCRIPTION
       The  strtok()  function  parses a string into a sequence of tokens.  On the first call to strtok() the string to be
       parsed should be specified in str.  In each subsequent call that should parse the same string, str should be NULL.

       The delim argument specifies a set of characters that delimit the tokens in the  parsed  string.   The  caller  may
       specify different strings in delim in successive calls that parse the same string.

       Each  call  to  strtok() returns a pointer to a null-terminated string containing the next token.  This string does
       not include the delimiting character.  If no more tokens are found, strtok() returns NULL.

       A sequence of two or more contiguous delimiter characters in the parsed string is considered to be a single  delim‐
       iter.  Delimiter characters at the start or end of the string are ignored.  Put another way: the tokens returned by
       strtok() are always nonempty strings.

       The strtok_r() function is a reentrant version strtok().  The saveptr argument is a pointer to a  char  *  variable
       that  is  used  internally  by strtok_r() in order to maintain context between successive calls that parse the same
       string.
       On the first call to strtok_r(), str should point to the string to be parsed, and the value of saveptr is  ignored.
       In subsequent calls, str should be NULL, and saveptr should be unchanged since the previous call.

       Different  strings may be parsed concurrently using sequences of calls to strtok_r() that specify different saveptr
       arguments.

RETURN VALUE
       The strtok() and strtok_r() functions return a pointer to the next token, or NULL if there are no more tokens.

а как именно ,можно подробно?и что такое такены? pch = strtok (str," ,.-"); -это я понял а что дальше??

C++

pch = strtok (str," ,.-");
  while (pch != NULL)
  {
    printf ("%s\n",pch);
    pch = strtok (NULL, " ,.-");
  }

@Nameless One · 28.03.2011, 15:20

Zheka91, токен в данном случае - это последовательность символов исходной строки, которая ограничена символами-разделителями.
Пусть, к примеру, у нас задана строка "this is a string,divided.into-tokens". В качестве символов-разделителей у нас задана строка " ,.-", т.е. любой и этих символов будет отделять один токен от другого. Очевидно, что токенами будут: "this", "is", "a", "string", "divided", "into", "tokens".
Когда выполниться строка программы

C

1	pch = strtok (str," ,.-");

в pch будет храниться указатель на первый токен - строку "this". При этом исходная строка модифицируется (путем вставки символа '\0' вместо каждого вхождения символов-разделителей) и теперь имеет вид "is a string,divided-into.tokens". Оставшаяся часть программы представляет собой цикл, тело которого (печать очередного токена) выполняется, пока указатель pch не равен NULL. Каждый следующий вызов функции strtok будет возвращать указатель на следующий токен, модифицируя (разрушая) исходную строку. Когда исходная строка станет пустой (т.е. из строки вычленены все токены), функция strtok вернет NULL, и цикл завершится.
Все таки я посоветую прочитать кусок man'a, который я привел в предыдущем сообщении, тогда многие вопросы отпадут сами собой.

@SergeyS · 26.01.2012, 16:22

Сообщение от Zheka91

pch = strtok (NULL, " ,.-");

Почему тут в качестве параметра строки идет NULL? Ведь мы же работаем с исходной строкой.

@Nameless One · 26.01.2012, 16:23

bober94, исходная строка задается при первом вызове strtok. Во всех последующих вызовах задается нулевой указатель (в сообщении функция strtok под катом приведено описание функции)

@beta-particle · 23.06.2013, 15:18

@Nameless One, а, допустим, что я хочу вывести этот так скажем "массив из слов", то что нам нужно сделать?

@Thinker · 23.06.2013, 15:25

Сообщение от Nameless One

При этом исходная строка модифицируется (путем вставки символа '\0' вместо каждого вхождения символов-разделителей)

не каждого, а только первого из каждой серии подряд идущих разделителей. например, если строка была такой
abc...123,,,\0 то после strtiok
она станет такой
abc\0..123\0,,\0

@Nameless One · 23.06.2013, 15:57

Сообщение от beta-particle

@Nameless One, а, допустим, что я хочу вывести этот так скажем "массив из слов", то что нам нужно сделать?

Я так понимаю, главный вопрос в том, как сформировать этот массив? Потому что вывод массива тривиален: в цикле для каждого элемента массива выводишь этот элемент.

Для формировании массива есть два подхода. Первый подразумевает, что максимально возможное число элементов массива заранее известно, и количество элементов массива при любых входных данных не может превышать это число. Тогда нужно просто объявить статический массив достаточного размера. При втором подходе объявляется динамический массив, размер которого увеличивается при необходимости.

Вот пример со вторым подходом: программа получает входную строку (и, возможно, строку разделителей), разбивает эту строку на слова (токены) по разделителям, помещая эти разделители в массив, и выводит этот массив:

C

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
 
static const char *help =
    "splitter - print tokens of SENTENCE separated by DELIMETERS\n"
    "Usage: splitter SENTENCE [DELIMETERS]\n";
 
static const char *delimeters = ",.?!():-; \t\n";
 
int main(int argc, char *argv[])
{
    char *sentence;
    char **tokens = NULL;
    char *token;
 
    size_t tokens_count = 0;
    size_t tokens_size = 0;
    size_t next_size = 4;
 
    size_t i;
 
    /* handle command-line arguments */
    switch(argc)
    {
    case 2:
        sentence = argv[1];
        break;
 
    case 3:
        sentence = argv[1];
        delimeters = argv[2];
        break;
 
    default:
        fprintf(stderr, "%s: not enough or extra arguments\n", argv[0]);
        fputs(help, stderr);
        exit(1);
    }
 
    /* split SENTENCE into an array of tokens */
    for(token = strtok(sentence, delimeters); token != NULL; token = strtok(NULL, delimeters))
    {
        if(tokens_count == tokens_size)
        {
            tokens_size = next_size;
            next_size *= 2;
            tokens = realloc(tokens, tokens_size * sizeof *tokens);
        }
 
        tokens[tokens_count++] = token; /* or `= strdup(token);` */
    }
 
    /* print the array of tokens */
    for(i = 0; i < tokens_count; ++i)
        puts(tokens[i]);
 
    if(tokens != NULL)
        free(tokens);
 
    exit(0);
}

Сообщение от Thinker

не каждого, а только первого из каждой серии подряд идущих разделителей

И правда. Ну, это логично, в принципе.

@SergeyS 153 / 145 / 6 Регистрация: 12.03.2011 Сообщений: 807
	26.01.2012, 16:22	#5
	Сообщение от Zheka91 pch = strtok (NULL, " ,.-"); Почему тут в качестве параметра строки идет NULL? Ведь мы же работаем с исходной строкой. 0

@Nameless One 5781 / 3430 / 255 Регистрация: 08.02.2010 Сообщений: 7,448
	26.01.2012, 16:23	#6
	bober94, исходная строка задается при первом вызове strtok. Во всех последующих вызовах задается нулевой указатель (в сообщении функция strtok под катом приведено описание функции) 2

@beta-particle 4 / 4 / 0 Регистрация: 07.01.2013 Сообщений: 103
	23.06.2013, 15:18	#7
	@Nameless One, а, допустим, что я хочу вывести этот так скажем "массив из слов", то что нам нужно сделать? 0

@Thinker 4231 / 2205 / 150 Регистрация: 26.08.2011 Сообщений: 3,802 Записей в блоге: 5
	23.06.2013, 15:25	#8
	Сообщение от Nameless One При этом исходная строка модифицируется (путем вставки символа '\0' вместо каждого вхождения символов-разделителей) не каждого, а только первого из каждой серии подряд идущих разделителей. например, если строка была такой abc...123,,,\0 то после strtiok она станет такой abc\0..123\0,,\0 1

	23.06.2013, 15:57

Опции темы

С++ для начинающих

функция strtok - C++