move_iterator

#include <algorithm>
#include <cassert>
#include <string>
#include <vector>
 
using namespace std;
 
// Объявляем Sentence<Token> для произвольного типа Token
// синонимом vector<Token>.
// Благодаря этому в качестве возвращаемого значения
// функции можно указать не малопонятный вектор векторов,
// а вектор предложений — vector<Sentence<Token>>.
 
template <typename Token>
using Sentence = std::vector<Token>;
 
// Класс Token имеет метод bool IsEndSentencePunctuation() const
template <typename Token>
std::vector<Sentence<Token>> SplitIntoSentences(std::vector<Token> tokens)
{
    std::vector<Sentence<Token>> result;
 
    if (tokens.empty())
    {
        return result;
    }
    result.reserve(tokens.size());
    std::vector<Token> sentence;
    sentence.reserve(tokens.size());
    size_t i = 0;
 
    for (Token& token : tokens)
    {
        if (i != (tokens.size() - 1))
        {
            if (token.IsEndSentencePunctuation() && !tokens[i + 1].IsEndSentencePunctuation())
            {
                sentence.push_back(std::move(token));
                result.push_back(std::move(sentence));
                sentence = std::vector<Token>();
            }
            else
            {
                sentence.push_back(std::move(token));
            }
        }
        else
        {
            sentence.push_back(std::move(token));
        }
        ++i;
    }
    result.push_back(std::move(sentence));
    result.shrink_to_fit();
    return result;
}
 
struct TestToken
{
    std::string data;
    bool is_end_sentence_punctuation = false;
    bool IsEndSentencePunctuation() const
    {
        return is_end_sentence_punctuation;
    }
 
    bool operator==(const TestToken& other) const
    {
        return data == other.data && is_end_sentence_punctuation == other.is_end_sentence_punctuation;
    }
};
 
std::ostream& operator<<(std::ostream& stream, const TestToken& token);
 
// Тест содержит копирования объектов класса TestToken.
// Для проверки отсутствия копирований в функции SplitIntoSentences
// необходимо написать отдельный тест.
void TestSplitting() {
    assert(SplitIntoSentences(vector<TestToken>({{"Split"s}, {"into"s}, {"sentences"s}, {"!"s}}))
           == vector<Sentence<TestToken>>({{{"Split"s}, {"into"s}, {"sentences"s}, {"!"s}}}));
 
    assert(SplitIntoSentences(vector<TestToken>({{"Split"s}, {"into"s}, {"sentences"s}, {"!"s, true}}))
           == vector<Sentence<TestToken>>({{{"Split"s}, {"into"s}, {"sentences"s}, {"!"s, true}}}));
 
    assert(SplitIntoSentences(vector<TestToken>(
               {{"Split"s}, {"into"s}, {"sentences"s}, {"!"s, true}, {"!"s, true}, {"Without"s}, {"copies"s}, {"."s, true}}))
           == vector<Sentence<TestToken>>({
               {{"Split"s}, {"into"s}, {"sentences"s}, {"!"s, true}, {"!"s, true}},
               {{"Without"s}, {"copies"s}, {"."s, true}},
           }));
}
 
int main() {
    TestSplitting();
}