Форум программистов, компьютерный форум, киберфорум
Наши страницы

Boost C++

Войти
Регистрация
Восстановить пароль
 
 
Рейтинг: Рейтинг темы: голосов - 37, средняя оценка - 4.84
nuke4303
99 / 99 / 7
Регистрация: 30.03.2011
Сообщений: 350
#1

boost::asio работа с файлами - Boost C++

26.09.2011, 19:30. Просмотров 5170. Ответов 18
Метки нет (Все метки)

Здравствуйте. Есть ли у когонибудь рабочий пример приема\передачи файлов через asio по сети(синхрон или асинхрон)?
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
26.09.2011, 19:30
Здравствуйте! Я подобрал для вас темы с ответами на вопрос boost::asio работа с файлами (Boost C++):

Работа с boost::asio::streambuf - Boost C++
Для знакомства с boost::asio (да и с самим boost) решил написать асинхронный сервер. Для хранения входящих данных используется ...

boost::asio - Boost C++
начал ковырять буст. Возник вопрос с созданием клинт-серверного приложения. Для ознакомления хочу посмотреть простой пример, где сервер...

Boost.asio - Boost C++
Добрый день. Я только начал знакомство с boost.asio и при использовании примеров с офф.сайта никак не могу разобраться в их работе. Вот...

boost/asio - Boost C++
Кто тестил asio в Вuilder-е? Код использовал отсюда http://www.cyberforum.ru/cpp-beginners/thread329576.html И напоролся сразу же...

Boost Asio C++ - Boost C++
Добрый день. Юзаю этот ( http://www.boost.org/ ) проект. Нужна помощь с документаций...

Winsock vs boost::asio - Boost C++
у Winsock преимущество - это есть русская документация(это не совсем документация но крис касперски объянять умеет) у asio...

18
Mellotron
0 / 0 / 0
Регистрация: 10.09.2012
Сообщений: 31
23.12.2012, 18:26 #16
Я натыкался в методичке по бусту в iostream на какие то методы компрессии и архивации. Можете подсказать, как можно реализовать архивацию и передачу папки и последующей распаковки?
0
Avazart
Эксперт С++
7247 / 5419 / 297
Регистрация: 10.12.2010
Сообщений: 24,046
Записей в блоге: 17
23.12.2012, 19:26 #17
Если не ошибаюсь в boost есть обвертка библиотеки zlib
1
igorrr37
1648 / 1276 / 133
Регистрация: 21.12.2010
Сообщений: 1,932
Записей в блоге: 7
24.12.2012, 13:57 #18
В блоге выложил черновики клиента и сервера, буду редактировать. Сделано без архивации.
1
igorrr37
1648 / 1276 / 133
Регистрация: 21.12.2010
Сообщений: 1,932
Записей в блоге: 7
27.12.2012, 09:37 #19
Лучший ответ Сообщение было отмечено автором темы, экспертом или модератором как ответ
Окончательные версии
Сервер
Кликните здесь для просмотра всего текста
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
#include <iostream>
#include <string>
#include <fstream>
#include <clocale>
#include <stdexcept>
#include <cstring>
#define BOOST_THREAD_USE_LIB
#include <boost/thread.hpp>
#include <boost/asio.hpp>
#include <boost/bind.hpp>
#include <boost/noncopyable.hpp>
#include <boost/regex.hpp>
#include <boost/lexical_cast.hpp>
#include <boost/format.hpp>
#include <boost/aligned_storage.hpp>
#include <boost/filesystem.hpp>
namespace bfs = boost::filesystem;
typedef boost::asio::ip::tcp btcp;
typedef boost::format bfmt;
 
namespace sync
{
    boost::mutex mx;
    void PrintMessage(bfmt const& message, std::ostream& ost = std::cout)
    {
        boost::lock_guard<boost::mutex> lg(mx);
        ost << message << std::endl;
    }
    void PrintError(bfmt const& message)
    {
        sync::PrintMessage(message, std::cerr);
    }
};
 
class HandlerAllocator : private boost::noncopyable
{
public:
    HandlerAllocator() :
        in_use_(false){};
    void* allocate(size_t const size)
    {
        void* pret = nullptr;
        if(!in_use_ && size < storage_.size)
        {
            //sync::PrintMessage(bfmt("storage allocation"));
            pret =  storage_.address();
        }
        else
        {
            //sync::PrintMessage(bfmt("::operator new allocation"));
            pret = ::operator new(size);
        }
        return pret;
    }
    void deallocate(void* const pointer)
    {
        if(storage_.address() == pointer)
            in_use_ = false;
        else
            ::operator delete(pointer);
    }
private:
    boost::aligned_storage<1024> storage_;
    bool in_use_;
};
 
template <typename Handler>
class CustomAllocHandler
{
public:
    CustomAllocHandler(HandlerAllocator& a, Handler h):
        allocator_(a),
        handler_(h) {}
 
  template <typename Arg1>
  void operator()(Arg1 arg1)
  {
    handler_(arg1);
  }
 
  template <typename Arg1, typename Arg2>
  void operator()(Arg1 arg1, Arg2 arg2)
  {
    handler_(arg1, arg2);
  }
 
  friend void* asio_handler_allocate(std::size_t size,
      CustomAllocHandler<Handler>* this_handler)
  {
    return this_handler->allocator_.allocate(size);
  }
 
  friend void asio_handler_deallocate(void* pointer, std::size_t /*size*/,
      CustomAllocHandler<Handler>* this_handler)
  {
    this_handler->allocator_.deallocate(pointer);
  }
 
private:
  HandlerAllocator& allocator_;
  Handler handler_;
};
 
template <typename Handler>
inline CustomAllocHandler<Handler> MakeCustomAllocHandler(
    HandlerAllocator& a, Handler h)
{
  return CustomAllocHandler<Handler>(a, h);
}
 
class Session
{
public:
    explicit Session(boost::asio::io_service& ioservice) :
        socket_(ioservice){}
    btcp::socket& socket()
    {
        return socket_;
    }
    void Start()
    {
        boost::asio::async_read_until(socket_, streambuf_, "\r\n\r\n",
            MakeCustomAllocHandler(allocator_,
                boost::bind(&Session::HandleReadUntil, this,
                boost::asio::placeholders::error,
                boost::asio::placeholders::bytes_transferred)));
    }
    ~Session()
    {
        socket_.shutdown(btcp::socket::shutdown_both);
        socket_.close();
        ofs.close();
    }
private:
    btcp::socket socket_;
    enum{buflen = 1024 * 16};
    char buffer[buflen];
    boost::asio::streambuf streambuf_;
    uintmax_t filesize_, dumped;
    std::string filename_;
    static const boost::regex regFileName, regFileSize, regSavePath;
    boost::smatch res;
    std::ofstream ofs;
    HandlerAllocator allocator_;
    void HandleReadSome(boost::system::error_code const& errcode, size_t bytes_transferred)
    {
        try
        {
            if(errcode)
            {
                if(filesize_ == dumped)
                    sync::PrintMessage(bfmt("Transferring completed, dumped: %1%, thread id: %2%") % dumped % boost::this_thread::get_id());
                else
                     throw boost::system::system_error(errcode);
                delete this;
            }
            else
            {
                if(dumped + bytes_transferred < filesize_)
                {
                    dumped += bytes_transferred;
                    if(!ofs.write(buffer, bytes_transferred))
                        throw std::runtime_error("write failed");
 
 
                    socket_.async_read_some(boost::asio::buffer(buffer, buflen),
                        MakeCustomAllocHandler(allocator_,
                            boost::bind(&Session::HandleReadSome, this,
                            boost::asio::placeholders::error,
                            boost::asio::placeholders::bytes_transferred)));
                }
                else
                {
                    uintmax_t needtofile = filesize_ - dumped;
                    if(!ofs.write(buffer, needtofile))
                        throw std::runtime_error("write failed");
                    ofs.clear();
                    ofs.close();
                    auto mutbufs = streambuf_.prepare(bytes_transferred - needtofile);
                    char* p = boost::asio::buffer_cast<char*>(mutbufs);
                    strncpy(p, buffer + needtofile, bytes_transferred - needtofile);
                    streambuf_.commit(bytes_transferred - needtofile);
                    dumped = filesize_;
                    boost::asio::async_read_until(socket_, streambuf_, "\r\n\r\n",
                        MakeCustomAllocHandler(allocator_,
                            boost::bind(&Session::HandleReadUntil, this,
                            boost::asio::placeholders::error,
                            boost::asio::placeholders::bytes_transferred)));
                }
            }
        }
        catch(std::exception const& e)
        {
            sync::PrintError(bfmt("Exception in HandleReadSome: %1%") % e.what());
            delete this;
        }
 
    }
    void HandleReadUntil(boost::system::error_code const& errcode, size_t bytes_transferred)
    {
        try
        {
            if(errcode)
                throw boost::system::system_error(errcode);
            char const* p = boost::asio::buffer_cast<char const*>(streambuf_.data());
            std::string headers(p, p + bytes_transferred);
            streambuf_.consume(bytes_transferred);
            //sync::PrintMessage(bfmt("Headers:\n%1%\n") % headers);
            if(!boost::regex_search(headers, res, regFileSize))
                throw std::runtime_error("regFileSize not found\n");
            filesize_ = boost::lexical_cast<uintmax_t>(res[1]);
            sync::PrintMessage(bfmt("file size: %1%") % filesize_);
            if(!boost::regex_search(headers, res, regFileName))
                throw std::runtime_error("regFileName not found\n");
            filename_ = res[1];
            sync::PrintMessage(bfmt("file name: %1%") % filename_);
            if(filesize_ != uintmax_t(-1)) // if we have a regular file
            {
                ofs.open(filename_.c_str(), std::ios::binary);
                if(!ofs.is_open())
                    throw std::runtime_error((bfmt("Unable to open output file %1%") % filename_).str());
                dumped = 0;
                if(streambuf_.size() < filesize_)
                {
                    dumped += streambuf_.size();
                    (ofs << &streambuf_).clear();
                    socket_.async_read_some(boost::asio::buffer(buffer, buflen),
                        MakeCustomAllocHandler(allocator_,
                            boost::bind(&Session::HandleReadSome, this,
                            boost::asio::placeholders::error,
                            boost::asio::placeholders::bytes_transferred)));
                }
                else
                {
                    boost::asio::streambuf::const_buffers_type cbufs = streambuf_.data();
                    char const* p = boost::asio::buffer_cast<char const*>(cbufs);
                    if(!ofs.write(p, filesize_ - dumped))
                        throw std::runtime_error("write failed");
                    streambuf_.consume(filesize_ - dumped);
                    dumped = filesize_;
                    ofs.clear();
                    ofs.close();
                    boost::asio::async_read_until(socket_, streambuf_, "\r\n\r\n",
                        MakeCustomAllocHandler(allocator_,
                            boost::bind(&Session::HandleReadUntil, this,
                            boost::asio::placeholders::error,
                            boost::asio::placeholders::bytes_transferred)));
                }
            }
            else // if we have a directory
            {
                if(!bfs::create_directory(filename_))
                    throw std::runtime_error((bfmt("bfs::create_directory failed to create %1%") % filename_).str());
                boost::asio::async_read_until(socket_, streambuf_, "\r\n\r\n",
                    MakeCustomAllocHandler(allocator_,
                        boost::bind(&Session::HandleReadUntil, this,
                        boost::asio::placeholders::error,
                        boost::asio::placeholders::bytes_transferred)));
            }
 
        }
        catch(std::exception const& e)
        {
            sync::PrintError(bfmt("Exception in HandleReadUntil: %1%") % e.what());
            delete this;
        }
    }
};
 
boost::regex const Session::regFileName("FileName: *(.+?)\r\n");
boost::regex const Session::regFileSize("FileSize: *(\\d+?)\r\n");
 
class Server
{
public:
    explicit Server(boost::asio::io_service& ioservice) :
        ioservice_(ioservice), acceptor_(ioservice, btcp::endpoint(btcp::v4(), 9090))
    {
        StartAccept();
    }
private:
    void StartAccept()
    {
        Session* psession = new Session(ioservice_);
        acceptor_.async_accept(psession->socket(),
            boost::bind(&Server::HandleAccept, this, psession,
                boost::asio::placeholders::error));
    }
    void HandleAccept(Session* psession, boost::system::error_code const& errcode)
    {
        if(!errcode)
            psession->Start();
        else
        {
            sync::PrintError(bfmt("async_accept failed"));
            delete psession;
            psession = 0;
        }
        StartAccept();
    }
    boost::asio::io_service& ioservice_;
    btcp::acceptor acceptor_;
};
 
int main()
{
    setlocale(LC_ALL, "rus");
    try
    {
        boost::asio::io_service ioservice;
        boost::thread_group tgroup;
        unsigned corenumber = boost::thread::hardware_concurrency();
        sync::PrintMessage(bfmt("Server is running, number of threads: %1%") % corenumber);
        Server server(ioservice);
        for(unsigned i = 0; i < corenumber; ++i)
        {
            tgroup.create_thread(boost::bind(&boost::asio::io_service::run, &ioservice));
        }
        tgroup.join_all();
    }
    catch(std::exception const& e)
    {
        sync::PrintError(bfmt("Exception in main: %1%") % e.what());
    }
    return 0;
}

Клиент
Кликните здесь для просмотра всего текста
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
#include <iostream>
#include <string>
#include <boost/asio.hpp>
#include <boost/lexical_cast.hpp>
#include <boost/filesystem.hpp>
#include <boost/filesystem/fstream.hpp>
#include <algorithm>
#include <clocale>
#include <stdexcept>
typedef boost::asio::ip::tcp btcp;
namespace bfs = boost::filesystem;
 
class Client
{
public:
    explicit Client(boost::asio::io_service& ioservice) :
        ioservice_(ioservice), socket_(ioservice)
    {
        // /*
        btcp::endpoint endPoint(boost::asio::ip::address::from_string("127.0.0.1"), 9090);
        socket_.connect(endPoint);
        std::cout<<"Connection established\n";
        // */
    }
    void Transfer()
    {
        std::string sFilePath, sSavePath;
        std::cout << "Input path to file/directory\n";
        std::getline(std::cin, sFilePath);
        std::cout << "Input path to save file/directory to server\n";
        std::getline(std::cin, sSavePath);
        bfs::path filePath(sFilePath), savePath(bfs::path(sSavePath) / filePath.filename());
        if(bfs::exists(sFilePath) && bfs::is_directory(sFilePath))
        {
            TransferDirectory(filePath, savePath);
            bfs::path origFilePath, resultSavePath;
            std::pair<bfs::path::iterator, bfs::path::iterator> pair;
            for(bfs::recursive_directory_iterator rdib(sFilePath), rdie; rdib != rdie; ++rdib)
            {
                origFilePath = rdib->path();
                pair = std::mismatch(origFilePath.begin(), origFilePath.end(), filePath.begin());
                resultSavePath = savePath;
                for(auto ib(pair.first), ie(origFilePath.end()); ib != ie; ++ib)
                {
                    resultSavePath /= *ib;
                }
                if(bfs::is_directory(origFilePath))
                    TransferDirectory(origFilePath, resultSavePath);
                else
                    TransferFile(origFilePath, resultSavePath);
            }
        }
        else
        {
            TransferFile(filePath, savePath);
        }
    }
    ~Client()
    {
        if(socket_.shutdown(btcp::socket::shutdown_both, errcode_))
            std::cerr << "shutdown failed: " << errcode_.message() << std::endl;
        socket_.close();
        ifs.close();
    }
private:
    boost::asio::io_service& ioservice_;
    btcp::socket socket_;
    boost::system::error_code errcode_;
    bfs::ifstream ifs;
    enum{bufsize = 1024 * 16};
    char buffer[bufsize];
    uintmax_t fileSize;
    void TransferFile(bfs::path const& filePath, bfs::path const& savePath)
    {
         /*
        std::cout << "File" << std::endl;
        std::cout << "from: " << filePath << std::endl;
        std::cout << "to: " << savePath << "\n\n";
         */
        // /*
        ifs.open(filePath, std::ios::binary);
        if(!ifs.is_open())
            throw std::runtime_error("Unable to open input file " + filePath.string());
        fileSize = bfs::file_size(bfs::path(filePath));
        boost::asio::write(socket_, boost::asio::buffer("FileName: " + savePath.string() + "\r\n"));
        boost::asio::write(socket_, boost::asio::buffer("FileSize: " + boost::lexical_cast<std::string>(fileSize) + "\r\n\r\n"));
        uintmax_t sentbytes = 0;
        while(ifs)
        {
            ifs.read(buffer, bufsize);
            sentbytes += boost::asio::write(socket_, boost::asio::buffer(buffer, ifs.gcount()));
        }
        if(sentbytes != fileSize)
            throw std::runtime_error("sentbytes != fileSize");
        std::cout << "sentbytes: " << sentbytes << std::endl;
        ifs.clear();
        ifs.close();
         // */
    }
    void TransferDirectory(bfs::path const& filePath, bfs::path const& savePath)
    {
         /*
        std::cout << "Directory" << std::endl;
        std::cout << "from: " << filePath << std::endl;
        std::cout << "to: " << savePath << "\n\n";
         */
        // /*
        fileSize = uintmax_t(-1);
        boost::asio::write(socket_, boost::asio::buffer("FileName: " + savePath.string() + "\r\n"));
        boost::asio::write(socket_, boost::asio::buffer("FileSize: " + boost::lexical_cast<std::string>(fileSize) + "\r\n\r\n"));
        // */
    }
};
 
 
int main()
{
    setlocale(LC_ALL, "rus");
    std::cout << "Client is running\n";
    try
    {
        boost::asio::io_service ioservice;
        Client client(ioservice);
        while(true)
        {
            client.Transfer();
        }
    }
    catch(std::exception const& e)
    {
        std::cerr << "Exception in main: " << e.what() << std::endl;
    }
    return 0;
}
5
27.12.2012, 09:37
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
27.12.2012, 09:37
Привет! Вот еще темы с ответами:

Boost.Asio не соединяется - Boost C++
Здравствуйте форумчане, недавно начал изучать boost.asio Скомпилил из примеров Server Client, запускаю так *.exe 127.0.0.1 13 это клиент...

C++ | boost::asio + ssl? - Boost C++
Доброго времени суток! Хотелось бы узнать как подключаться по SSL? int main() { boost::asio::ip::tcp::iostream stream; ...

boost::asio пример - Boost C++
Привет! Можно, пожалуйста, простейший пример работы с boost::asio - клиент-серверная программа, клиент которой должен отсылать...

boost::asio cессии - Boost C++
Здравствуйте. Хотелось бы узнать ответ на вопрос, который не где не нашол. Сервер реализован на Boost:asio, к нему подключаются клиенты,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
19
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru