Очень большой файл xlsx

Здравствуйте, форумчане !
Есть очень большой файл xlsx, получаемый от корпоративного сервера. Нужно данные из него загрузить в таблицу SQL (MS SQL Server). Сервис SSMS делает это, предоставляя информацию в символьном формате (varchar), что приводит к тому, что писать запросы к этой таблице крайне не эффективно, а иногда и просто невозможно (результаты не прогнозируемы)
Написал программу с использованием библиотеки ClosedXML, с помощью которой можно самому задать тип данных для каждой колонки, задать алгоритм валидации, получить строки с ошибками и т.д. Все прекрасно работает, но ! На больших xlsx - файлах приложение вылетает по недостатку памяти при попытке открытия файла. И это понятно, ведь я работаю по технологии DOM, когда при открытии файла грузится весь объем исходных данных. Однако есть еще техника SAX, предусматривающая загрузку файла потоком, не требующая загрузки всех данных разом.
Пробовал смотреть в сторону OpenXML (SAX), но получил код (с сайта MS), возвращающий какие-то символы вместо содержимого ячеек. В ClosedXML есть один из конструкторов Open, при котором данные читаются не оптом (DOM), а последовательно в потоке (SAX), но найти работающий код в инете с обработкой именно ячеек не смог, как ни старался.
Смотрел также FastExcel, но там все тот же DOM и все та же нехватка памяти.

Буду очень признателен за любую помощь, советы, ссылки.
Спасибо за внимание

0

MsGuns, если я верно понял, то подойдет DBForge, там при импорте такое можно (во всяком случаи для Mysql, но думаю функционал не отличается от базы )

0

MsGuns, а почему нельзя напрямую с документом работать? Это же XML в ZIP-архиве. Распакуй и напрямую читай XmlReader'ом. Вот тебе и SAX бесплатный.

0

Сообщение от XIST MsGuns, если я верно понял, то подойдет DBForge, там при импорте такое можно (во всяком случаи для Mysql, но думаю функционал не отличается от базы )

Про SSMS я писал уже. Мускул не годится, надо именно мс скл

Сообщение от Usaga MsGuns, а почему нельзя напрямую с документом работать? Это же XML в ZIP-архиве. Распакуй и напрямую читай XmlReader'ом. Вот тебе и SAX бесплатный.

Не совсем понятно. Т.е. можно открыть xlsx как XML ?

0

Сообщение от MsGuns Т.е. можно открыть xlsx как XML ?

)) Все файлы офиса (практически) - это "закамуфлированный" XML..

0

Сообщение от MsGuns Про SSMS я писал уже. Мускул не годится, надо именно мс скл

я всё видел, но я еще раз говорю что в системах управления от DВForge есть такое при импорте

0

Сообщение от MsGuns Не совсем понятно. Т.е. можно открыть xlsx как XML ?

XLSX - это zip-архив с кучкой XML'ек. Если есть потрбеность, как в твоём случае, то с этими XML'ьками можно напрямую работать. Будет не так удобно, но если надо, то вот оно вот.

0