Загрузка базы данных SQL в чистый DataSet со всеми ключами и связями

@Vinemax · Регистрация: 12.09.2011

Author24 — интернет-сервис помощи студентам

Привет всем!

Помогите, пожалуйста, решить проблему... Вот таким образом я загружаю в пустой DataSet все таблицы из базы данных MS SQL:

C#

    DataSet ds = new DataSet("financy");
    DataTable tables = new DataTable();
    DataTable table;
 
    SqlClient.SqlConnection connection = new SqlClient.SqlConnection(@"server=WIN10-HOST\SQLEXPRESS;database=financy;integrated security=true");
 
    connection.Open();
 
    SqlClient.SqlDataAdapter adapter = new SqlClient.SqlDataAdapter("SELECT * FROM INFORMATION_SCHEMA.TABLES", connection);
 
    adapter.Fill(tables);
 
    foreach (DataRow r in tables.Rows)
    {
        adapter = new SqlClient.SqlDataAdapter("SELECT * FROM " + r(2).ToString, connection);
 
        table = new DataTable(r(2).ToString); adapter.Fill(table); ds.Tables.Add(table);
    }
 
    ds.WriteXmlSchema(@"D:\financy.xsd"); connection.Close();

VB.NET

        Dim ds As New DataSet("financy"), tables As New DataTable, table As DataTable
 
        Dim connection As New SqlClient.SqlConnection("server=WIN10-HOST\SQLEXPRESS;database=financy;integrated security=true")
 
        connection.Open()
 
        Dim adapter As New SqlClient.SqlDataAdapter("SELECT * FROM INFORMATION_SCHEMA.TABLES", connection)
 
        adapter.Fill(tables)
 
        For Each r As DataRow In tables.Rows
 
            adapter = New SqlClient.SqlDataAdapter("SELECT * FROM " & r(2).ToString, connection)
 
            table = New DataTable(r(2).ToString) : adapter.Fill(table) : ds.Tables.Add(table)
 
        Next
 
        ds.WriteXmlSchema("D:\financy.xsd") : connection.Close()

Все таблицы успешно загружаются. Но не загружаются ключи, связи между таблицами. Как это сделать? То есть, сделать так, чтобы в DataSet загрузилась точная копия моей SQL-базы ?

Спасибо!

@Usaga · 17.04.2019, 06:59

Vinemax, для чего это нужно? Какая конечная цель преследуется?

@Vinemax · 17.04.2019, 07:13 **[ТС]**

Usaga, конечная цель в том, что мне заказали три варианта программы, для MS SQL, для MySQL и для просто локальной однопользовательской работы, будь то SQLite или простое хранение данных посредством DataSet.WriteXml / ReadXml. То есть, суть в том, что вся работа идет с DataSet и его DataTable'ами, а к ним я уже прикручиваю соответствующие СУБД адаптеры. И вот, как я вам вчера писал в предыдущей своей теме, база у них уже готова, и по этой базе их старой программой наработаны тысячи их клиентов. То есть, сейчас мне важно, чтобы DataSet моей программы был точь в точь, как их база, хотя бы по ключам. Вручную искать и ставить ключи, это уйма мороки, там сотни таблиц больших и маленьких у них. Благодаря вашим подсказкам вчера я успешно копирую таблицы, их поля и типы полей MS SQL базы в набор данных моей программы, но вот надо бы еще всё остальное скопировать, если оно там есть. Ключи точно есть, возможно еще связи какие-то...

@Usaga · 17.04.2019, 07:24

Vinemax, это неправильный подход. Очень.

Не надо тут использовать DataSet'ы. Это просто неудобно. Возьмите Entity Framework 6 (не Core!) или, что ещё лучше, Linq2Db.

У вас будут для каждой таблицы по классу. По этим классам данные ORM будут строить запросы. Причём, диалект языка будет выбираться исходя из того, к какой СУБД вы подключаетесь (и какой провайдер\поставщик используете).

Описание таблиц (классы "моделей") и запросы никак не будут различаться и будут едиными для всех типов СУБД. Трансляция будет производиться силами самих ORM. Внешние (и не очень) ключи будут корректно учитываться.

Вам не нужна вся это адская морока с DataSet'ами, INFORMATION_SCHEMA'ми и прочим низкоуровневым крапом.

@Vinemax · 17.04.2019, 07:37 **[ТС]**

Usaga, с тем, что вы описали я, честно говоря, совсем не знаком и сейчас времени на то, чтобы с этим разобраться у меня попросту нет, сроки горят. Я всегда работал с базами именно через DataSet'ы. А INFORMATION_SCHEMA и вообще тот код, что я привел здесь, это всё одноразово именно для сохранения набора данных для проекта и последующего его подключения к DataSet. Мне сейчас главное именно вот так одноразово создать точную копию их базы MS SQL в наборе данных .xsd. Все таблицы я перенес (на скрине), а вот остальное как, в частности, ключи? )

@Usaga · 17.04.2019, 07:53

Сообщение от Vinemax

честно говоря, совсем не знаком и сейчас времени на то, чтобы с этим разобраться у меня попросту нет, сроки горят.

Вот тут вы очень сильно ошибаетесь. На ручную реализацию универсального механизма работы с базой (и кучи одних и тех же запросов на разных диалектах) вы угробите на ПОРЯДКИ больше времени.

Для EF6 и Linq2Db есть целые генераторы (Database First) моделей, которые по существующей базе вам и контекст сгенерируют и модели (классы-проекции таблиц) и связи между ними нарисуют. Производительность труда просто взлетает до небес.

Если у вас есть время, чтобы такой ерундой заниматься вручную (выгружать метаданные схемы базы, чтобы вручную с ней потом возиться), то у вас есть время, чтобы изучить (в достаточно мере) EF6 или Linq2Db (ещё проще).

Работа с классами, генерация запросов на нужных диалектах, автогенерация модели данных по схеме базы... DataSet'ы рядом не стояли ни по удобству разработки, ни по скорости, ни по надёжности.

Добавлено через 4 минуты
Vinemax, просто примера ради, в этой теме я выкладывал код минимального примера работы с Linq2Db.

Вот он:

Кликните здесь для просмотра всего текста

C#

using System;
using System.Linq;
using LinqToDB;
using LinqToDB.Data;
 
namespace Linq2DbCore
{
    class MyContext : DataConnection
    {
        public MyContext() : base(ProviderName.SqlServer, @"server=(local);database=test_db;integrated security=true")
        {
        }
 
        public ITable<UserAccess> UserAccesses => GetTable<UserAccess>();
    }
 
    class UserAccess
    {
        public int Id { get; set; }
    }
 
    class Program
    {
        static void Main(string[] args)
        {
            using (var con = new MyContext())
            {
                Console.WriteLine(con.UserAccesses.Count());
            }
 
            Console.Read();
        }
    }
}

Подключение к SQL Server, где одна таблица UserAccess с одной колонкой ID. Обратите внимание, насколько просто. Никаких схем, DataSet'ов, голых SQL-запросов. Смена типа СУБД производится заменой имени поставщика к конструкторе контекста (ProviderName.SqlServer).

Добавлено через 1 минуту
Научить этот кода работать с MySQL просто: нужно заменить ProviderName.SqlServer на ProviderName.MySQL и всё. Больше ничего. Весь код останется тем же.

@Vinemax · 17.04.2019, 08:11 **[ТС]**

Usaga, спасибо большое! Попробую разобраться сейчас... Если позволите, что-то спрашивать у вас еще, возможно, буду? )

@Usaga · 17.04.2019, 08:12

Vinemax, да, я для этого тут и нахожусь. Ну ещё в срачи поввязываться.

@Vinemax · 17.04.2019, 08:13 **[ТС]**

Ну вот, собственно вопрос... )) А как создать классы из уже имеющихся таблиц SQL Server'а ? Опять же, автоматически, бо таблиц очень много...

@Usaga · 17.04.2019, 08:19

Vinemax, если речь о Linq2Db, то у них есть инструкция. Всё сводится к установке NuGet-пакетов специальных с T4 шаблонами, которые и сгенерят все нужные вам классы.

У EF 6 есть встроенные в студию мышкотыкательные средства.

Добавлено через 1 минуту
Cгенерированные модели (в случае обеих ORM) могут быть не совсем точными и потребовать небольшого ручного уточнения. Но это ерунда.

@Vinemax · 17.04.2019, 09:07 **[ТС]**

А какую платформу нужно выбрать для своего приложения, чтобы работала linq2db ? .NET Framework 4.0 ошибку выдает при установке...

@Usaga · 17.04.2019, 09:27

Vinemax, .NET Framework 4.5 и выше. Зачем вам .NET Framework 4.0? Ему уже сто лет в обед.

@Vinemax · 17.04.2019, 10:34 **[ТС]**

Usaga, а не подскажете, как именно сгенерировать класс на основе базы SQL Server ? В LinqToDB.Templates\CopyMe.SqlServer.tt вроде всё подробно, но вот так делаю, а ничего не выходит... Его может быть как-то запускать нужно или что?

@Usaga · 17.04.2019, 10:41

Vinemax, почитайте документацию, пожалуйста. Там всё расписано. Я по ней делал когда-то, у меня получилось с первого раза.

@Vinemax · 17.04.2019, 10:52 **[ТС]**

Usaga, ну только один подвопросник… Пространство имен на основе базы формируется при компиляции моего проекта после всех настроек?

@Usaga · 17.04.2019, 11:07

Vinemax, какое пространство имён? О чём речь?

@Vinemax · 17.04.2019, 12:33 **[ТС]**

Не правильно выразился... ) Я вообще правильно понял, что после выполнения того, что описано в файле CopyMe.SqlServer.tt на выходе получится .cs-файл, соответствующий моей базе данных?

Добавлено через 3 минуты
Я просто из документации не могу понять что нужно, чтобы выполнить / запустить этот скрипт из LinqToDB.Templates… Где должен находиться мой уже отредактированный .tt-файл...

Добавлено через 1 час 16 минут
Usaga, помогите, пожалуйста! С меня могарыч по завершению работы над программой! Не шучу. Суть linq2db я понял. Действительно очень просто. Не понял только самое простое, хоть и документацию перекопал... Установил в свой проект из NuGet собственно linq2db и linq2db.SqlServer... В папке проекта, да и в самой папке packages появилась папка LinqToDB.Templates… В этой папке есть обычный текстовый файл CopyMe.SqlServer.tt, в котором довольно понятно написано что нужно сделать... Мне только не понятно, когда я его отредактировал (вписал ConnectionString к моей базе, поправил файл app.config с ConnectionString моей базы в проекте), дальше что делать, чтобы сформировались классы моей базы? Просто построить проект? Ничего не происходит. Намекните хотя бы, пожалуйста, уже четыре часа мучаюсь, не соображу...

@Usaga · 17.04.2019, 13:21

Vinemax, надо:
* создать папку под файлы модели
* создать там пустой файл *.tt (название сами придумайте, главное - расширение)
* скопируйте содержимое CopyMe.SqlServer.tt
* задайте строку подключения внизу файла
* СОХРАНИТЕ его

По сохранению, студия запустит исполнение этого темплейта, а тот родит вам файл с всеми классами отражающими таблицы, а так же контекст и кучку разных хелперов.

Всё, больше ничего не нужно.

В папке LinqToDB.Templates лежать разные темплейты для донастройки процесса генерации. Можно указать не складывать все классы в один файл, а раскидать по разным, к примеру.

@Vinemax · 17.04.2019, 13:28 **[ТС]**

Сообщение от Usaga

* создать папку под файлы модели
* создать там пустой файл *.tt (название сами придумайте, главное - расширение)
* скопируйте содержимое CopyMe.SqlServer.tt
* задайте строку подключения внизу файла
* СОХРАНИТЕ его

Вот я всё это и сделал. Или это всё в Студии надо было делать? Как понять, что по сохранению Студия запустит его исполнение?

Добавлено через 1 минуту
Может быть мы с вами сейчас на разных языках говорим... У меня проект на VB...

Добавлено через 1 минуту
Создаст C#, это понятно, то не проблема...

@Usaga · 17.04.2019, 14:17

Сообщение от Vinemax

Или это всё в Студии надо было делать? Как понять, что по сохранению Студия запустит его исполнение?

Да, это всё в студии делать надо. Она шаблон исполнять начнёт и код по ним генерировать.

Добавлено через 56 секунд
Причём, я не уверен, что у вас всё нормально работать будет, если у вас какая-то лютая древность в виде VS 2010...

Добавлено через 24 минуты
Я ещё рекомендую добавить такие настройки перед строкой подключения, чтобы сгенерированный код почище был:

Код

    IsCompactColumns              = false;
    IsCompactColumnAliases        = false;
    IncludeDefaultSchema          = false;
    GenerateFindExtensions        = false;

@Vinemax 148 / 116 / 10 Регистрация: 12.09.2011 Сообщений: 785
	17.04.2019, 10:52 [ТС]	15
	Usaga, ну только один подвопросник… Пространство имен на основе базы формируется при компиляции моего проекта после всех настроек? 0

@Usaga 12090 / 8369 / 1280 Регистрация: 21.01.2016 Сообщений: 31,548
	17.04.2019, 13:21	18
	Vinemax, надо: * создать папку под файлы модели * создать там пустой файл .tt (название сами придумайте, главное - расширение) скопируйте содержимое CopyMe.SqlServer.tt * задайте строку подключения внизу файла * СОХРАНИТЕ его По сохранению, студия запустит исполнение этого темплейта, а тот родит вам файл с всеми классами отражающими таблицы, а так же контекст и кучку разных хелперов. Всё, больше ничего не нужно. В папке LinqToDB.Templates лежать разные темплейты для донастройки процесса генерации. Можно указать не складывать все классы в один файл, а раскидать по разным, к примеру. 1

@Usaga 12090 / 8369 / 1280 Регистрация: 21.01.2016 Сообщений: 31,548
	17.04.2019, 06:59	2
	Vinemax, для чего это нужно? Какая конечная цель преследуется? 1

@Vinemax 148 / 116 / 10 Регистрация: 12.09.2011 Сообщений: 785
	17.04.2019, 07:13 [ТС]	3
	Usaga, конечная цель в том, что мне заказали три варианта программы, для MS SQL, для MySQL и для просто локальной однопользовательской работы, будь то SQLite или простое хранение данных посредством DataSet.WriteXml / ReadXml. То есть, суть в том, что вся работа идет с DataSet и его DataTable'ами, а к ним я уже прикручиваю соответствующие СУБД адаптеры. И вот, как я вам вчера писал в предыдущей своей теме, база у них уже готова, и по этой базе их старой программой наработаны тысячи их клиентов. То есть, сейчас мне важно, чтобы DataSet моей программы был точь в точь, как их база, хотя бы по ключам. Вручную искать и ставить ключи, это уйма мороки, там сотни таблиц больших и маленьких у них. Благодаря вашим подсказкам вчера я успешно копирую таблицы, их поля и типы полей MS SQL базы в набор данных моей программы, но вот надо бы еще всё остальное скопировать, если оно там есть. Ключи точно есть, возможно еще связи какие-то... 0

@Usaga 12090 / 8369 / 1280 Регистрация: 21.01.2016 Сообщений: 31,548
	17.04.2019, 07:24	4
	Vinemax, это неправильный подход. Очень. Не надо тут использовать DataSet'ы. Это просто неудобно. Возьмите `Entity Framework 6` (не Core!) или, что ещё лучше, `Linq2Db`. У вас будут для каждой таблицы по классу. По этим классам данные ORM будут строить запросы. Причём, диалект языка будет выбираться исходя из того, к какой СУБД вы подключаетесь (и какой провайдер\поставщик используете). Описание таблиц (классы "моделей") и запросы никак не будут различаться и будут едиными для всех типов СУБД. Трансляция будет производиться силами самих ORM. Внешние (и не очень) ключи будут корректно учитываться. Вам не нужна вся это адская морока с DataSet'ами, INFORMATION_SCHEMA'ми и прочим низкоуровневым крапом. 1

@Vinemax 148 / 116 / 10 Регистрация: 12.09.2011 Сообщений: 785
	17.04.2019, 07:37 [ТС]	5
	Usaga, с тем, что вы описали я, честно говоря, совсем не знаком и сейчас времени на то, чтобы с этим разобраться у меня попросту нет, сроки горят. Я всегда работал с базами именно через DataSet'ы. А INFORMATION_SCHEMA и вообще тот код, что я привел здесь, это всё одноразово именно для сохранения набора данных для проекта и последующего его подключения к DataSet. Мне сейчас главное именно вот так одноразово создать точную копию их базы MS SQL в наборе данных .xsd. Все таблицы я перенес (на скрине), а вот остальное как, в частности, ключи? ) Миниатюры 0

@Vinemax 148 / 116 / 10 Регистрация: 12.09.2011 Сообщений: 785
	17.04.2019, 08:11 [ТС]	7
	Usaga, спасибо большое! Попробую разобраться сейчас... Если позволите, что-то спрашивать у вас еще, возможно, буду? ) 0

@Usaga 12090 / 8369 / 1280 Регистрация: 21.01.2016 Сообщений: 31,548
	17.04.2019, 08:12	8
	Vinemax, да, я для этого тут и нахожусь. Ну ещё в срачи поввязываться. 1

@Vinemax 148 / 116 / 10 Регистрация: 12.09.2011 Сообщений: 785
	17.04.2019, 08:13 [ТС]	9
	Ну вот, собственно вопрос... )) А как создать классы из уже имеющихся таблиц SQL Server'а ? Опять же, автоматически, бо таблиц очень много... 0

@Usaga 12090 / 8369 / 1280 Регистрация: 21.01.2016 Сообщений: 31,548
	17.04.2019, 08:19	10
	Vinemax, если речь о Linq2Db, то у них есть инструкция. Всё сводится к установке NuGet-пакетов специальных с T4 шаблонами, которые и сгенерят все нужные вам классы. У EF 6 есть встроенные в студию мышкотыкательные средства. Добавлено через 1 минуту Cгенерированные модели (в случае обеих ORM) могут быть не совсем точными и потребовать небольшого ручного уточнения. Но это ерунда. 1

@Vinemax 148 / 116 / 10 Регистрация: 12.09.2011 Сообщений: 785
	17.04.2019, 09:07 [ТС]	11
	А какую платформу нужно выбрать для своего приложения, чтобы работала linq2db ? .NET Framework 4.0 ошибку выдает при установке... 0

@Usaga 12090 / 8369 / 1280 Регистрация: 21.01.2016 Сообщений: 31,548
	17.04.2019, 09:27	12
	Vinemax, .NET Framework 4.5 и выше. Зачем вам .NET Framework 4.0? Ему уже сто лет в обед. 1

	17.04.2019, 14:17

@Vinemax 148 / 116 / 10 Регистрация: 12.09.2011 Сообщений: 785
	17.04.2019, 10:34 [ТС]	13
	Usaga, а не подскажете, как именно сгенерировать класс на основе базы SQL Server ? В LinqToDB.Templates\CopyMe.SqlServer.tt вроде всё подробно, но вот так делаю, а ничего не выходит... Его может быть как-то запускать нужно или что? 0

@Usaga 12090 / 8369 / 1280 Регистрация: 21.01.2016 Сообщений: 31,548
	17.04.2019, 10:41	14
	Vinemax, почитайте документацию, пожалуйста. Там всё расписано. Я по ней делал когда-то, у меня получилось с первого раза. 1

@Usaga 12090 / 8369 / 1280 Регистрация: 21.01.2016 Сообщений: 31,548
	17.04.2019, 11:07	16
	Vinemax, какое пространство имён? О чём речь? 1

@Vinemax 148 / 116 / 10 Регистрация: 12.09.2011 Сообщений: 785
	17.04.2019, 12:33 [ТС]	17
	Не правильно выразился... ) Я вообще правильно понял, что после выполнения того, что описано в файле CopyMe.SqlServer.tt на выходе получится .cs-файл, соответствующий моей базе данных? Добавлено через 3 минуты Я просто из документации не могу понять что нужно, чтобы выполнить / запустить этот скрипт из LinqToDB.Templates… Где должен находиться мой уже отредактированный .tt-файл... Добавлено через 1 час 16 минут Usaga, помогите, пожалуйста! С меня могарыч по завершению работы над программой! Не шучу. Суть linq2db я понял. Действительно очень просто. Не понял только самое простое, хоть и документацию перекопал... Установил в свой проект из NuGet собственно linq2db и linq2db.SqlServer... В папке проекта, да и в самой папке packages появилась папка LinqToDB.Templates… В этой папке есть обычный текстовый файл CopyMe.SqlServer.tt, в котором довольно понятно написано что нужно сделать... Мне только не понятно, когда я его отредактировал (вписал ConnectionString к моей базе, поправил файл app.config с ConnectionString моей базы в проекте), дальше что делать, чтобы сформировались классы моей базы? Просто построить проект? Ничего не происходит. Намекните хотя бы, пожалуйста, уже четыре часа мучаюсь, не соображу... 0

@Vinemax 148 / 116 / 10 Регистрация: 12.09.2011 Сообщений: 785
	17.04.2019, 13:28 [ТС]	19
	Сообщение от Usaga * создать папку под файлы модели * создать там пустой файл .tt (название сами придумайте, главное - расширение) скопируйте содержимое CopyMe.SqlServer.tt * задайте строку подключения внизу файла * СОХРАНИТЕ его Вот я всё это и сделал. Или это всё в Студии надо было делать? Как понять, что по сохранению Студия запустит его исполнение? Добавлено через 1 минуту Может быть мы с вами сейчас на разных языках говорим... У меня проект на VB... Добавлено через 1 минуту Создаст C#, это понятно, то не проблема... 0

@Usaga 12090 / 8369 / 1280 Регистрация: 21.01.2016 Сообщений: 31,548
	17.04.2019, 14:17	20
	Сообщение от Vinemax Или это всё в Студии надо было делать? Как понять, что по сохранению Студия запустит его исполнение? Да, это всё в студии делать надо. Она шаблон исполнять начнёт и код по ним генерировать. Добавлено через 56 секунд Причём, я не уверен, что у вас всё нормально работать будет, если у вас какая-то лютая древность в виде VS 2010... Добавлено через 24 минуты Я ещё рекомендую добавить такие настройки перед строкой подключения, чтобы сгенерированный код почище был: Код IsCompactColumns = false; IsCompactColumnAliases = false; IncludeDefaultSchema = false; GenerateFindExtensions = false; 1