File.Open выдаёт странные знаки в первой строке

@Bentax · Регистрация: 08.02.2019

Студворк — интернет-сервис помощи студентам

Друзья, помогите, считываю из .txt файла построчно с помощью StreamReader, всё в порядке,
но пытаюсь через FileStream и вылазят символы "п>ї" перед первой строкой текста. Что это?

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
using System;
using System.IO;
using System.Collections;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
 
namespace ConsoleApp27
{
    class Program
    {
 
static void Main(string[] args)
        {
            string path = @"C:\Users\Андрей\Documents\Example.txt";
            var person = new Person(null, null);
            var newDogCommunity = new DogCommunity();
            foreach (var unit in newDogCommunity)
            {
                person = (Person)unit;
                Console.WriteLine(person.Name + " " + person.Address);
            }
            Console.WriteLine(GetFilesLinesCount(path));
            Console.ReadKey();
        }
    }
class DogCommunity
    {
        private List<Person> persons = new List<Person>(1);
        public DogCommunity()
        {
            List<string> lines = new List<string>(1);
            string path = @"C:\Users\Андрей\Documents\Example.txt";
 
            using (var fs = File.Open(path, FileMode.Open))
            {
                byte[] b = new byte[fs.Length];
                var temp = new UTF8Encoding(true);
 
                while (fs.Read(b, 0, b.Length) > 0)
                {
 
                    lines.Add(temp.GetString(b));
                }
            }
            // чтение из файла
            using (FileStream fstream = File.OpenRead(path))
            {
                // преобразуем строку в байты
                byte[] array = new byte[fstream.Length];
                // считываем данные
 
                fstream.Read(array, 0, array.Length);
                // декодируем байты в строку
                string textFromFile = System.Text.Encoding.Default.GetString(array);
 
                Console.WriteLine(textFromFile);
            }
            foreach (string line in lines)
            {
                string[] words = line.Split(' ');
                string name = words[0];
                string street = words[1];
                var person = new Person(name, street);
                persons.Add(person);
            }
        }
    }
class Person
    {
        private string _name;
        private string _address;
        public Person(string name, string address)
        {
            _name = name;
            _address = address;
        }
        public string Name => _name;
 
        public string Address => _address;
    }

@amr-now · 11.04.2019, 10:30

Сообщение от Bentax

вылазят символы "п>ї" перед первой строкой текста. Что это?

BOM. 3 символа для UTF-8.

@Bentax · 11.04.2019, 10:31 **[ТС]**

И как от них избавиться?

@Kazbek17 · 11.04.2019, 10:42

Сообщение от Bentax

И как от них избавиться?

А что такой геморой, строку в байт а потом из байт в строку?

Так никак нельзя?

C#
1
File.ReadAllLines("Путь к файлу", Encoding.UTF8)

@amr-now · 11.04.2019, 11:15

Сообщение от Bentax

считываю из .txt файла построчно с помощью StreamReader, всё в порядке,

а не считываете построчно. Считываете в единственную строку, которая кажется разбитой на несколько строк. Не всё в порядке.

Добавлено через 12 минут
Мда, иногда чердак срывает, пока поймёшь, а чего надо-то было.
Вот примерно то, что ожидалось:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
using System;
using System.Collections;
using System.Collections.Generic;
using System.IO;
using System.Text;
 
namespace ConsoleApp27
{
    class Program
    {
 
        static void Main(string[] args)
        {
            var newDogCommunity = new DogCommunity();
            foreach (var person in newDogCommunity)
            {
                // Если enumerator перебирает Person, то не надо приводить
                Console.WriteLine(person.Name + " " + person.Address);
            }
            //Console.WriteLine(GetFilesLinesCount(path));
            Console.ReadKey();
        }
    }
    class DogCommunity : IEnumerable<Person>
    {
        private List<Person> persons = new List<Person>(1);
        public DogCommunity()
        {
            List<string> lines = new List<string>(1);
            string path = @"c:\temp\text2434788.txt";// @"C:\Users\Андрей\Documents\Example.txt";
 
            using (var fs = new StreamReader(path, Encoding.UTF8))
            {
                while (!fs.EndOfStream)
                {
                    var line = fs.ReadLine();
                    string[] words = line.Split(' ');
                    string name = words[0];
                    string street = words[1];
                    var person = new Person(name, street);
                    persons.Add(person);
                }
            }
        }
 
        public IEnumerator<Person> GetEnumerator() // Добавил !
        {
            return persons.GetEnumerator();
        }
 
        IEnumerator IEnumerable.GetEnumerator()
        {
            throw new NotImplementedException();
        }
    }
    class Person
    {
        private string _name;
        private string _address;
        public Person(string name, string address)
        {
            _name = name;
            _address = address;
        }
        public string Name => _name;
 
        public string Address => _address;
    }
}

Добавлено через 2 минуты

Сообщение от Kazbek17

Так никак нельзя?

Автор программы пытался считывать текстовый файл размером примерно 20 гигабайт.
Ему оптимально использовать StreamReader.

@Bentax · 11.04.2019, 14:01 **[ТС]**

Через StreamReader проблем нет реализовать, задача - через File.Open открыть!
Этот код работает и разбивает строки на слова, первые два из них использует для своей цели. Это условие задачи.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
using System;
using System.Collections;
using System.Collections.Generic;
using System.IO;
using System.Text;
 
namespace ConsoleApp2
{
    class Program
    {
        static void Main(string[] args)
        {
            var person = new Person(null, null);
            var DogCommunity1 = new DogCommunity();
            foreach (var unit in DogCommunity1)
            {
                person = (Person)unit;
                Console.WriteLine(person.Name + " " + person.Address);
            }
            Console.ReadKey();
        }
    }
    class DogCommunity : IEnumerable, IDisposable
    {
        private List<Person> persons = new List<Person>(1);
        public DogCommunity()
        {
            List<string> lines = new List<string>(1);
            string path = @"C:\Users\Андрей\Documents\Example1.txt";
 
            using (StreamReader sr = new StreamReader(path, System.Text.Encoding.Default))
            {
                string line;
                while ((line = sr.ReadLine()) != null)
                {
                    lines.Add(line);
                }
            }
            foreach (string line in lines)
            {
                string[] words = line.Split(' ');
                string name = words[0];
                string street = words[1];
                var person = new Person(name, street);
                persons.Add(person);
            }
        }
        public void Dispose()
        {
            this.Dispose();
        }
        public IEnumerator GetEnumerator()
        {
            return persons.GetEnumerator();
        }
    }
    class Person
    {
        private string _name;
        private string _address;
        public Person(string name, string address)
        {
            _name = name;
            _address = address;
        }
        public string Name => _name;
 
        public string Address => _address;
    }
}

Добавлено через 2 минуты
А вот реализация через File.Open
Мало того, что в начале текста вопросительный знак вылазит, так ещё и считывается только полторы строки.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
using System;
using System.IO;
using System.Collections;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
 
namespace ConsoleApp30
{
    class Program
    {
        static void Main(string[] args)
        {
            var person = new Person(null, null);
            var DogCommunity1 = new DogCommunity();
            foreach (var unit in DogCommunity1)
            {
                person = (Person)unit;
                Console.WriteLine(person.Name + " " + person.Address);
            }
            Console.ReadKey();
        }
    }
    class DogCommunity : IEnumerable, IDisposable
    {
        private List<Person> persons = new List<Person>(1);
        public DogCommunity()
        {
            List<string> lines = new List<string>(1);
            string path = @"C:\Users\Андрей\Documents\Example1.txt";
 
            using (FileStream fs = File.Open(path, FileMode.Open))
            {
                byte[] b = new byte[fs.Length];
                var temp = new UTF8Encoding();
                string line;
                while (fs.Read(b, 0, b.Length) > 0)
                {
                    lines.Add(temp.GetString(b));
                }
            }
            foreach (string line in lines)
            {
                string[] words = line.Split(' ');
                string name = words[0];
                string street = words[1];
                var person = new Person(name, street);
                persons.Add(person);
            }
        }
        public void Dispose()
        {
            this.Dispose();
        }
        public IEnumerator GetEnumerator()
        {
            return persons.GetEnumerator();
        }
    }
    class Person
    {
        private string _name;
        private string _address;
        public Person(string name, string address)
        {
            _name = name;
            _address = address;
        }
        public string Name => _name;
 
        public string Address => _address;
    }
}

@Bentax · 11.04.2019, 14:18 **[ТС]**

File.Open выдаёт странные знаки в первой строке

@AndreyVorobey · 11.04.2019, 15:02

можно убрать таким образом ненужный маркер (знак '?') кодировки

C#
1
2
3
4
5
6
7
8
9
10
11
                        byte[] Value = строка.ToArray();
 
                        // Проходим проверку в массиве наличия маркера последовательности байтов кодировки UTF8 (EF BB BF)
                        if (Value.Length > 2 && Value[0] == 0xEF && Value[1] == 0xBB && Value[2] == 0xBF)
                        {
                            // Формируем выходной массив, убирая маркер
                            Value = Value.Skip(3).ToArray();
                        }
 
                        // Кодируем массив байт в строку
                        string OutputString = Encoding.UTF8.GetString(Value).Trim();

@Bentax · 11.04.2019, 15:11 **[ТС]**

В принципе, его (?) можно просто не читать, а читать со второго знака.

C#
1
2
3
4
while (fs.Read(b, 1, b.Length-1) > 0)
                {
                    lines.Add(temp.GetString(b));
                }

Но мне не понятно, почему после первой строчки ломается цикл?

@amr-now · 11.04.2019, 19:18

Bentax, System.Text.Encoding.Default старайтесь не использовать.
Если UTF-8, надо прямо сообщить. Чтобы ночью проснулся, прочитал и понял.

Добавлено через 42 минуты
-----
Далее. FileStream для чтения текста является страшным костылем.

FileStream представляет доступ к файлам на уровне байтов, поэтому, например, если вам надо считать или записать одну или несколько строк в текстовый файл, то массив байтов надо преобразовать в строки, используя специальные методы. Поэтому для работы с текстовыми файлами применяются другие классы.

https://metanit.com/sharp/tutorial/5.4.php

Добавлено через 1 час 22 минуты
Bentax, вот рабочий вариант считывания текстового файла в кодировке UTF-8 с BOM.
Даже сейчас видно, как мучительно считывать строки.

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
using System;
using System.Collections;
using System.Collections.Generic;
using System.IO;
using System.Text;
 
namespace ConsoleApp27
{
    class Program
    {
 
        static void Main(string[] args)
        {
            var newDogCommunity = new DogCommunity();
            foreach (var person in newDogCommunity)
            {
                // Если enumerator перебирает Person, то не надо приводить
                Console.WriteLine(person.Name + " " + person.Address);
            }
            //Console.WriteLine(GetFilesLinesCount(path));
            Console.ReadKey();
        }
    }
    class DogCommunity : IEnumerable<Person>
    {
        private List<Person> persons = new List<Person>(1);
        public DogCommunity()
        {
            List<string> lines = new List<string>(1);
            string path = @"c:\temp\text2434788.txt";// @"C:\Users\Андрей\Documents\Example.txt";
 
            using (var fs = File.Open(path, FileMode.Open, FileAccess.Read))
            {
                var count = fs.Length;
                var pos = 0;
                while (pos < count)
                {
                    var line = ReadLine(fs, ref pos, count);
                    string[] words = line.Split(' ');
                    string name = words[0];
                    string street = words[1];
                    var person = new Person(name, street);
                    persons.Add(person);
                }
            }
        }
 
        private string ReadLine(FileStream fs, ref int pos, long count)
        {
            var str = "";
            while (pos < count)
            {
                char c = ReadChar(fs, ref pos, count);
                if (c == 13)
                {
                    ReadChar(fs, ref pos, count); // Читать 13, 10
                    return str;
                }
                else
                    str += c;
            }
            if (str.Length > 0)
                return str;
            throw new FileLoadException();
        }
 
        private char ReadChar(FileStream fs, ref int pos, long count)
        {
            var encoding = Encoding.UTF8;
 
            var buffer = new byte[4];
            var buflen = 2;
            byte b;
            if (pos == 0)
            {
                fs.Seek(3, SeekOrigin.Current);
                pos = 3;
            }
            if (pos < count)
            {
                b = (byte)fs.ReadByte();
                if (b < 128)
                {
                    ++pos;
                    return (char)b;
                }
                else
                {
                    buffer[0] = b;
                    buffer[1] = (byte)fs.ReadByte();
                    pos += 2;
                    return encoding.GetChars(buffer, 0, buflen)[0];
                }
 
            }
            throw new FileLoadException();
        }
 
 
        public IEnumerator<Person> GetEnumerator() // Добавил !
        {
            return persons.GetEnumerator();
        }
 
        IEnumerator IEnumerable.GetEnumerator()
        {
            throw new NotImplementedException();
        }
    }
    class Person
    {
        private string _name;
        private string _address;
        public Person(string name, string address)
        {
            _name = name;
            _address = address;
        }
        public string Name => _name;
 
        public string Address => _address;
    }
}

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@Bentax 9 / 5 / 5 Регистрация: 08.02.2019 Сообщений: 32
	11.04.2019, 10:31 [ТС]
	И как от них избавиться? 0

@Bentax 9 / 5 / 5 Регистрация: 08.02.2019 Сообщений: 32
	11.04.2019, 14:18 [ТС]
	0

File.Open выдаёт странные знаки в первой строке

Решение