Как это поправить?

@ture · Регистрация: 27.11.2014

Студворк — интернет-сервис помощи студентам

Rust
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
use std::collections::HashMap;
 
pub fn frequency(input: &[&str], worker_count: usize) -> HashMap<char, usize> {
    let (tx, rx) = std::sync::mpsc::channel();
 
    let mut hndls = Vec::new();
    {
        // вычисляем количество потоков и размер порции
        let mut portion = 10; //минимальная порция
        let len = input.len();
        let mut cnt = (len as f64 / portion as f64 + 0.5) as usize;
        cnt = if cnt > worker_count {cnt} else {worker_count};
        portion = (len as f64 / cnt as f64 + 0.5) as usize;
 
        for (i, chank) in input.chunks(portion).enumerate() {
            let tx_local = tx.clone();
            let chank_local = chank.clone();  
 
            let handl = std::thread::spawn(move || {
                let mut mp_local = HashMap::new();
 
                //mp_local.insert('a', 1);
                for s in chank_local {
                    for ch in s.to_lowercase().chars() {
                        if let Some(val) = mp_local.get_mut(&ch) {
                            *val += 1;
                        } else {
                            mp_local.insert(ch, 1);
                        }
                    }
                }
 
                if let Err(e) = tx_local.send(mp_local) {
                    eprintln!("Ошибка записи в канал потоком {i}: {e}");
                }
            });
 
            hndls.push(handl);
        }
    }
    
    drop(tx);
 
    let mut mp = HashMap::new();
    for mp_local in rx {
        for (k,v) in mp_local {
            if let Some(val) = mp.get_mut(&k) {
                *val += v;
            } else {
                mp.insert(k, v);
            }
        }
    }
 
    for handl in hndls {
        handl.join().unwrap();
    }
 
    mp
}

Ошибка:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
--> src/lib.rs:19:25
   |
3  |   pub fn frequency(input: &[&str], worker_count: usize) -> HashMap<char, usize> {
   |                    -----  - let's call the lifetime of this reference `'1`
   |                    |
   |                    `input` is a reference that is only valid in the function body
...
19 |               let handl = std::thread::spawn(move || {
   |  _________________________^
20 | |                 let mut mp_local = HashMap::new();
21 | |
22 | |                 //mp_local.insert('a', 1);
...  |
35 | |                 }
36 | |             });
   | |              ^
   | |              |
   | |______________`input` escapes the function body here
   |                argument requires that `'1` must outlive `'static`
 
error[E0521]: borrowed data escapes outside of function
  --> src/lib.rs:19:25
   |
3  |   pub fn frequency(input: &[&str], worker_count: usize) -> HashMap<char, usize> {
   |                    -----    - let's call the lifetime of this reference `'2`
   |                    |
   |                    `input` is a reference that is only valid in the function body
...
19 |               let handl = std::thread::spawn(move || {
   |  _________________________^
20 | |                 let mut mp_local = HashMap::new();
21 | |
22 | |                 //mp_local.insert('a', 1);
...  |
35 | |                 }
36 | |             });
   | |              ^
   | |              |
   | |______________`input` escapes the function body here
   |                argument requires that `'2` must outlive `'static`
 
For more information about this error, try `rustc --explain E0521`.
error: could not compile `parallel-letter-frequency` (lib test) due to 2 previous errors
warning: build failed, waiting for other jobs to finish...
error: could not compile `parallel-letter-frequency` (lib) due to 2 previous errors

@Curry · 25.02.2024, 08:05

Думаю, здесь нужно копирование самих строк а не ссылок на них.

Rust
1
            let chank_local : Vec<String> = chank.iter().map(|x| (*x).into()).collect();

Не проверял.

@ture · 25.02.2024, 09:57 **[ТС]**

Rust
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
//Я русский.
use std::collections::HashMap;
 
pub fn frequency(input: &[&str], worker_count: usize) -> HashMap<char, usize> {
    let mut mp = HashMap::new();
    if input.is_empty() { return mp; }
 
    // создаём канал
    let (tx, rx) = std::sync::mpsc::channel();
    // вектор для хранения дескрипторов потоков
    let mut hndls = Vec::new();
    {
        // вычисляем количество потоков и размер порции
        let mut portion = 5; //минимальная порция
        let len = input.len();
        let mut cnt = (len as f64 / portion as f64 + 0.5).round() as usize;
        cnt = if cnt < worker_count {cnt} else {worker_count};
        portion = (len as f64 / cnt as f64 + 0.5).round() as usize;
        
 
        // преобразование ссылки в адрес, для передачи в другой поток
        let ptr = std::ptr::addr_of!(input);
        let p_addr = ptr as usize;
 
        for i in 0..cnt {
            let tx_local = tx.clone();
            
            let handl = std::thread::spawn(move || {
                let mut mp_local = HashMap::new();
 
                // преобразование адреса в ссылку и получение слайса фрагмента 
                let ptr = p_addr as *const &[&str];
                let m = unsafe { *ptr };
                let chank  = &m[i*portion..if (i+1)*portion<len {(i+1)*portion} else {len}];
 
 
                for s in chank {
                    for mut ch in s.chars() {
                        if !ch.is_alphabetic() {
                            continue;
                        } 
                        if let Some(c) = ch.to_lowercase().nth(0) { ch = c; } else { continue; }
 
                        if let Some(val) = mp_local.get_mut(&ch) {
                            *val += 1;
                        } else {
                            mp_local.insert(ch, 1);
                        }
                    }
                }
 
                if let Err(e) = tx_local.send(mp_local) {
                    eprintln!("Ошибка записи в канал потоком {i}: {e}");
                }
            });
 
            hndls.push(handl);
        }
    }
    
    drop(tx);
 
    for mp_local in rx {
        for (k,v) in mp_local {
            if let Some(val) = mp.get_mut(&k) {
                *val += v;
            } else {
                mp.insert(k, v);
            }
        }
    }
 
    for handl in hndls {
        handl.join().unwrap();
    }
    
    mp
}

Rust не может сам убедиться, что разделяемая между потоками общая память не вызывает гонок.

@Гай · 26.02.2024, 21:03

Сообщение от Curry

map(|x| (*x).into())

ЧТобы так не писать, можно всегда использовать паттерн |&x| x.into()

@ture · 27.02.2024, 16:21 **[ТС]**

А как это на tokio переписать?

Добавлено через 3 часа 36 минут
Асинхронный вариант у меня такой получился.

Rust
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
//Я русский.
use std::collections::HashMap;
 
use futures::executor::block_on;
 
async fn task(p_addr: usize, b: usize, e: usize) ->Result<HashMap<char,usize>, String> {
    let mut mp = HashMap::new();
 
    // преобразование адреса в ссылку и получение слайса фрагмента 
    let ptr = p_addr as *const &[&str];
    let m = unsafe { *ptr };
    let chank = &m[b..e];
 
    for s in chank {
        for mut ch in s.chars() {
            if !ch.is_alphabetic() { continue; }
            if let Some(c) = ch.to_lowercase().nth(0) { ch = c; } else { continue; } 
            if let Some(val) = mp.get_mut(&ch) {
                *val += 1;
            } else {
                mp.insert(ch, 1);
            }
        }
    }
 
    Ok(mp)
}
 
async fn help(input: &[&str], worker_count: usize, mp: &mut HashMap<char, usize>)  {
    if input.is_empty() { return; }
 
    // вектор для хранения futures
    let mut futs = Vec::new();
    {
        // вычисляем количество заданий и размер порции
        let mut portion = 5; //минимальная порция
        let len = input.len();
        let mut cnt = (len as f64 / portion as f64 + 0.5).round() as usize;
        cnt = if cnt < worker_count {cnt} else {worker_count};
        portion = (len as f64 / cnt as f64 + 0.5).round() as usize;
        
 
        // преобразование ссылки в адрес, для передачи в другой поток
        let ptr = std::ptr::addr_of!(input);
        let p_addr = ptr as usize;
 
        for i in 0..cnt {                
            let future = task(p_addr, i*portion, if (i+1)*portion<len {(i+1)*portion} else {len});
            futs.push(future);
        }
    }
    let mps = futures::future::try_join_all(futs).await.unwrap();
    for mp_l in mps {
        for (k,v) in mp_l {
            if let Some(val) = mp.get_mut(&k) {
                *val += v;
            } else {
                mp.insert(k, v);
            }
        }
    }    
}
 
pub fn frequency(input: &[&str], worker_count: usize) -> HashMap<char, usize> {
    let mut mp = HashMap::new();
    block_on(help(input, worker_count, &mut mp));
 
    mp
}

Нет уверенности, что всё гладенько.

Добавлено через 2 часа 43 минуты
Как управлять количеством реальных потоков в асинхронной моделе?

@D101101 · 08.03.2024, 21:22

ture, у вас тут нет ни одной операции требующих async
можете взять rayon

Rust
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
use std::collections::HashMap;
 
use rayon::prelude::*;
 
fn main() {
    let _pool = rayon::ThreadPoolBuilder::new()
        .num_threads(8)
        .build()
        .unwrap();
 
    let intput = ["one", "two", "three"].as_slice();
 
    let map = intput
        .par_iter()
        .flat_map(|s| s.par_chars())
        .fold(
            || HashMap::new(),
            |mut map: HashMap<char, usize>, c| {
                *map.entry(c).or_default() += 1;
                map
            },
        )
        .reduce(
            || HashMap::new(),
            |mut a, b| {
                for (k, v) in b {
                    *a.entry(k).or_default() += v;
                }
                a
            },
        );
 
    println!("{:?}", map);
}

Но эффективность конечно под вопросом, я бы не делил строки на символы, а обрабатывал бы построчно. Иначе больше потеряете на аллокациях HashMap

@Гай · 27.03.2024, 11:32

Curry -- единственный хранитель ветки Rust)
Из всех яп душа больше всего лежала именно к расту. Не знаю почему. Нравился этот яп и все.

@ture · 29.03.2024, 20:55 **[ТС]**

Может там чего и есть этакого, но в целом уступает golang... и кажется по всем возможным пунктам.

@Curry · 29.03.2024, 21:28

Сообщение от ture

уступает golang

Если хотите языки сравнивать, у которого пункты длиннее, то делайте это в холиварах.

@ture · 30.03.2024, 08:43 **[ТС]**

О! узнаю старый форум.

@Гай · 08.05.2024, 18:08

true, на самом деле curry нормальный модератор. Один из немногих. Не помню, чтобы он пользовался,своими модеоаторскими привилегиями и подвергал юзнров наказаниям за отличную от его точку зрения. Вообще, он как правило нейтрален и объективен. Так я помню, по крайней мере, из своего опыта прибывания,на форуме.

Новые блоги и статьи Все статьи Все блоги /
Символьное дифференцирование igorrr37 13.02.2026 / * Логарифм записывается как: (x-2)log(x^2+2) - означает логарифм (x^2+2) по основанию (x-2). Унарный минус обозначается как ! в-строка - входное арифметическое выражение в инфиксной(обычной). . .	Камера Toupcam IUA500KMA Eddy_Em 12.02.2026 Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .	И ясному Солнцу zbw 12.02.2026 И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.	«Знание-Сила» zbw 12.02.2026 «Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .

@Гай Заблокирован
	27.03.2024, 11:32
	Curry -- единственный хранитель ветки Rust) Из всех яп душа больше всего лежала именно к расту. Не знаю почему. Нравился этот яп и все. 2

@ture 553 / 361 / 206 Регистрация: 27.11.2014 Сообщений: 1,049
	29.03.2024, 20:55 [ТС]
	Может там чего и есть этакого, но в целом уступает golang... и кажется по всем возможным пунктам. 0

@ture 553 / 361 / 206 Регистрация: 27.11.2014 Сообщений: 1,049
	30.03.2024, 08:43 [ТС]
	О! узнаю старый форум. 0

@Гай Заблокирован
	08.05.2024, 18:08
	true, на самом деле curry нормальный модератор. Один из немногих. Не помню, чтобы он пользовался,своими модеоаторскими привилегиями и подвергал юзнров наказаниям за отличную от его точку зрения. Вообще, он как правило нейтрален и объективен. Так я помню, по крайней мере, из своего опыта прибывания,на форуме. 0