Как составлять обучающую выборку? (на примере поддержки малых языков)

package smallasr_added;
 
 
import java.io.*;
import java.util.*;
import java.util.stream.Collectors;
 
/**
 * ProChatLSTM.java
 * Чистая Java. LSTM чат с:
 *  - загрузкой/сохранением датасета (CSV "q,a"), экспорт/импорт
 *  - continue training (дообучение)
 *  - конфигом (chat.cfg) и интерактивным меню
 *  - режимы: WORD + CHAR; word-режим имеет char-fallback при OOV
 *  - генерация: greedy / temperature / top-k / top-p / beam(+length penalty,+temperature)
 *
 * Файлы по умолчанию:
 *  chat.cfg, data.csv, vocab_word.txt, vocab_char.txt, lstm_word.bin, lstm_char.bin
 * 
 * Thought for 9s
 Ниже — расширенная версия на чистой Java:
сохранение/загрузка датасета (CSV) и дообучение (continue training),
конфиг в chat.cfg (Properties) + интерактивное меню для правки,
char-fallback в word-режиме (если много OOV — генерим ответ char-LSTM’ом),
экспорт/импорт CSV Q→A,
beam search с length penalty и temperature для beam.
Собирай как обычно: javac ProChatLSTM.java → java ProChatLSTM
По умолчанию создаст/прочитает chat.cfg, data.csv, vocab_word.txt, vocab_char.txt, 
* lstm_word.bin, lstm_char.bin.
* 
* *********************************
* Вот (если надо), следующий апгрейд:
сохранение/загрузка чекпоинтов по эпохам,
авто-оценка перплексии,
мини-батчи с усреднением потерь и прогресс-баром,
JSON-конфиг + профили (dev, train, inference),
упаковка в jar и опции командной строки (--train --epochs 500 ...).
* 
* ***********************************************************************
* Как расширить дата set (или что сделать чтобы она правильно отвечала) ?
 
 
Это нормально для старта: данных мало, поэтому модель «угадывает». Чтобы начала отвечать по делу, нужно прокачать и данные, 
* и режим генерации. Вот что надо, по шагам.
 
1) Быстрые настройки инференса
Попробуй beam search: в конфиге chat.cfg поставь
gen.mode=5, gen.beam.size=5, gen.beam.temp=0.9..1.0, gen.beam.lenpen=0.6.
Это уменьшит рандом и сократит «мусор».
Для сэмплинга: temperature 0.7–0.9, top-k=5–20. Чем ниже — тем более «сдержанно».
 
2) Главный рычаг — датасет
Сейчас датасет игрушечный. Нужны интенты и вариативность формулировок.
 
Мини-план:
Составь список 15–30 частых тем/интентов (приветствие, «кто ты», «что такое RNN/LSTM/AI», «как тебя звать», 
* «чем можешь помочь», «спасибо», «погода? → не знаю», «переведи слово», и т.п.).
Для каждого интента добавь 10–20 вариантов вопроса (перефразирования, рус/англ, с опечатками).
Дай 2–5 вариантов ответа на интент (коротких и длиннее).
Итого получится хотя бы ~300–600 пар Q→A. Уже будет заметно лучше.
* 
Пример фрагмента data.csv (ты можешь занести это через пункт меню «Import CSV»):
 
q,a
hello,hi
hi,hello
hey,hi
привет,привет
как тебя зовут,я простая l s t m
кто ты,я простая l s t m
что такое rnn,r n n is a network with memory
что такое lstm,l s t m is a network with long memory
что такое ai,ai is artificial intelligence
спасибо,пожалуйста
благодарю,пожалуйста
чем можешь помочь,i can chat a little
what can you do,i can chat a little
кто твой автор,i am a simple model written in java
не понял,hmm... can you rephrase?
Добавляй побольше перефразировок одного смысла — сеть начнёт «схватывать» намерение.
 
3) Как правильно дообучать в этой программе
Собери свой CSV (как выше) → через меню 6) Import CSV добавь в текущий data.csv.
Заново построй словари (программа сделает это сама при импорте) и дообучи:
 
«3) Continue training (word)»
при большом количестве опечаток или смешанных языков — «4) Continue training (char)» (символьная модель более устойчива).
После обучения 9) Save vocabs + models.
Советы:
Лучше сначала собрать полный датасет, потом тренировать с нуля (иначе при росте словаря модель переинициализируется).
В chat.cfg увеличь:
epochs=400 (или 600)
hidden.word=192 или 256 (если CPU тянет)
microbatch=8
При долгой тренировке можно снизить lr до 0.04.
* 
4) Баланс генерации и данных
Если ответы хорошие по смыслу, но «болтает» — снижай температуру/увеличивай beam.
Если модель «молчит» или частит <unk> — расширяй словарь (больше данных) и проверяй oov.threshold 
* (например, 0.25) — это порог включения char-fallback.
 
5) Делай «защитные» интенты
Добавь намеренно пары на то, чего модель не знает:
q,a
какая сейчас погода,я не знаю погоду. я оффлайн чат-модель.
сколько сейчас времени,я не знаю текущее время. я оффлайн.
переведи на китайский,я не умею переводить на китайский в этой версии.
Так ты избежишь галлюцинаций — сеть будет отвечать честно.
 
6) Контекст диалога (опционально)
Наш код сейчас не хранит историю. Быстрый хак: конкатенируй 1–2 предыдущие реплики к текущему вопросу при кодировании (например, prev_user + " || " + prev_bot + " || " + now_user"). Если нужно — скажи, пришлю маленький патч, который будет держать «скользящее окно» контекста.
 
7) Проверка качества
Отложи 10–20% пар как dev (не обучай на них). Периодически проверяй ответы на dev — ты увидишь, улучшается ли обобщение.
Смотри частые ошибки: где путает интенты — добивай датасет целевыми примерами.
 
8) Когда использовать char-режим
Много опечаток, смешение RU/EN, редкие термины — char-LSTM поможет. Он медленнее, но устойчивее.
В конфиге можно снизить gen.temperature и для char, чтобы не «растекалась».
* ******************
* Хочешь — дам шаблон CSV с ~120 базовыми парами (RU+EN) для старта и короткий патч, 
* который добавит «окно истории» из последних двух реплик в chatLoop.
* *************************** Давай... 
* 
 */

public class ProChatLSTM {
 
    /* ======================= DATA ======================= */
    static class Pair { final String q,a; Pair(String q,String a){this.q=q; this.a=a;} }
 
    /* ===================== TOKENIZER ==================== */
    enum Mode { WORD, CHAR }
 
    static class Vocab {
        final Mode mode;
        Map<String,Integer> w2i = new HashMap<>();
        List<String> i2w = new ArrayList<>();
        int PAD, BOS, EOS, UNK;
 
        Vocab(Mode m){
            mode=m;
            PAD=add("<pad>");
            BOS=add("<bos>");
            EOS=add("<eos>");
            UNK=add("<unk>");
        }
        int add(String w){ if(!w2i.containsKey(w)){int id=i2w.size(); w2i.put(w,id); i2w.add(w);} return w2i.get(w); }
        int get(String w){ return w2i.getOrDefault(w, UNK); }
        String get(int id){ return (id>=0&&id<i2w.size())? i2w.get(id): "<unk>"; }
        int size(){ return i2w.size(); }
 
        String[] tokenize(String s){
            if (s==null) return new String[0];
            s = s.toLowerCase();
            if (mode==Mode.WORD){
                s = s.replaceAll("[^a-z0-9а-яё\\-\\' ]"," ")
                     .replaceAll("\\s+"," ").trim();
                if (s.isEmpty()) return new String[0];
                return s.split("\\s+");
            } else {
                s = s.replaceAll("[\\r\\n\\t]"," ").trim();
                if (s.isEmpty()) return new String[0];
                String[] arr = new String[s.length()];
                for (int i=0;i<s.length();i++) arr[i]=String.valueOf(s.charAt(i));
                return arr;
            }
        }
        List<Integer> encodeExpand(String text){ // расширяем словарь
            List<Integer> ids=new ArrayList<>();
            ids.add(BOS);
            String[] toks = tokenize(text);
            for (String t: toks) add(t);
            for (String t: toks) ids.add(get(t));
            ids.add(EOS);
            return ids;
        }
        List<Integer> encodeKnown(String text){ // не расширяем
            List<Integer> ids=new ArrayList<>();
            ids.add(BOS);
            for (String t: tokenize(text)) ids.add(get(t));
            ids.add(EOS);
            return ids;
        }
        int countOOV(String text){
            int c=0; for (String t: tokenize(text)) if (!w2i.containsKey(t)) c++;
            return c;
        }
        String decode(List<Integer> ids){
            StringBuilder sb=new StringBuilder();
            for (int id: ids){
                if (id==BOS||id==EOS||id==PAD) continue;
                String t=get(id);
                if (mode==Mode.WORD){
                    if (sb.length()>0) sb.append(" ");
                    sb.append(t);
                } else sb.append(t);
            }
            return sb.toString().trim();
        }
        /* save/load vocab (plain text) */
        void save(String path) throws IOException {
            try (BufferedWriter bw = new BufferedWriter(new FileWriter(path))){
                bw.write(mode.name()); bw.newLine();
                for (String tok: i2w) { bw.write(tok); bw.newLine(); }
            }
        }
        static Vocab load(String path) throws IOException {
            try (BufferedReader br = new BufferedReader(new FileReader(path))){
                String mline = br.readLine();
                Mode m = Mode.valueOf(mline.trim());
                Vocab v = new Vocab(m);
                v.w2i.clear(); v.i2w.clear();
                String line;
                while((line=br.readLine())!=null){
                    String tok=line;
                    if(tok.isEmpty()) tok=" ";
                    int id=v.i2w.size();
                    v.i2w.add(tok); v.w2i.put(tok,id);
                }
                v.PAD=v.w2i.get("<pad>"); v.BOS=v.w2i.get("<bos>");
                v.EOS=v.w2i.get("<eos>"); v.UNK=v.w2i.get("<unk>");
                return v;
            }
        }
    }
 
    /* ====================== MATH ======================= */
    static class MU {
        static final Random rnd = new Random(42);
        static double[][] randn(int r,int c,double s){ double[][] M=new double[r][c];
            for(int i=0;i<r;i++) for(int j=0;j<c;j++) M[i][j]=(rnd.nextDouble()*2-1)*s; return M; }
        static double[] randn(int n,double s){ double[] v=new double[n];
            for(int i=0;i<n;i++) v[i]=(rnd.nextDouble()*2-1)*s; return v; }
        static double[][] zeros(int r,int c){ return new double[r][c]; }
        static double[] zeros(int n){ return new double[n]; }
        static double sigmoid(double x){ return 1.0/(1.0+Math.exp(-x)); }
        static double dsig_y(double y){ return y*(1.0-y); }
        static double tanh(double x){ return Math.tanh(x); }
        static double dtanh_y(double y){ return 1.0 - y*y; }
        static double[] softmax(double[] z){
            double m=Double.NEGATIVE_INFINITY; for(double v: z) m=Math.max(m,v);
            double s=0; double[] e=new double[z.length];
            for(int i=0;i<z.length;i++){ e[i]=Math.exp(z[i]-m); s+=e[i]; }
            for(int i=0;i<z.length;i++) e[i]/=s; return e;
        }
        static int argmax(double[] v){ int id=0; double b=v[0]; for(int i=1;i<v.length;i++) if(v[i]>b){b=v[i]; id=i;} return id; }
        static void clip(double[][] A,double thr){
            double n=0; for(double[] r: A) for(double x:r) n+=x*x; n=Math.sqrt(n);
            if(n>thr){ double k=thr/n; for(int i=0;i<A.length;i++) for(int j=0;j<A[i].length;j++) A[i][j]*=k; }
        }
        static void clip(double[] v,double thr){
            double n=0; for(double x:v) n+=x*x; n=Math.sqrt(n);
            if(n>thr){ double k=thr/n; for(int i=0;i<v.length;i++) v[i]*=k; }
        }
    }