Написание системы распознавания речи!

@LanGrande · Регистрация: 15.09.2013

Author24 — интернет-сервис помощи студентам

Привет форумчанам!
Задумался я над интересно темой: Распознавание речи.Тема довольна перспективна,особенно в наши времена.

Перед написанием подобного надо , ессе-но,изучить все термины и узнать в общих чертах как это работает.

Так как я задумался написать такую систему под андроид,то и копать надо в ту же сторону.
У кого есть какие то материалы по данной тематике - выкладывайте!Все

Прежде чем писать такую систему разберем основные компоненты системы:

1)Запись звука - это запись звука

То есть, сказали что то в микрофон, файл записался(Точнее он может и не записаться,а сразу перейти во второй этап)

2)Анализ сигнала - Ядро нашей программы,анализирует записанную с микрофона речь.Самая сложная часть.

3)Вывод - Тут уж в зависимости от назначения программы.Для начала надо научиться просто выводить слово.

Этап первый,начнем.

Так как самое главное нам это запись звука с микрофона,накропал небольшой кодец:

Java

import java.io.File;
import java.io.IOException;
import java.util.Scanner;
 
import javax.sound.sampled.AudioFileFormat;
import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioInputStream;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.DataLine;
import javax.sound.sampled.LineUnavailableException;
import javax.sound.sampled.TargetDataLine;
 
public class Main {
    
    final static int MONO = 1;
    private static AudioFileFormat.Type fileType = AudioFileFormat.Type.WAVE;
 
    public static void main(String[] args) {
        AudioFormat format = new AudioFormat(AudioFormat.Encoding.PCM_SIGNED,
                44100, 16, MONO, 2, 44100, true);
        DataLine.Info info = new DataLine.Info(TargetDataLine.class, format);
        int numb = 5; //номер файла
        String files = "C:\\test\\mix" + numb + "." + fileType;
        File fileOut = new File(files);
 
        if (!AudioSystem.isLineSupported(info)) {
            System.out.println("Line nit supporot!");
        }
        System.out.println("Для остановки записи звука введите - g");
        TargetDataLine mike = null;
        try {
            mike = (TargetDataLine) AudioSystem.getLine(info);
            mike.open(format);
            AudioInputStream sound = new AudioInputStream(mike);
            mike.start();
            
            try {
                AudioSystem.write(sound, fileType, fileOut);
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        } catch (LineUnavailableException e) {
            System.out.println("line not avaible");
        }
        
        Scanner sc = new Scanner(System.in);
        String scc;
        if (sc.hasNext()) { 
            System.out.println("Запись звука остановлена");
            scc = sc.nextLine();
            if (scc.equals("g")) {
                System.out.println("Запись звука остановлена");
                mike.stop();
            }
        }
        
        
    }
}

Эта часть кода немного неправильно работает:

Java

Scanner sc = new Scanner(System.in);
        String scc;
        if (sc.hasNext()) { 
            System.out.println("Запись звука остановлена");
            scc = sc.nextLine();
            if (scc.equals("g")) {
                System.out.println("Запись звука остановлена");
                mike.stop();
            }
        }

Но если программу остановить,все будет хорошо,звук запишется.

Пожалуйста,выкладывайте любые ссылки по теме,говорите какие недочеты есть в коде)

@tankomaz · 26.11.2013, 23:30

воу-воу-воу, палехче! Гугл повержен?

Добавлено через 3 минуты

Scanner sc = new Scanner(System.in);
String scc;
if (sc.hasNext()) {
System.out.println("Запись звука остановлена");
scc = sc.nextLine();
if (scc.equals("g")) {
System.out.println("Запись звука остановлена");
mike.stop();
}
}

вопрос по теме!
ТС, как вы думаете, как работает данный код и каково его место под солнцем?

@LanGrande · 26.11.2013, 23:54 **[ТС]**

Вообще он работает,если вставить его в другое место,но файл записи тогда получается пустым..

Добавлено через 20 секунд
Работает только остановкой программы в еклипсе(красный квадратик)

@MLPMan · 27.11.2013, 07:02

Силами одного кодера(не эксперта предметной области) реально реализовать только сравнение фрагментов. Как голосовые команды в мобилах.

Cheb · 27.11.2013, 09:27

Сообщение от LanGrande

Прежде чем писать такую систему

надо устроиться в http://google.com поработать опыта понабраться

@LanGrande · 27.11.2013, 13:46 **[ТС]**

Сообщение от tankomaz

ТС, как вы думаете, как работает данный код и каково его место под солнцем?

Хм.Имеется Сканнер если он не пустой(имеет что то), то присвоить это строке,если строка совпадает с буквой g,то остановить запись,примерно так)

Сообщение от Cheb

надо устроиться в http://google.com поработать опыта понабраться

Куда то я потерял пару ссылок,на тему устройства распознавания речи от гугл..

@tankomaz · 27.11.2013, 14:56

Java

1
2
3

Scanner sc = new Scanner(System.in);
String scc;
if (sc.hasNext()) {

что будет в переменной sc после инициализации? будет .hasNext работать или нет?

@LanGrande · 28.11.2013, 19:30 **[ТС]**

Сообщение от tankomaz

что будет в переменной sc после инициализации?

Введенный нами текст,разве нет?))

Сообщение от tankomaz

будет .hasNext работать или нет?

Не знаю,наверно,будет)
Наверно правильнее было бы проверить sc на не null , а не так..

Добавлено через 12 минут
Пока на закуску пару ссылок:

http://habrahabr.ru/post/144580/

http://habrahabr.ru/company/yandex/blog/198556/

Добавлено через 1 час 9 минут
Почему то никак не могу воспроизвести звуковой файл.
Тут уже вопрос задвал:

Java

import java.io.File;
import javax.sound.sampled.AudioInputStream;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.Clip;
import javax.sound.sampled.DataLine;
 
public class Main {
    public static void main(String[] args) {
 
        try {
            System.out.println("Start");
            File f = new File("c://music.wav");
            AudioInputStream source = AudioSystem.getAudioInputStream(f);
 
            DataLine.Info info = new DataLine.Info(Clip.class,
                    source.getFormat());
 
            Clip clip = null;
            if (AudioSystem.isLineSupported(info)) {
                clip = (Clip) AudioSystem.getLine(info);
            }
 
            clip.open(source);
            clip.start();
 
        } catch (Exception E) {
            System.out.println(E.getMessage());
 
        }
    }
}

Добавлено через 19 часов 7 минут
Ругается на эту строку:

Java

1	clip.open(source);

Добавлено через 1 час 17 минут
Воспроизведение заработало!)

Первый вариант где то с хабра:

Java

import java.io.File;
import java.io.IOException;
 
import javax.sound.sampled.AudioFileFormat;
import javax.sound.sampled.AudioInputStream;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.Clip;
import javax.sound.sampled.FloatControl;
import javax.sound.sampled.LineUnavailableException;
import javax.sound.sampled.UnsupportedAudioFileException;
 
public class Test1 {
    private static AudioFileFormat.Type fileType = AudioFileFormat.Type.WAVE;
 
    public static void main(String[] args) {
 
        System.out.println("Start");
        String fileN = "C:\\test\\mix7" + "." + fileType;
        File soundFile = new File(fileN); // Звуковой файл
 
        AudioInputStream ais = null;
 
        try {
            ais = AudioSystem.getAudioInputStream(soundFile);
        } catch (UnsupportedAudioFileException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
 
        Clip clip = null;
 
        try {
            clip = AudioSystem.getClip();
            clip.open(ais);
        } catch (LineUnavailableException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
 
        FloatControl vc = (FloatControl) clip
                .getControl(FloatControl.Type.MASTER_GAIN);
 
        System.out.println(vc.getMinimum());
        System.out.println(vc.getMaximum());
 
        vc.setValue(5); // Громче обычного
 
        clip.setFramePosition(0);
        clip.start();
 
        try {
            Thread.sleep(clip.getMicrosecondLength() / 1000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        clip.stop();
        clip.close();
 
    }
 
}

Второй вариант:

Java

import java.io.File;
import java.io.IOException;
 
import javax.sound.sampled.AudioFileFormat;
import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioInputStream;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.DataLine;
import javax.sound.sampled.LineUnavailableException;
import javax.sound.sampled.SourceDataLine;
import javax.sound.sampled.UnsupportedAudioFileException;
 
public class Splay {
    private static final int EXTERNAL_BUFFER_SIZE = 1048576;// 128Kb
    private static AudioFileFormat.Type fileType = AudioFileFormat.Type.WAVE;
 
    public static void main(String[] args) {
 
        boolean playing = true;
        System.out.println("Start");
        String fileN = "C:\\test\\mix7" + "." + fileType;
        File f = new File(fileN);
 
        AudioInputStream source = null;
        try {
            source = AudioSystem.getAudioInputStream(f);
        } catch (UnsupportedAudioFileException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
 
        AudioFormat format = source.getFormat();
        System.out.println(format);
        SourceDataLine auline = null;
        DataLine.Info info = new DataLine.Info(SourceDataLine.class, format);
 
        try {
            auline = (SourceDataLine) AudioSystem.getLine(info);
            auline.open(format);
        } catch (LineUnavailableException e) {
            e.printStackTrace();
            return;
        } catch (Exception e) {
            e.printStackTrace();
            return;
        }
        
        auline.start();
        
        int nBytesRead = 0;
        byte[] abData = new byte[EXTERNAL_BUFFER_SIZE];
 
        try {
            
            while(playing){
            while (nBytesRead != -1) {
                nBytesRead = source.read(abData, 0, abData.length);
                if (nBytesRead >= 0)
                    auline.write(abData, 0, nBytesRead);
                System.out.println("Фрейм " + auline.getFramePosition());
                System.out.println("Громкость " + auline.getLevel());
                System.out.println("Микро " + auline.getMicrosecondPosition());
            }
            }
        } catch (IOException e) {
            e.printStackTrace();
            return;
        } finally {
            auline.drain();
            auline.close();
        }
 
    }
}

Добавлено через 23 секунды
Осталось распознать!)

Добавлено через 39 минут
Отличная статья:
http://habrahabr.ru/post/140828/

Примерный план реализации уже есть!
(не для получения слова,а для получения MFCC векторов)

Ну и вот это(как ж без этого)
http://ru.wikipedia.org/wiki/Д... ание_Фурье

@tankomaz ɐwʎ ɔ vǝmоɔ dиw ɐʚонɔ 443 / 442 / 100 Регистрация: 14.10.2012 Сообщений: 1,146 Записей в блоге: 9
	26.11.2013, 23:30	2
	воу-воу-воу, палехче! Гугл повержен? Добавлено через 3 минуты Scanner sc = new Scanner(System.in); String scc; if (sc.hasNext()) { System.out.println("Запись звука остановлена"); scc = sc.nextLine(); if (scc.equals("g")) { System.out.println("Запись звука остановлена"); mike.stop(); } } вопрос по теме! ТС, как вы думаете, как работает данный код и каково его место под солнцем? 1

@LanGrande 6 / 6 / 1 Регистрация: 15.09.2013 Сообщений: 149
	26.11.2013, 23:54 [ТС]	3
	Вообще он работает,если вставить его в другое место,но файл записи тогда получается пустым.. Добавлено через 20 секунд Работает только остановкой программы в еклипсе(красный квадратик) 0

@MLPMan Кандёхаем веселее! 296 / 328 / 76 Регистрация: 02.10.2012 Сообщений: 2,175
	27.11.2013, 07:02	4
	Силами одного кодера(не эксперта предметной области) реально реализовать только сравнение фрагментов. Как голосовые команды в мобилах. 1

Cheb 92 / 59 / 8 Регистрация: 09.11.2011 Сообщений: 443
	27.11.2013, 09:27	5
	Сообщение от LanGrande Прежде чем писать такую систему надо устроиться в http://google.com поработать опыта понабраться 1

@LanGrande 6 / 6 / 1 Регистрация: 15.09.2013 Сообщений: 149
	27.11.2013, 13:46 [ТС]	6
	Сообщение от tankomaz ТС, как вы думаете, как работает данный код и каково его место под солнцем? Хм.Имеется Сканнер если он не пустой(имеет что то), то присвоить это строке,если строка совпадает с буквой g,то остановить запись,примерно так) Сообщение от Cheb надо устроиться в http://google.com поработать опыта понабраться Куда то я потерял пару ссылок,на тему устройства распознавания речи от гугл.. 0

	28.11.2013, 19:30

Опции темы