управлять мышью с распознаванием речи

Я хотел бы создать приложение, которое контролирует местоположение мыши и ее левый и правый щелчки с помощью распознавания речи.

Я создал приложение, которое может управлять указателем мыши, но я застрял в коде, имитирующем щелчки влево и вправо с помощью речи.

Вот код, который у меня есть:

private void Initialize()
    {
        recognitionEngine = new SpeechRecognitionEngine();
        recognitionEngine.SetInputToDefaultAudioDevice();
        recognitionEngine.SpeechRecognized += (s, args) =>
        {
            string line = "";
            foreach (RecognizedWordUnit word in args.Result.Words)
            {
                if (word.Confidence > 0.5f)
                    line += word.Text + " ";
            }
            string command = line.Trim();
            switch (command)
            {
                case "left":
                    MoveMouse(Cursor.Position.X - 50, Cursor.Position.Y);
                    break;
                case "right":
                    MoveMouse(Cursor.Position.X + 50, Cursor.Position.Y);
                    break;
                case "up":
                    MoveMouse(Cursor.Position.X, Cursor.Position.Y - 50);
                    break;
                case "down":
                    MoveMouse(Cursor.Position.X, Cursor.Position.Y + 50);
                    break;
            }

            txtOutput.Text += line;
            txtOutput.Text += Environment.NewLine;
        };

        recognitionEngine.UnloadAllGrammars();
        recognitionEngine.LoadGrammar(CreateGrammars());
        recognitionEngine.RecognizeAsync(RecognizeMode.Multiple);
    }

    private Grammar CreateGrammars()
    {
        Choices commandChoices = new Choices("left", "right", "up", "down");
        GrammarBuilder grammarBuilder = new GrammarBuilder();
        grammarBuilder.Append(commandChoices);
        return new Grammar(grammarBuilder);
    }

    private void MoveMouse(int x, int y)
    {
        this.Cursor = new Cursor(Cursor.Current.Handle);
        Cursor.Position = new Point(x, y);
        Cursor.Clip = new Rectangle(this.Location, this.Size);
    }
}
}

c# speech-recognition speech speech-synthesis
person MỀmo Ha    schedule 09.06.2013    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Вставьте следующий код в проект Winforms и запустите проект:

public Form1()
{
    InitializeComponent();
    this.KeyPreview = true;
    this.KeyDown += new System.Windows.Forms.KeyEventHandler(this.Form1_KeyDown);

    var button1 = new Button();
    button1.Location = new Point(50,50);
    button1.Text = "Hover mouse over and press a key to simulate mouse click";
    button1.AutoSize = true;
    button1.Click +=new EventHandler(button1_Click);
    this.Controls.Add(button1);
}

[System.Runtime.InteropServices.DllImport("user32.dll")]
public static extern void mouse_event(int dwFlags, int dx, int dy, int cButtons, int dwExtraInfo);

public const int MOUSEEVENTF_LEFTDOWN = 0x02;
public const int MOUSEEVENTF_LEFTUP = 0x04;

private void Form1_KeyDown(object sender, KeyEventArgs e)
{
    SimulateLeftClick();
}

private void SimulateLeftClick()
{
    int xpos = Cursor.Position.X;
    int ypos = Cursor.Position.Y;
    mouse_event(MOUSEEVENTF_LEFTDOWN, xpos, ypos, 0, 0);
    mouse_event(MOUSEEVENTF_LEFTUP, xpos, ypos, 0, 0);
}

private void button1_Click(object sender, EventArgs e)
{
    MessageBox.Show("Left Click simulated");
}

Здесь вы можете найти все значения Left, Right, Middle int: http://msdn.microsoft.com/en-us/library/windows/desktop/ms646260(v=vs.85).aspx

Поместив это в свое решение:

switch (command)
{
    case "leftclick":
        int xpos = Cursor.Position.X;
        int ypos = Cursor.Position.Y;
        mouse_event(MOUSEEVENTF_LEFTDOWN, xpos, ypos, 0, 0);
        mouse_event(MOUSEEVENTF_LEFTUP, xpos, ypos, 0, 0);
        break;

Также подумайте, как бы вы это сделали для многоязычных приложений. В мире более 2500 языков. Недавно австралийский школьник получил награду за проект инвалидной коляски lego storm с параличом нижних конечностей, активируемый голосом. http://www.yayalu.net/Yaya-Lu-2012/Yaya-Lu-2012.htm - она ​​использует базовые словосочетания, такие как: ma-mi, mi-ma, поэтому это нейтрально по отношению к языку.

person Jeremy Thompson    schedule 09.06.2013