Почему моя программа судоку не возвращает результат?

Вы неправильно реализовали возврат с возвратом. Как также объясняется в видео, реальный алгоритм должен выглядеть так:

solve():
    if the sudoku is solved
        print field
        terminate

    x,y = the next vacant field

    for each possible value in that field
        assign value to x,y
        call solve() recursively to try with the assigned value

    clear vacant field

Теперь то, что делает ваш код,

solve():
    if the sudoku is solved
        print field
        return

    for each field in the sudoku
        if field is vacant
            for each possible value
                assign value
                solve recursively
                reset field to unassigned

Теперь это действительно действительно решает судоку. Но у этого подхода есть две проблемы:
A: он не прекращается после того, как решит судоку. Собственно эта ошибка была и в коде, представленном на видео. Простой return в рекурсивном вызове завершит метод текущего вызова и продолжит рекурсию «на один вызов выше». Таким образом, алгоритм решает судоку всеми способами (при условии, что их несколько, в противном случае он просто пробует любой возможный способ присвоения значений).
B: Это путь серьезнее. Ваш алгоритм не только генерирует все возможные решения, но также пробует каждый порядок присвоения значений, которые он может найти. Накладные расходы огромны и причина, по которой ваш код просто не завершается. Решение судоку один раз уже занимает довольно много времени, но ваш код делает это миллионы раз.

Если вы решите эти проблемы, ваш код должен работать find, если все остальное реализовано правильно. Я также рекомендую оптимизировать как поиск свободных полей, так и проверку того, является ли поле пустым, поскольку это можно сделать довольно просто и обеспечит некоторое ускорение. Сгенерируйте список пустых полей в начале, выполните итерацию по нему (одно поле для каждого уровня рекурсии) и завершите работу, как только будет обработан весь список. Например.:

solve(vacant, count):
    if count == 0
        print the field
        terminate

    x, y = vacant[count]
    count++

    for each possible value assignable to the field
        assign value to x, y
        call solve(vacant, count) recursively

    clear field

Еще одна проблема, с которой вы столкнетесь, которая будет довольно уродливой для отладки, связана с этой строкой:

int possibleEntries[9];

Глобальные переменные, которые используются и перезаписываются в рекурсии: плохая идея, мягко говоря. Представьте себе возможный запуск такой программы (идентификатор указывает на уровень рекурсии, где отсутствие идентификатора означает, что действие является глобальным):

solve
 |
 ---> board empty? Nope
      x,y <- next vacant field
possible values <- possible values for x, y
      field[x, y] <- first value from possible values
      solve
       |
       ---> board empty? Nope
            x, y <- next vacant field
possible values <- possible values for x, y (overwrites global variable!!!)
           field[x, y] <- first value from possible values
           solve
            |
            ---> ...
       <--- return
       field[x, y] <- second value from possible values (WRONG!!!)
       ... 

Последнее присвоение будет использовать не список возможных значений, сгенерированный для поля, над которым вы сейчас работаете, а другого, которое вы посетили где-то в рекурсии перед возвратом. Вы можете решить эту проблему двумя способами:

• Итерируйте от 1 до 9 и проверяйте для каждого числа отдельно, можно ли его присвоить полю.
• Ведение отдельного списка для каждого уровня рекурсии