Lua, как сделать таблицу классов и создание экземпляров?

Давайте посмотрим на структуру таблицы Dog, которая после создания объекта Dog имеет метаметод __index, установленный следующим образом:

Dog = {}            --> table: 000000000079a510     
Dog.__index = Dog   --> table: 000000000079a510

Когда вы печатаете таблицу Dog, ключ __index имеет значение содержащей его таблицы, что приводит к рекурсии. Стандартный Lua не печатает таблицы, поэтому эта функция print должна остановиться после ~5 уровней (то есть: __index : {...}, где она останавливает рекурсию). Как упоминал @siffiejoe в комментариях, это метод использования одной таблицы как для методов объекта, так и для метаметодов.

Относительно того, какая реализация является правильной; в Lua есть много способов создавать объекты. Пример класса, хотя и не является неправильным, ИМХО без необходимости использует глобальные переменные. Его реализация просачивается в глобальную среду через Dog и newObj. Не большая проблема по отдельности, но когда это часть более крупной программы, это может быть источником трудно обнаруживаемых ошибок. Альтернативный метод заключается в реализации вашего класса в виде модуля. Используйте локальные переменные для реализации и экспортируйте только то, что необходимо для создания экземпляров новых объектов.

Например, давайте посмотрим на рефакторинг класса Dog:

-- class: dog.lua
--
local Dog = {}     -- the objects implementation
Dog.__index = Dog  -- also, its own metatable

-- instantiate a Dog object:
local function new(name, sound)
    local self = {
        name = name,
        sound = sound or 'woof'
    }
    return setmetatable(self, Dog)
end

-- implement object methods:
function Dog.say(self)
    print(('<%s> says: %s'):format(self.name, self.sound))
end

-- implement object metamethods (unique to Dog objects):
function Dog.__tostring(self)
    return ('Dog: %s'):format(self.name)
end

-- module exports:
return {
    new = new;       -- Dog constructor
    __object = Dog;  -- Dog object table/metatable
}

Модуль экспортирует конструктор, который знает, как построить объект Dog без необходимости в глобальном объекте.

-- original example:
myDog = Dog.new(Dog)  --> must pass in the global Dog table to create new objects

-- vs --

-- refactored example:
local Dog = require 'dog'   --> Dog object factory
local myDog = Dog.new()     --> instantiate new Dog

С наследованием можно справиться, объединив метатаблицы и вызвав конструктор родителей в функции new:

-- class: colorfuldog.lua
--
local Dog = require 'dog'   -- import the parent class

local ColorfulDog = setmetatable({}, Dog.__object)  -- inherit from Dog
ColorfulDog.__index = ColorfulDog                   -- also, its own metatable

-- instantiate a new ColorfulDog object:
local function new(name, sound, color)
    local self = Dog.new(name, sound)  -- construct the parent first
    self.color = color
    return setmetatable(self, ColorfulDog)
end

-- implement or override object methods:
function ColorfulDog.lookat(self)
    print(('<%s> looks: %s'):format(self.name, self.color))
end

-- implement object metamethods (unique to ColorfulDog objects):
function ColorfulDog.__tostring(self)
    return ('ColorfulDog: %s'):format(self.name)
end

-- module exports
return {
    new = new;
    __object = ColorfulDog;
}

Таким образом, каждый класс инкапсулируется в свой собственный модуль, который не пропускает детали реализации в глобальную среду.

-- script: test.lua
--
local Dog = require 'dog'
local ColorfulDog = require 'colorfuldog'

local d1 = Dog.new 'Rover'
local d2 = Dog.new('Max', 'arf!')
local d3 = ColorfulDog.new('Lassie', 'ruff', 'brown')

d1:say()  -- sugar for d1.say(d1)
d2:say()
d3:say()  -- inherited from Dog
d3:lookat()

print(d1, d2, d3) 

Запуск вышеуказанных выходных данных:

$ lua test.lua
<Rover> says: woof
<Max> says: arf!
<Lassie> says: ruff
<Lassie> looks: brown
Dog: Rover      Dog: Max        ColorfulDog: Lassie

Как я уже говорил ранее, существует много много способов создания классов в Lua, это лишь пример одного из них. Как бы вы ни решили реализовать объекты, по-прежнему рекомендуется поддерживать чистоту глобальной среды.