Общий кеш объектов

Вы можете использовать библиотеку Boost.MultiIndex. Легко реализовать кеш MRU.

Я собрал относительно простой кэш LRU, построенный из карты и связанного списка:

template<typename K, typename V, typename Map = std::unordered_map<K, typename std::list<K>::iterator>>
class LRUCache
{
    size_t maxSize;
    Map data;
    std::list<K> usageOrder;
    std::function<void(std::pair<K, V>)> onEject = [](std::pair<K, V> x){};

    void moveToFront(typename std::list<K>::iterator itr)
    {
        if(itr != usageOrder.begin())
            usageOrder.splice(usageOrder.begin(), usageOrder, itr);
    }


    void trimToSize()
    {
        while(data.size() > maxSize)
        {
            auto itr = data.find(usageOrder.back());

            onEject(std::pair<K, V>(itr->first, *(itr->second)));
            data.erase(usageOrder.back());
            usageOrder.erase(--usageOrder.end());
        }
    }

public:
    typedef std::pair<const K, V> value_type;
    typedef K key_type;
    typedef V mapped_type;


    LRUCache(size_t maxEntries) : maxSize(maxEntries)
    {
        data.reserve(maxEntries);
    }

    size_t size() const
    {
        return data.size();
    }

    void insert(const value_type& v)
    {
        usageOrder.push_front(v.first);
        data.insert(typename Map::value_type(v.first, usageOrder.begin()));

        trimToSize();
    }

    bool contains(const K& k) const
    {
        return data.count(k) != 0;
    }

    V& at(const K& k)
    {
        auto itr = data.at(k);
        moveToFront(itr);
        return *itr;
    }


    void setMaxEntries(size_t maxEntries)
    {
        maxSize = maxEntries;
        trimToSize();
    }

    void touch(const K& k)
    {
        at(k);
    }

    template<typename Compute>
    V& getOrCompute(const K& k)
    {
        if(!data.contains(k)) insert(value_type(k, Compute()));
        return(at(k));
    }

    void setOnEject(decltype(onEject) f)
    {
        onEject = f;
    }
};

Что, я считаю, соответствует вашим критериям. Что-то нужно добавить или изменить?

В приложении я с трудом могу представить, что это ускорит / повысит производительность для хранения объектов, которые, по-видимому, могут быть воссозданы (бедро: поскольку они могут быть автоматически отброшены, когда кеш заканчивается). Кэш sw потребует извлечения памяти с помощью кода ассоциативности, что, безусловно, медленнее, чем выделение памяти и запуск конструктора (в основном инициализация памяти).

За исключением ручной настройки пользователя, чтобы избежать механизма подкачки (именно для повышения производительности, кстати), большинство ОС «кэширует» память для вас на диске ... это «пейджинг», форма «кэширования высокой стоимости», потому что ничего не выбрасывается, и это делается специальным аппаратным обеспечением, подпроцессором, называемым блоком управления памятью...

Кэширующий код, по большому счету, будет замедлять процессы, будучи избыточным.