Хеш строки должен иметь определенную длину

Я считаю, что алгоритм хеширования MD5 дает 32-значное число, поэтому, возможно, это будет более подходящим.

Обновлено: для доступа к функциям MD5 должна быть возможность подключиться к библиотекам openssl. Однако вы упомянули об аппаратных ограничениях, поэтому в вашем случае это может быть невозможно.

Способ вычисления хэшей, к сожалению, невозможен. Чтобы ограничить длину хэша 33 байтами, вам придется его сократить. Вы можете выполнить xor первые и последние 33 байта, так как это может сохранить больше информации. Но даже с 33 байтами у вас мало шансов на коллизию.

md5: http://www.md5hashing.com/c++/

Кстати. md5 составляет 16 байтов, sha1 - 20 байтов, а sha256 - 32 байта, однако в качестве шестнадцатеричных строк они все удваиваются по размеру. Если вы можете хранить байты, вы даже можете использовать sha256.

Вместо MD5 или SHA-X вы можете использовать Эльфийский хеш (с кодом <- C) или другую простую хеш-функцию. Они небезопасны, но их можно настроить на любую нужную вам длину.

/*****Please include following header files*****/
// string
/***********************************************/

/*****Please use following namespaces*****/
// std
/*****************************************/

static unsigned int ELFHash(string str) {
    unsigned int hash = 0;
    unsigned int x = 0;
    unsigned int i = 0;
    unsigned int len = str.length();

    for (i = 0; i < len; i++)
    {
        hash = (hash << 4) + (str[i]);
        if ((x = hash & 0xF0000000) != 0)
        {
            hash ^= (x >> 24);
        }
        hash &= ~x;
    }

    return hash;
}

Пример

string data = "jdfgsdhfsdfsd 6445dsfsd7fg/*/+bfjsdgf%$^";
unsigned int value = ELFHash(data);

Выход

248446350

Вероятность 33-байтовой коллизии составляет 1/2 ^ 132 (по парадоксу дня рождения).

Так что не беспокойтесь о потере уникальности.

Обновление: я не проверял фактическую длину байта SHA1. Вот соответствующий расчет: коллизия размером 32 полубайта (33 байта шестнадцатеричного кода - 1 символ завершения) происходит только тогда, когда количество хешированных строк становится около sqrt (2 ^ (32 * 4)) = 2 ^ 64.

Здесь - это реализация MD5 на C.

Хэши по определению уникальны только для небольшого количества данных (и даже тогда это все еще не гарантируется). Невозможно однозначно сопоставить большой объем информации с небольшим количеством информации в силу того факта, что вы не можете волшебным образом избавиться от информации и вернуть ее позже. Имейте в виду, что сжатие не происходит.

Лично я бы использовал MD5 (если вам нужно хранить в тексте) или хэш 256b (32B), например SHA256 (если вы можете хранить в двоичном формате) в этой ситуации. Усечение другого хеш-алгоритма до 33B тоже работает и МОЖЕТ увеличить вероятность генерации хеш-коллизий. Это во многом зависит от алгоритма.

Кроме того, еще одна реализация MD5 на языке C, созданная людьми, которые ее разработали.

Вероятность столкновения с подстрокой (sha_hash, 0, 33) не больше, чем с любым другим хешем длиной 33 байта, из-за способа разработки алгоритмов хеширования (энтропия равномерно распределена в результирующей строке).

If I truncate the 41-byte hash to 33, I'd probably (certainly!) lost the uniqueness.

Что заставляет вас думать, что теперь у вас есть уникальность? Да, очевидно, что вероятность коллизии выше, когда вы играете только с 33 байтами вместо 41, но вы должны полностью осознавать, что коллизии всегда маловероятны, а не невозможны в любой ситуации, когда имеет смысл использовать хеш в первую очередь. Если вы хешируете более 41 байта данных, очевидно, что возможных комбинаций больше, чем доступных хешей.

Я не знаю, лучше ли вам усечь хэш SHA-1 или использовать более короткий хеш, такой как MD5. Я думаю, что буду более уверен в хранении всего хэша, но MD5 имеет известные уязвимости, что может быть или не быть проблемой для вашего конкретного приложения.

Используйте Apache DigestUtils:

http://commons.apache.org/codec/api-release/org/apache/commons/codec/digest/DigestUtils.html#md5Hex(java.lang.String)

Преобразует хэш в шестнадцатеричную строку из 32 символов.