Всё, что вы не знали про сжатие и стеснялись спросить

Backend

«Написать свой кодек» звучит очень страшно, но так-то довольно просто. Нередко даже «простая» магия сжатия позволяет невозможное: одновременно выиграть и по диску, и памяти, и процессору.

Мы поразбираем десяток ключевых техник сжатия (т.е. методов преобразования и кодирования произвольных данных), отлично применимых ВЕЗДЕ и активно использующихся в очень разных продуктах: базах, архиваторах, браузерах, поисковиках, итп (MySQL, Clickhouse, zstd, Chrome, Sphinx, etc). А ещё глянем, как написать LZ4 в десяток строк. А ещё, как обогнать LZ4 в десяток раз. А ещё узнаем, где в новомодных LLM и векторных поисках 2020х внутри отлично работающие техники сжатия родом из 1970х. А ещё...

А ещё нам обязательно не хватит времени, и ещё два десятка интересных алгосов, трюков, оптимизаций и шокирующих подробностей останутся за кадром, для кулуаров и самых любопытных!


Оценить доклад

Уровень сложности

Начинающий.

Записи выступлений доступны платным участникам CodeTalks
В свободном доступе появятся через пол года

Залогиниться

Презентация

Презентация (на Я.Диске)

Программирует программы, командует командами, докладывает доклады. Работает в Авито, присматривает за инфраструктурой поиска и пилит поисковый движок Sphinx.

Еще на тему Backend