AI Radar — лентаPinecone открыла векторный поиск внутри PostgreSQL
Pinecone выпустила pg_pinecone — расширение с открытым исходным кодом для поиска векторов в PostgreSQL.
Что умеет. Расширение работает с нативным движком внутри PostgreSQL, существующим индексом pgvector или удалённым индексом Pinecone. Переключать движки можно без изменения запросов, а сам поиск — отменить.
Нативный индекс для 1 млн векторов размерностью 768 занимает 136 МБ и строится за 45 секунд. Для сравнения, HNSW на halfvec занимает 2,0 ГБ и строится за 62 секунды, а на полноразмерных векторах — 4,1 ГБ и 79 секунд.
Скорость. Без фильтра медианная задержка нативного движка составила 1,3 мс при recall 0,95, а HNSW на halfvec — 1,7 мс. При recall 0,99 получилось 2,3 мс против 4,7 мс.
Фильтры. При фильтре, совпадающем с 10% строк, нативный движок вернул recall 1,000 за 12,3 мс. Лучший результат HNSW с итеративными сканированиями в этом же сценарии — recall 0,920 за 5,9 мс. При фильтре на 1% строк нативный движок показал recall 0,981 за 8,3 мс.
Бенчмарки опубликовала сама Pinecone: независимой проверки результатов пока нет. Тесты шли на AWS r6id.4xlarge с 16 vCPUs и 128 ГБ RAM.
Что это значит: векторный поиск можно перенести внутрь PostgreSQL без учётной записи Pinecone, API-ключа и сетевых вызовов.
Оригинальная публикация в Telegram