Векторная поисковая система Marqo для AI приложений

Векторные базы данных - невоспетые герои современного движения ИИ, хранящие неструктурированные данные, такие как изображения, видео и текст, для того чтобы люди и системы могли искать некатегоризированный контент. Они особенно важны для больших языковых моделей (LLM), таких как GPT-4 (на базе которой работает ChatGPT), во многом благодаря способности баз данных обеспечивать индексацию и поиск в реальном времени по мере создания или обновления данных - это важно для функций персонализации, рекомендательных систем, анализа настроений и многого другого.

Растущий спрос на генеративный ИИ привел к тому, что множество стартапов в области векторных баз данных оказались в центре внимания и по пути получили огромные суммы денег. Только в апреле Pinecone и Weaviate привлекли 100 и 50 миллионов долларов соответственно для развития своих векторных баз данных, а в том же месяце начинающие разработчики векторных баз данных Chroma и Qdrant получили 18 и 7,5 миллионов долларов соответственно в рамках посевного финансирования. А в конце прошлого года компания Zilliz, основной разработчик векторной базы данных с открытым исходным кодом Milvus, привлекла финансирование в размере 60 миллионов долларов.

Таким образом, очевидно, что компании, работающие над тем, чтобы помочь инфраструктуре идти в ногу со стремительным развитием ИИ, пользуются большим спросом. Австралийский стартап Marqo стремится извлечь из этого выгоду, предлагая более целостный "сквозной" подход к векторному поиску.

Слабые места

Компания Marqo была основана в Мельбурне в июне прошлого года и является детищем Джесси Кларка, ранее работавшего ведущим специалистом по машинному обучению в подразделении робототехники Amazon в Сиэтле, и Тома Хамера, ранее работавшего инженером по программному обеспечению баз данных в Amazon Web Services (AWS) в Сиднее.

Суть миссии компании Marqo заключается в решении проблемы неструктурированных данных, которые, по некоторым оценкам, составляют до 90 % всех создаваемых данных. По мере того как все больше людей обращаются к генеративному искусственному интеллекту для ответа на свои онлайн-запросы или создания новых изображений и произведений искусства, это только усиливает потребность в новых инструментах для осмысления всего этого.

Основным преимуществом Marqo по сравнению с существующими конкурентами является то, что она обещает полный набор интеллектуальных возможностей векторного поиска из коробки, включая генерацию, хранение и извлечение векторов. Это означает, что Marqo позволяет своим пользователям обойтись без сторонних инструментов генерации векторов от таких компаний, как OpenAI или Hugging Face, и предложить все через единый API.

"Векторный поиск сложно реализовать - векторные базы данных являются лишь одной частью головоломки, и разработчикам сложно собрать воедино все необходимые компоненты, чтобы создать векторный поиск с оптимальной релевантностью, задержкой и надежностью", - пояснил соучредитель и генеральный директор Marqo Том Хамер в своем письме в TechCrunch. "Marqo предоставляет комплексную систему, которая объединяет все эти компоненты, решая основную проблему для разработчиков".

Более того, поисковые системы хороши лишь настолько, насколько хороши выдаваемые ими результаты, а это значит, что релевантность, точность и "актуальность" являются неотъемлемой частью любой системы хранения и поиска информации. И это то, что, по словам Хамера, Marqo предлагает с самого начала.

"Если разработчики хотят постоянно улучшать релевантность результатов поиска, им приходится вручную обучать новые модели ИИ для генерации векторов", - продолжает он. Технология непрерывного обучения Marqo позволит автоматически улучшать поиск на основе вовлеченности пользователей - таких как клики, "добавление в корзину" и т. д. Это особенно важно для электронной коммерции и других случаев использования поиска конечными пользователями".

В прошлом году компания Marqo привлекла 660 000 фунтов стерлингов (840 000 долларов) в качестве предварительного финансирования, а сегодня она объявила о привлечении новых 4,4 млн долларов в качестве начального финансирования, чтобы удвоить свои коммерческие усилия. Это включает в себя новый облачный сервис, который будет официально представлен общественности сегодня в дополнение к существующему проекту Marqo с открытым исходным кодом.

Фактор открытого исходного кода

Как и у многих других конкурентов, этика открытого исходного кода Marqo была очень продуманным шагом, направленным на то, чтобы расположить к себе сообщество разработчиков, которые могут возиться с продуктом, чтобы понять, подходит ли он им. В свою очередь, это означает, что они с большей вероятностью порекомендуют продукт влиятельным лицам в своей компании и даже внесут свой вклад в его разработку.

"Я твердо убежден, что разработка продуктов с открытым исходным кодом приводит к более высокому качеству, - говорит Хамер, - Создание Marqo на основе открытого исходного кода позволило нам иметь тесную обратную связь с нашими пользователями и очень быстро проводить итерации, чтобы создать продукт, который действительно нужен разработчикам. Открытый исходный код - это еще и отличный канал привлечения клиентов. Клиенты видят, что именно они покупают, могут бесплатно попробовать и убедиться, что Marqo подходит для их задач".

При всем этом для создания продукта с открытым исходным кодом обычно требуется много ресурсов, как человеческих, так и инфраструктурных. И именно здесь в дело вступает Marqo Cloud.

"Самостоятельное размещение продукта с открытым исходным кодом - отличный вариант для пользователей, которым не требуется поиск в реальном времени и у которых небольшое количество конечных пользователей, или для создания пробной концепции", - продолжает Хамер. "Облачная платформа Marqo обеспечивает инфраструктуру, обслуживание и эксплуатацию облачных ресурсов для наших клиентов, гарантируя оптимальную производительность и экономическую эффективность".

Хотя Marqo - австралийский стартап, он зарегистрировал материнскую компанию в Великобритании, где находится его первый инвестор - фонд Creator Fund. Кроме того, компания имеет небольшой офис в Лондоне, в котором на данный момент работает один сотрудник, но она собирается расширить его, включив в него отдел продаж, маркетинга и поддержки клиентов, чтобы поддержать свои амбиции по всей Европе.