Amazon S3 Vectors : Le premier stockage cloud natif pour vecteurs à grande échelle (préversion)
Aujourd'hui, nous annonçons la préversion d'Amazon S3 Vectors, une solution de stockage de vecteurs durable conçue pour réduire jusqu'à 90 % les coûts liés au téléchargement, au stockage et à l'interrogation de vecteurs. Il s'agit du premier stockage d'objets cloud offrant un support natif pour les jeux de données vectorielles volumineux, avec des performances de requête en moins d'une seconde, rendant ainsi abordable le stockage de données prêtes pour l'IA à grande échelle.
La recherche vectorielle est une technique émergente utilisée dans les applications d'IA générative pour trouver des points de données similaires à une donnée donnée, en comparant leurs représentations vectorielles à l'aide de métriques de distance ou de similarité. Les vecteurs sont des représentations numériques de données non structurées créées à partir de modèles d'embedding. Vous pouvez utiliser ces modèles pour générer des embeddings vectoriels de vos données et les stocker dans S3 Vectors afin d'effectuer des recherches sémantiques.
S3 Vectors introduit les "vector buckets", un nouveau type de bucket avec un ensemble dédié d'API pour stocker, accéder et interroger des données vectorielles sans avoir à provisionner d'infrastructure. Lorsque vous créez un vector bucket, vous organisez vos données vectorielles dans des index vectoriels, simplifiant ainsi l'exécution de requêtes de recherche par similarité. Chaque vector bucket peut contenir jusqu'à 10 000 index vectoriels, chaque index pouvant stocker des dizaines de millions de vecteurs.
Lors de l'ajout de données vectorielles à un index, vous pouvez également associer des métadonnées sous forme de paires clé-valeur à chaque vecteur, permettant de filtrer les futures requêtes selon des critères tels que des dates, catégories ou préférences utilisateur. S3 Vectors optimise automatiquement les données vectorielles au fil des opérations d'écriture, de mise à jour et de suppression, garantissant ainsi le meilleur rapport performance-prix, même à grande échelle.
S3 Vectors est intégré nativement avec Amazon Bedrock Knowledge Bases, y compris dans Amazon SageMaker Unified Studio, pour la création d'applications RAG (Retrieval-Augmented Generation) économiques. Grâce à son intégration avec Amazon OpenSearch Service, vous pouvez réduire les coûts de stockage en conservant les vecteurs rarement interrogés dans S3 Vectors, puis les transférer rapidement vers OpenSearch en cas de besoin ou pour des opérations de recherche en temps réel à faible latence.
Avec S3 Vectors, vous pouvez désormais stocker de manière économique les embeddings vectoriels représentant de grandes quantités de données non structurées (images, vidéos, documents, fichiers audio), permettant des applications d'IA générative évolutives comme la recherche sémantique, la recherche par similarité, RAG, ou la construction de mémoires d'agents. Vous pouvez également développer des applications pour divers cas d'usage sectoriels : recommandations personnalisées, analyse automatisée de contenu, traitement intelligent de documents, sans la complexité et les coûts liés à la gestion de bases de données vectorielles.
Pour créer un vector bucket, sélectionnez "Vector buckets" dans le panneau de navigation gauche de la console Amazon S3, puis cliquez sur "Create vector bucket". Saisissez un nom et choisissez le type de chiffrement (SSE-S3 par défaut, ou SSE-KMS). Consultez le guide utilisateur S3 pour plus de détails sur la gestion des vector buckets.
Créez ensuite un index vectoriel dans votre bucket en spécifiant un nom, la dimensionnalité des vecteurs (tous les vecteurs d'un index doivent avoir la même dimension) et la métrique de distance (cosinus ou euclidienne - choisissez celle recommandée par votre modèle d'embedding). Après création de l'index, vous pouvez y insérer, lister et interroger des vecteurs.
