Während die ersten Systeme ausschließlich Farb-, Textur- und Gestaltmerkmale für die Bildersuche verwendeten, wird heute zunehmend der Benutzer über das sogenannte "relevance feedback" aktiv (z.B. durch Bewertung der durch das CBIR System gelieferten Bilder) in den Suchprozess integriert, um so die Performance der Systeme zu verbessern.
Das "relevance feedback" dient auch dazu, Probleme mit dem sogenannten "semantic gap" und der Subjektivität der menschlichen Beschreibung, die bei der Bildsuche zu beachten sind, zu lösen. Das erste beschreibt die Schwierigkeit für die Zuordnung von semantischen Beschreibungen, die Menschen beim Interpretieren von Bildinhalten benutzen, zu den entsprechenden "low level" Merkmalen (wie Farbe oder Form), die von CBIR Systemen für die Bildsuche verwendet werden. Dieses ist für die meisten Benutzer im Allgemeinen sehr schwierig, oder, im Fall von komplexen Bildern, gar unmöglich. Subjektivität der menschlichen Wahrnehmung bedeutet, das sich die Interpretation des Bildinhaltes bei einem Bild für verschiedene Personen (oder die gleiche Person unter anderen Umständen) unterscheiden kann.

Als eine interessante Quelle für "relevance feedback" kann ein sogenannter Eye Tracker verwendet werden. Dabei handelt es sich um ein Gerät, das die Fixationen und Sakkaden von Versuchspersonen misst, wenn diese Stimuli (z.B. Bilder) am Computerbildschirm betrachten.
Damit ist es möglich herauszufinden, in welche Bildbereiche der Benutzer verstärkt schaut, wenn er nach ähnlichen Bildern sucht. Diese Informationen können benutzt werden, um CBIR Systeme anzuweisen, mehr Bedeutung auf die Merkmale dieser ausgewählten Bildbereiche zu legen. Ein erster Schritt in diese neue Forschungsrichtung besteht darin herausfinden, ob die Aufnahme von Augenbewegungen tatsächlich zu einer Verbesserung bei der Bildsuche führt. Dieses kann mit Hilfe eines Experimentszenarios erfolgen, bei dem ein Suchbild und sechs (zufällig ausgewählte) Bilder gezeigt werden. Die Aufgabe des Benutzers besteht nun darin, auf eines aus den sechs Bildern zu klicken, das dem Suchbild seiner oder ihrer Meinung nach am ähnlichsten ist. In einem nächsten Schritt werden dann vom CBIR System die sechs Bilder berechnet und angezeigt, die dem angeklickten Bild am ähnlichsten sind. Dieser Vorgang wird so lange wiederholt, bis das Suchbild gefunden ist. Dieses Experiment wird in zwei Ausführungen durchgeführt: Einmal als Java Web-Interface, bei dem nur aufgezeichnet wird, auf welches der sechs Auswahlbilder der Benutzer klickt und zum anderen als EyeTracking Experiment, bei dem zusätzlich noch die Fixationen aufgenommen werden. Führt das Eye-Tracking Experiment zum schnelleren Wiederfinden des Suchbildes, haben wir die Nützlichkeit der Einbindung visueller Aufmerksamkeit für die Bildsuche bestätigt.