Хотя поначалу игра кажется гонкой, на деле это головоломка. После выбора одного из дюжины корабликов игрок должен выбрать трассу. В Audiosurf трассами служат песни, причём участник волен выбрать любой трек, находящийся на его жёстком диске или CD (DVD) носителе.
Каждая трасса представляет собой ленту, изогнутую в некоем пространстве согласно ритму выбранной музыки; на ленте есть три колеи с блоками (в режиме для двух игроков — 4), а на самом легком уровне — ещё две по краям (т. н."обочины"), на которых блоков нет. Фигуры, как и кораблик, движутся вперёд, но с заметно меньшей скоростью. Каждая выбранная пользователем аудиодорожка анализируется игрой, в результате создаётся и сохраняется ASH-файл, содержащий сведения о динамике звука, геометрии трассы и расположении блоков и ассоциированный с песней (его размер составляет около 30 килобайт). Это позволяет ускорить время повторной загрузки того же звукового файла. Высота и форма трассы отражают динамику проигрываемой музыки. Например, если игрок выбрал медленную и тихую песню, трасса будет идти в гору, движение будет медленным, окружение наполнено холодными цветами. Если была выбрана интенсивная и громкая песня, во время игры кораблик будет спускаться с горы с большой скоростью, а трасса будет заполнена блоками с большим числом тёплых цветов.
В отличие от гонок от игрока не требуют стараться удержаться в пределах трассы, необходимо лишь собирать блоки в ряды. Игра напоминает цветовой Тетрис с той лишь разницей, что каждый блок занимает ровно одну клетку и можно выбрать именно тот, который нужен. Каждая фигура, которую сбивает кораблик, падает в воображаемый «стакан», который находится под корабликом и плывёт с ним по карте. Спереди находится верх «стакана», а сзади, соответственно, низ. Три и более блоков одного цвета, собранных вместе и соприкасающихся сторонами, уничтожаются. Надо заметить, что для медленных песен практически нельзя собрать более трёх блоков: времени на сбор оказывается меньше, чем расстояние до ближайшей фигуры. В «стакане» имеется всего 7 клеток в каждом столбце. При заполнении всего столбца, он начинает трястись, и если сбить восьмой блок, то произойдёт переполнение. В этом случае столбец обнулится, будет отобрана 1/10 часть игровых очков, а на среднем и высоком уровне сложности кораблик некоторое время не сможет сбивать блоки.
Цвет появляющихся фигур зависит от музыки. Если музыка спокойна, на дороге появляются фиолетовые и синие блоки, которые приносят достаточно мало очков. Если темп ускоряется, то цвета блоков нагреваются, вплоть до редких, но дорогих красных. Кроме стандартных цветных блоков на карте попадаются чёрные (или белые, если выбрана соответствующая цветовая схема). Они не собираются в ряды, но если такой блок дойдёт до дна «стакана», он уничтожится, принося сразу 2000 очков. Помимо блоков на трассе иногда можно найти и бонусы. Они не плывут в общих рядах и могут быть где угодно. Бонусы могут увеличить количество очков в несколько раз, сбросить в «стакан» несколько блоков одного цвета или перекрасить его содержимое в один цвет.
В зависимости от режима игры на карте могут быть блоки как разных цветов, так и одного цвета. В последнем случае появляются серые фигуры, которые нельзя уничтожить, собрав в ряд; они сами распадутся через некоторое время, но будут занимать место в «стакане». Кроме того, в ряде видов игры у кораблика появляются способности, вроде перемешивания «стакана» или перепрыгивания блоков. Способности действуют неограниченно на протяжении всей трассы, но для использования некоторых из них необходима перезарядка. Выбор режима происходит с выбором кораблика. Все транспортные средства причудливых форм разделены на 3 уровня: Casual (простой), Pro (средний) и Elite (сложный).
Вышедшая в Steam версия игры не только является полной. Вместе с Audiosurf игрок получает почти полный саундтрек к The Orange Box, то есть играм корпорации Valve: Half-Life 2, Half-Life 2: Episode One и Half-Life 2: Episode Two, Team Fortress 2, Portal. Поэтому неудивительно, что среди самых популярных треков-трасс большую долю имеют композиции из этих продуктов. Кроме того, выпуск игры через Steam позволил добавить систему достижений, появившуюся у Valve вместе с тем же The Orange Box. Примечательно, что Audiosurf стала первой игрой с поддержкой этой системы, разработанной не самой Valve. Всего в игре имеется 19 достижений.