Корневище ветвистое ползучее, до 3 и более см в диаметре и до 1,5 м длиной.
Стебель обычно до 1,8 м высотой, но иногда достигает 4—4,5 м.
Листья двурядные, размещённые в нижней трети стебля; листовые пластинки линейные, обычно выше соцветия, от 4 до 6 мм шириной (у рогоза широколистного более широкие), плоские, тёмно-зелёные.
Цветки однополые, очень мелкие, с околоцветником из тонких волосков. Соцветие — головчатый длинноцилиндрический початок, состоит из двух частей; верхушечная часть тычиночная; пестичная часть длиной от 10 до 20 см, бархатистая утолщённая тёмно-коричневая, отстоит от тычиночной на 3—8 см (у рогоза широколистного тычиночная и пестичная части обыкновенно соприкасаются друг с другом). В мужском цветке три тычинки, в женском один пестик, сидящий на ножке, вместо долей околоцветника волоски. Пестичный цветок около 10 см длиной, с прицветничком. Рыльца линейные, после цветения опадающие. Цветение в европейской части России в июне.
Плодоношение в европейской части России в июле — августе. При плодах (орешках) волоски околоцветника остаются и разрастаются. Семена на стебле иногда сохраняются до полугода.
