2面2線の単式・島式の複合ホームを持つ地上駅。
かつては2面3線として多数の側線を有しており、現在は残るうちの1線は遠軽方・白滝方ともに繋がっているが、出発信号機は両方向とも使用停止となっている。

駅名の瀬戸瀬は、アイヌ語の「セトゥシ」（巣の多いもの）が転訛したもの。
あるいは「セタニ・ウシ・ウトル・コツ」（エゾノコリンゴの木が群生する間のくぼ地）が短くなったもの、とされている。
駅舎は1988年に現在のコンクリート製に建て替えられた。

駅周辺は郵便局や小学校もある小市街となっている。

この駅に関する写真