飯島町の玄関駅である飯島駅は、相対式2面2線から成る地平駅で、両ホームは辰野方にある構内踏切で連絡しています。
駅舎は簡素な木造平屋建のもので、そう古いものではありませんが、こぎれいに改修されています。ラッチは撤去されており、駅事務室と相対する位置にある待合室との間には仕切りが設けられています。
駅前は大規模な再開発事業によって、大きなロータリーが整備されているほか、商店街などの大がかりな再配置が行われ、すっかりスマートな街に生まれ変わっています。
かつては飯島の宿があり、長らく陣屋が置かれており行政の中心となっていました。この陣屋は、明治維新直後には一時伊那県庁となっていたこともあります。