出雲大社から離れた場所に立地
出雲大社への参拝客を意識した、非常に風格のある駅舎が使われていました。左右対称の神社風建造物で、木造平屋建て。堂々とした玄関、破風のついた屋根、黒い柱と白い漆喰のコントラストは、実にみごと。設計は長らく鉄道省建築課の曽根甚蔵によるものと言われてきましたが、発見された棟札の表記から、神戸鉄道管理局の丹羽三雄による設計であることが判明しました。一説によると、築地本願寺などを手がけた伊東忠太が設計に関わったともいわれています。
コンコースには高い天井からシャンデリアが下がり、数多くの出札窓口や改札口などが丁寧につくられています。縦長の出札窓口の上には、窓が設けられて採光が工夫されるなど、実に細かいところまで目が配られています。皇室関係者の利用もあり、貴賓室も整備されていました。全体的に荘厳な雰囲気がありますが、不思議と威圧感は感じられず、落ち着いた雰囲気が漂っています。相対ホーム2面2線から成る配線でしたが、晩年はホーム前の1線が使われるのみとなっていました。
駅舎は出雲大社まで1.5キロほど離れており、実際にはここからさらにバス連絡が必要でした。これは、鳥居前までの用地買収が、門前町の猛反対によって困難だったためといわれています。このため、長距離の団体貸切列車はともかく、一般観光客を定期列車で誘導するには無理がありました。1980年代前半に電化されず、長距離列車の直通が困難になったことが、駅の運命を決した観があります。
国鉄によって特定地方交通線（廃止対象路線）として指定された路線のなかでは圧倒的に高い輸送密度がありましたが、JRのネットワークから切り離しての単独存続はどだい無理で、既存の一畑電気鉄道（当時）の経営状況も楽観できなかったことから、あえなく大社線は廃線となり、大社駅もそれと運命をともにしました。
現在、駅舎は国指定の重要文化財となっており、駅そのものが観光スポットの1つになっています。見学無料、無休。