زمان ساخت این مسجد بر اساس نوشته تاریخ طبرستان، بنای اولیه آن در سال ۱۶۰ ه . ق به بنا گردیده است . این مسجد بارها بازسازی شده و در دوران فتحعلی شاه قاجار، بعد از زلزله، دوباره بنا گردیده است.
خانه کعبه هم که الان می بینید همان ساخته شده دست حضرت ابراهیم نیست ... بلکه چندین و چند بار تخریب و مجدداً بازسازی شده... با اینحال همچنان به نام حضرت ابراهیم و البته حضرت آدم (بنای اولیه آن) یاد می شود.