حدس بعدی که رنگ و بوی فنی دارد، آن است که برخی مخالفان حضور انصاری در پارلمان، او را متهم به کم‌کاری کرده و بر این باور بوده‌اند که انصاری به دلیل نزدیکی به خانواده امام(ره) در این سمت منصوب شده و خود روحانی نیز از عملکرد انصاری ناراضی بوده است و مصداق این صحبت آنها هم باز می‌گردد به جریان رد صلاحیت صالحی امیری، گزینه حسن روحانی برای وزارت ورزش و جوانان که بنابر شنیده‌ها رئیس‌جمهوری، انصاری را به شدت به زیر تیغ انتقادات خود برده بوده است. پس از آن نمایندگان مجلس نهم هم باب انتقاد از انصاری را گشودند و انجام 300 شکایت از دولت توسط مجلس نهم را دلیلی بر عملکرد ضعیف او دانستند و در نهایت هم انصاری را فردی منفعل و خسته معرفی کردند.