یادداشت‌های علم، سه‌شنبه ۷ آذر ۱۳۴۶ / علیاحضرت برآشفتند و به اعلیحضرت فرمودند: چرا هرجا که درست می‌شود خرابش می‌کنید؟!
ضمن مهمانی علیاحضرت فرمودند: «گرچه این‌جا به ما خوش می‌گذرد، ولی هیچ جا کیفیت ایوان باغ ارم در شیراز را ندارد.» عرض کردم: «حالا که دو اتاق بسیار شیک و عالی برای شما در آن‌جا می‌سازم که ان‌شاءالله در آتیه بیش‌تر خوش بگذرد.» شاهنشاه فرمودند: «تو که عوض خواهی شد و دیگر رئیس دانشگاه نخواهی بود.» عرض کردم: «می‌دانم، ولی به صورت منزل برای اعلیحضرت همایونی‌ست و می‌ماند، من که اهمیت ندارم.» علیاحضرت برآشفتند و به اعلیحضرت فرمودند: «چرا هرجا که درست می‌شود خرابش می‌کنید، چرا علم را برمی‌دارید؟» فرمودند: «علم دیگر با این همه کار که این‌جا دارد نمی‌رسد.»