เดิมคือพระตำหนักเทาในวังสวนบ้านแก้วอันเป็นที่ประทับของสมเด็จพระนางเจ้ารำไพพรรณีนานถึง 21 ปี หลังจากที่พระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวเสด็จสวรรคต จากพระตำหนักเทามีทางเดินปูอิฐลดหลั่นเชื่อมไปยังอาคารสองหลังที่อยู่ด้านหลัง ตามทางประดับด้วยไม้ดอกไม้ประดับ ร่มรื่นสวยงามและมีเรือนเพาะชำ
   ทางมหาวิทยาลัยราชภัฎรำไพพรรณีได้อนุรักษ์พระตำหนักและจัดตั้งพิพิธภัณฑ์ขึ้นภายในอาคาร เป็นที่รวบรวมสิ่งของต่าง ๆ อันประกอบด้วยข้าวของเครื่องใช้ส่วนพระองค์และตัวอย่างลายเสื้อกกที่เคยผลิต นำมาจัดแสดงเพื่อเป็นอนสุรณ์ ต่อมาจึงจัดตั้งเป็นศูนย์วัฒนธรรมจ. จันทบุรี

ประวัติ: สมเด็จพระนางเจ้ารำไพพรรณี บรมราชินี ในรัชกาลที่ 7 ทรงเลือก จ. จันทบุรีเป็นที่ประทับพักผ่อนพระอิริยาบถหลังเสด็จนิวัตประเทศไทยภายหลังรัชกาลที่ 7 เสด็จสวรรคต เมื่อมีผู้ถวายที่ดินจำนวน 725 ไร่ ในต. ขไร่ยา จึงทรงสร้างเป็นวังสวนบ้านแก้วที่มีเรือนไม้สองหลังเรียกว่าเรือนเขียวและเรือนแดง และอีก 3 ปี ต่อมา ทรงสร้างพระตำหนักเทาเป็นเรือนไม้สักทองหลังใหญ่ พระองค์เสด็จมาประทับที่พระตำหนักเทาครั้งแรกเมื่อ 30 มิ.ย. 2493 ส่วนเรือนเขียวเป็นที่พักของราชเลขานุการและเรือนแดงที่เป็นที่พักของข้าหลวงที่ติดตาม
  สมเด็จพระนางเจ้ารำไพพรรณียังทรงดำริให้มีการบุกเบิกปลูกข้าว ถั่วลิสง และผลไม้ต่าง ๆ และทรงริเริ่มตั้งโรงทอเสื่อขึ้นเพื่อปรับปรุงงานพื้นบ้านที่ชาวบ้านทำกันอยู่แล้วให้มีคุณภาพยิ่งขึ้นเพื่อให้สามารถเป็นอาชีพรองได้ทั้งยังมีการเลี้ยงไก่ เลี้ยงวัวและปลูกไม้ดอกส่งขายตลาด ผลิตผลทั้งหมดจะมีตรา "สบก" ซึ่งย่อมากจากชื่อวังสวนบ้านแก้วติดอยู่
   พระองค์ประทับอยู่ที่พระตำหนักเทาเป็นเวลา 18 ปี จึงเสด็จกลับไปประทับที่วังสุโขทัยที่กรุงเทพฯ เมื่อปี พ.ศ. 2511 ต่อมาปีพ.ศ. 2515 ทรงมอบวังสวนบ้านแก้วให้แก่กระทรวงศึกษาธิการเพื่อก่อตั้งวิทยาลัยครูรำไพพรรณี ก่อนจะเปลี่ยนชื่อเป็นสถาบันราชภัฎรำไพพรรณี และมหาวิทยาลัยราชภัฎรำไพพรรณีดังเช่นปัจจุบัน