ระบบปฏิบัติการขนาดเล็กเป็นระบบที่สร้างขึ้นจากโค้ดพื้นฐานจำนวนเล็กน้อย เป็นผลให้มันมักจะต้องใช้ทรัพยากรน้อยลงจากเครื่องที่ทำงาน
ตามกฎทั่วไปแล้วระบบส่วนใหญ่ที่อธิบายว่าเป็นระบบปฏิบัติการขนาดเล็กนั้นใช้ Linux kernel เคอร์เนลเป็นสมองของคอมพิวเตอร์อย่างมีประสิทธิภาพและตัดสินใจได้อย่างแม่นยำว่าควรทำอย่างไรในช่วงเวลาใด ๆ ปกติแล้วลีนุกซ์จะใช้ในระบบโอเพ่นซอร์สซึ่งมีหลากหลายและบางตัวก็เล็กกว่ากัน Windows และ Microsoft OSX ของ Microsoft มักจะถือว่าเป็นระบบปฏิบัติการขนาดใหญ่มาก
เนื่องจากแนวคิดของระบบปฏิบัติการขนาดเล็กเป็นการเปรียบเทียบมากกว่าแบบสัมบูรณ์จึงมี Windows รุ่นต่างๆที่สามารถอธิบายได้ว่ามีขนาดเล็ก สิ่งที่รู้จักกันดีที่สุดคือ Windows CE ซึ่งออกแบบมาสำหรับคอมพิวเตอร์ที่มีสเปคต่ำมากและสำหรับอุปกรณ์แบบสแตนด์อโลน ด้วยระบบหลังปกติแล้วระบบจะถูกสร้างขึ้นในอุปกรณ์โดยตรง อุปกรณ์บางอย่างที่ใช้ Windows CE มีหน้าจอข้อมูลแบบอินเทอร์แอคทีฟและระบบความบันเทิงที่นั่งด้านหลังของสายการบินบางแห่ง
ข้อได้เปรียบหลักของระบบปฏิบัติการขนาดเล็กคือสามารถทำงานบนคอมพิวเตอร์ที่มีสเปคต่ำและมักไม่ต้องการคอมพิวเตอร์ที่เร็วหรือหน่วยความจำมากเท่ากับระบบที่ใหญ่กว่า สิ่งนี้ทำให้มีทรัพยากรมากขึ้นสำหรับการใช้งานแอพพลิเคชั่น นอกจากนี้ยังทำให้สามารถใช้คอมพิวเตอร์รุ่นเก่าได้นานขึ้นก่อนที่จะถือว่าล้าสมัย
ข้อดีอีกอย่างก็คือระบบปฏิบัติการขนาดเล็กตามคำจำกัดความมีโอกาสน้อยที่จะมีข้อบกพร่อง อย่างไรก็ตามสิ่งนี้ใช้ในเงื่อนไขที่แน่นอนเท่านั้น ระบบปฏิบัติการขนาดเล็กที่เขียนไม่ดีอาจทำให้เกิดปัญหามากกว่าหรือใหญ่กว่าที่เขียนไว้อย่างดี
ระบบปฏิบัติการบางระบบมีขนาดเล็กจนสามารถเก็บไว้บนอุปกรณ์พกพาได้ ซึ่งอาจรวมถึงหน่วยความจำ USB ซึ่งหมายความว่าระบบปฏิบัติการสามารถทำงานได้ทันทีบนคอมพิวเตอร์โดยไม่จำเป็นต้องติดตั้ง สิ่งนี้มีประโยชน์อย่างยิ่งเมื่อต้องจัดการกับคอมพิวเตอร์ที่ระบบที่ติดตั้งเสียหาย
ข้อเสียของระบบปฏิบัติการขนาดเล็กนั้นขึ้นอยู่กับว่าทำไมมันจึงเล็ก ตัวอย่างเช่นมันอาจทำงานเฉพาะในบรรทัดคำสั่งซึ่งหมายถึงข้อมูลที่ป้อนเข้าและแสดงอย่างหมดจดในรูปแบบข้อความแทนที่จะเป็นแบบกราฟิกซึ่งสามารถโต้แย้งผู้ใช้หลายคน ระบบขนาดเล็กอาจประหยัดพื้นที่ด้วยการสนับสนุนอุปกรณ์ฮาร์ดแวร์เช่นเครื่องพิมพ์หรือโมเด็มอย่าง จำกัด
