Paralel işleme, büyük bilgi işlem görevlerinin daha sonra aynı anda veya sırayla değil paralel olarak işlenen daha küçük alt görevlere bölündüğü bir bilgisayar işleme türüdür. Bu teknoloji modern hesaplamalarda, özellikle doğa bilimlerinde ele alınanlar gibi ileri düzey problemlerde yaygın olarak kullanılmaktadır. Tek bir cihaz içindeki paralel işleme teknolojisine örnekler, simetrik çoklu işlem ve çoklu çekirdekli işlemeyi içerir. Birden fazla bilgisayar, dağıtılmış hesaplama, bilgisayar kümeleri ve büyük ölçüde paralel bilgisayarlar gibi yöntemlerle paralel olarak çalışmak için de birbirine bağlanabilir.
Simetrik bir çok işlemcili, tek bir ortak ana belleğe ve birden fazla aynı işlemciye bağlı işletim sistemi örneğine sahip bir bilgisayardır. İşlemciler aynı yeteneklere sahiptir ve ortak bir belleğe bağlanır, böylece görevler, iş yükünü aralarında dengelemek için gerektiğinde kolayca atanabilir veya atanabilir. Çok çekirdekli işlemlerde, her işlemci, talimatları okumak ve uygulamaktan sorumlu olan, çekirdek adı verilen en az iki merkezi işlem birimi (CPU) içerir. Temel olarak, çok çekirdekli bir işlemci aslında tek bir tümleşik bileşende birden çok işlemcidir. Bu, her bir CPU'nun ayrı bir bileşen olduğu çok işlemcili bilgisayarlarla karşılaştırıldığında, işlem çekirdekleri arasında daha hızlı ve daha verimli bir iletişim sağlar.
Çok işlemcili bilgisayarlar, bilimsel ve iş uygulamalarında yaygın olarak kullanılmaktadır. Çok işlemciler tüketici pazarında daha yaygın hale gelse de, genellikle işlemsiz tasarımlar olan kişisel bilgisayar sistemlerinde daha az yaygındır. Bilgisayar yazılımı, sağlayabildiği avantajlardan tam olarak yararlanabilmesi için çok işlemcili bilgisayarlar için özel olarak tasarlanmış olmalıdır ve bu tür bir yazılım genellikle tek işlemcili bir bilgisayarda performans sorunlarına neden olur. Aynı şekilde, tek bir işlemci ile yazılan programlar genellikle çok işlemden yalnızca sınırlı faydalar sağlar, çünkü bundan faydalanmak için tasarlanmamışlardır.
Dağıtılmış paralel işleme teknolojisi, bir problemin farklı kısımlarında çalışan, birbirleriyle iletişim kurabilmeleri için Internet veya dahili bir ağ üzerinden birbirine bağlı, birden fazla, aksi halde bağımsız bilgisayarlar kullanır. Bu tür paralel işleme teknolojisi, her zaman durum böyle olmamakla birlikte, birbirlerinden fiziksel olarak uzaktaki bilgisayarlarla kullanılabilir. Birlikte, bağlı bilgisayarlar bir hesaplama ızgarası denilen şeyi oluşturur.
Hesaplamalı ızgaralar çok büyük olabilir ve potansiyel olarak tüm dünyaya yayılmış binlerce bilgisayarı içerir. Bu bilgisayarlar aynı zamanda ilgisiz problemler üzerinde de çalışabilir, her biri o anda ne kadar yedek işleme kapasitesine göre bilgisayarlar arasında dağıtılan ızgara üzerinde görevler yürütülür. Grid hesaplama, diğer modern paralel hesaplamaların çoğundan farklıdır, çünkü tek bir ızgara çoğu zaman aynı üniteler grubundan ziyade, farklı özelliklere sahip çeşitli bilgisayarlar dizisini içerir.
Bilgisayar kümeleri, genellikle aynı özelliklere sahip olan birden fazla bağlantılı bilgisayarın tek bir birim olarak yakın bir şekilde çalıştığı bir paralel işleme teknolojisi biçimidir. Ortak bir belleği ve işletim sistemini paylaşan birden fazla işlemci kullanan simetrik çoklu işlemenin aksine, bir kümedeki her bir birim tek başına eksiksiz bir bilgisayardır. Bunlar genellikle aynı coğrafi konumdadır ve yerel bir alan ağına bağlanır. Bazı bilgisayarlar özellikle bilgisayar kümelerinde kullanılmak üzere üretilmiştir, ancak kümeler, başlangıçta özerk olarak çalışmak üzere tasarlanmış bilgisayarları birbirine bağlayarak da oluşturulabilir.
Büyük ölçüde paralel bilgisayarlar kümelenmiş bilgisayarlarla bazı benzerliklere sahiptir, çünkü bunlar bir araya getirilen birden fazla bilgisayardan da oluşur, ancak çok daha büyüktür ve genellikle yüzlerce veya binlerce düğüm içerir. Ayrıca, bilgisayarları bir araya getiren bireysel bilgisayarları birbirine bağlayan kendi özel bileşenlerine sahipken, bilgisayar kümeleri çoğu zaman emtia bileşenleri olarak adlandırılan standart, hazır donanımla birleştirilir. En gelişmiş kitlesel paralel bilgisayarlar, hepsi birlikte çalışan, binlerce metrekarelik alanı dolduran onbinlerce ayrı bilgisayarı içeren gerçekten devasa olabilir. Astrofizik ve küresel iklim modellemesi gibi alanlarda karmaşık hesaplamalar yapmak için kullanılan dünyanın gelişmiş süper bilgisayarlarının çoğu bu türdendir.
