ArcSight Logger’da yeni search ile gelen özellikler ve yaygın kullanılan operatörler

Günümüzde siber güvenlik tehditlerinin artmasıyla log yönetimi önemli bir konu haline gelmektedir. Log yönetimini özetle anlatmak gerekirse, BT sistem loglarının toplanması, saklanması ve analiz edilmesidir. Tam da burada ArcSight ürün ailesinin bir üyesi olan logger devreye girmektedir. Logger toplanan logların depolanmasında, analiz edilmesinde ve arşiv özelliği ile geçmişe dönük search yapmamıza olanak sağlayan bir platformdur. Bu yazımda logger search performansını arttırmanın yöntemlerini, yaygın kullanabileceğimiz operatörleri ve 7.0 güncellemesi ile gelen search kısmında ki yeniliklere değinmeye çalışacağım. Keyifli okumalar dilerim.

Orta ölçekli bir şirketin ürettiği günlük log sayısı bile milyonları geçmektedir. Hal böyle olunca da milyonlarca log arasından istediğimiz logları analiz etmek ve bunu mümkün olan en az kaynak ve zamanla yapmak hayli önem teşkil etmektedir. Birçok faktör arama ve tarama hızını etkileyebilmektedir. Bir aramanın gerektirdiği süre, aranacak veri kümesinin boyutuna, query karmaşıklığına, peer yapı olup olmamasına göre değişmektedir. Aynı sistemdeki 2 Logger aynı versiyona ve konfigürasyona sahip olsa bile üzerindeki anlık yüklerden dolayı search zamanları farklılık gösterebilmektedir.

Search performansını etkileyen ilk unsurlardan biri yapılı veya yapısız aramalardır.

Arama yerine sadece bir kelime yazmak çoğu zaman kolaydır, fakat hız olarak daha yavaştır.

Arama yerine biraz daha zaman ayırıp yukarıdaki query yazıldığında taranan event sayısına göre arama işlemi daha hızlı gerçekleşmektedir. Bunun sebebi index alan ile arama yapmaktır. Logger’da alanlar 4’e ayrılmaktadır. Bunlar Superindex alanlar, Index alanlar, Indexable alanlar ve Metadata alanlarıdır.

Şekilde görüldüğü üzere koyu yeşil alanlar superindex alanlarıdır. Bu alanlarda arama işlemi index ve diğer alanlara göre daha hızlı gerçekleşmektedir. Yeşil alanlar ise index alanları temsil etmektedir. Superindex alanlardan sonra arama işlemi en hızlı bu alanlarda gerçekleşmektedir. Indexable alanlar ise varsayılan olarak indexlenmemiştir. Ancak ihtiyaç doğrultusunda index alan yapılabilen alanlardır. Indexable alanlar bir kez index alan yapıldıktan sonra silinemezler. Eğer çok fazla indexable alan index alan yapılırsa logger’da arama hızı ve rapor oluşturma süresi artabilmektedir. Bununla birlikte index alan sayısı arttıkça logger üstünde daha fazla disk alanı kaplamaktadır. Metadata alanlar ise üzerinde değişiklik yapamadığımız ve diğer alanlara göre arama hızı en yavaş olan alanlardır.

Search performansını etkileyen bir diğer unsur ise storage groups’tur. Logger yüklendiğinde varsayılan olarak 2 grup karşımıza çıkmaktadır. Bunlar default storage group ve internal storage group’tur. Default storage group, logger’a yönlendirilmiş logların kayıt altına alındığı alandır. İnternal storage group ise logger’ın kendi loglarının saklandığı alandır. Bir search işlemi gerçekleştirileceği zaman storage group ismi ile arama işlemi yapıldığında hangi logu nerede arayacağı belirtildiği için search performansı artmaktadır. Aynı zamanda storage group alanının doluluk seviyesi de search performansını etkilemektedir.

Kompleks query kullanımı da search performansını etkileyen bir diğer unsurdur. Rex, sort, chart ve eval gibi operatörlerin kullanımı search performansını düşürmektedir. Bununla birlikte iyi network altyapısı, peer loggerların aynı subnette bulunması, çok fazla Schedule report, search ve forward’lama search performansını etkileyen unsurlardandır.

Boolan Operatörler: AND, OR, OR NOT gibi operatörlerdir.

AND: AND operatörü ve anlamına gelmektedir. A ve B şartlarının her ikisinin de gerçekleşmesi durumunda sonuç getirir.OR: OR operatörü veya anlamına gelen operatördür. A veya B şartlarının birinin oluşması durumunda sonuç getirir.

OR NOT: OR operatörünün zıttı olarak kullanılan operatördür.

Cef: |cef <Alan Adı> şeklinde kullanılan operatördür. Almak istediğimiz alanı selected fields bölümüne ekler ve seçili alanı öne getirmeye yarar.

Dedup: |dedup <Alan Adı> şeklinde kullanılarak aynı tip logları tekil hale getiren operatördür.

Top ve Chart by count: |top <Alan Adı> veya |chart by count <Alan Adı> Şeklinde kullanılan operatörlerdir. Seçili alanı grafiksel olarak getirmeye yarar.

Where: Koşul operatörüdür. | where <Alan Adı> <İstenen Koşul> şeklinde kullanılmaktadır.

Arcsight Logger 7.0 Güncellemesi ile Search’te Olan Yenilikler

ArcSight Logger’a 7.0 güncellemesi ile birçok yenilik gelmiştir. Search alanında gelen yenilikler olarak EndTime’a göre arama yapma, Yeni search arayüzü, Renk kodlu query arama özelliği, Event alanlarını özelleştirme, raw event view, grid view ve event karşılaştırma özellikleri gelmiştir.

Önceden logger’da search işlemi sadece logger receipt time’a göre yapılabiliyordu. Logger receipt time, logların logger’a ulaştığındaki zamanına göre arama yapma anlamına gelmektedir. EndTime kullanıldığında ise logların kaynakta oluştuğu saate göre arama yapılmaktadır.

Yeni arayüz ile birlikte kullanılabilen renk kodlu query özelliği ile query yazımında yazım hatasının önüne geçilebilir hale gelmektedir.

Event alanlarını özelleştirme seçeneği ile birlikte şekilde görülen kategoriler yardımıyla istediğimiz alanları seçili alan bölmesine taşıyarak kullanıma göre özelleştirme işlemleri gerçekleştirebilmekteyiz.

Yeni arayüz ile birlikte gelen bir diğer özellik ise seçtiğimiz event’e ait details sekmesi ekrana gelmektedir. Buradan daha okunaklı bir şekilde raw event, agent bilgileri, category bilgileri gibi bilgiler çok daha rahat bir şekilde okunabilmektedir.

Izgara görünümü sayesinde alanlar daha okunaklı hale getirilmiştir.

Son olarak 7.0 güncellemesi ile birlikte arama kısmında event karşılaştırma özelliği gelmiştir. Alan isimleri sol tarafa gelerek sütun halinde eventlerimizi kıyaslayabiliriz.