Wyszukiwanie logów CloudTrail w AWS Athena

Cześć,

Mam problem z Atheną. Eksportuje logi z CloudTrail na S3 i chce je potem odpytywać. Dziala to bardzo wolno.

select * from cloud_trail_logs 
where eventsource = 'ec2.amazonaws.com'
and useridentity.sessioncontext.sessionissuer.username = 'nazwa-roli-iam'
limit 22

To zapytanie trwało 25 minutes 6 seconds, Data scanned: 5.57 GB. To są wolne żarty, ręcznie bym to szybciej zrobił.

Jestem prawie pewine, że winę za to ponosi format plików w S3. Dużo bardzo małych JSONów prosto z CloudTrail.

Ktoś z Was ma doświadczenie z Atheną i tym co zrobić, aby szybciej działała? Od razu mówię, że partycje nie są odpowiedzią bo nie wiem jakie zapytania będę zadawał.

Przypuszczam, że lepiej skonsolidować wiele JSONow do jednego dużego pliku (~30-50 mega).

Jakieś pomysły droga grupo? :slight_smile: