Samara press conference


December 14, 2017

The “State Registration Service” Press Conference

did not address any of the technical findings about “Samara”

 

Stockholm, 14th of December 2017

Summary

The 15th of October, one day before the presidential elections in Kyrgyzstan, an activist with the nick name “suppermario12” leaked a video and database records from the site “samara.kg”. The leak contained initial forensic information about a fraudulent “voter management system”  to be used to influence the elections.

As part of Qurium’s digital rapid response program, we worked together with the editors of Kloop.kg and carried out a joint investigation and found evidence that strongly suggests that a government operated server in Kyrgyzstan contained a non-state website created to influence voters during the presidential election.  During the next weeks after the event Qurium released two technical forensic reports available here and here.

Two months after suppermario12 release, a press conference was celebrated  in the Kyrgyz National News Agency (kabar)  organized by the State Registration Service SRS and with the presence of the country top level domain .KG provider Asiainfo. The event was intended to officially provide the long awaited details about their Samara internal investigation.

The press conference panel was composed of members of SRS (press and lawyer), Infocom (technical head) and Asiainfo (technical head).

The press conference presented the official version about the fraudulent voter management system that according to our research was hosted in SRS technical infrastructure operated by the State company Infocom.  As reported in our previous articles, Samara was not only hosted in SRS to manage voter intentions but also had access to sensitive data from the National census.

After the careful review of press conference streamed from Bishkek we still lack any insights of how this security audit process took place including who participated. As today (15th of December), no technical report has been released by SRS to refute any of our technical findings and during the press conference their technical statements were vague.

Infocom technical director Erik Tabaldiev and Asiainfo administrator of the .kg domain names Evgeni Kochanov failed to address any of the technical elements provided in Kloop research that included references to our digital forensic reports. When concrete technical questions were asked from the audience the most common answer was: “we  found no evidence” or “we run high secure systems and we made our internal review of the case already”.

SRS Lawyer confirms that samara existed

The most revealing aspect of the press conference was one of the answers of Kubat Cherekchiev, SRS lawyer, that in the middle of the open debate with the journalists stated that one of the results of their internal investigation is that the attackers perhaps used SRS Internet addresses to hide their real location. Another remarkable statement was to accuse  Kloop journalists of releasing “State Secrets”.

Asiainfo agrees that mls.kg redirection could take place in hoster.kg DNS servers

Country top level domain technical representative Evgeni Kochanov from Asiainfo initially declared that they could not find in any of their records any changes of the domain mls.kg but after several questions from Kloop.kg, Kochanov agreed that such domain changes are in fact implemented in the domain name servers of the hosting company.

After two months of the “Kyrgyzstan Election Day” and all the evidence that has been released, it seems that now not even SRS dares to deny that “Samara” existed.

The problem now seems to ensure that none will be responsible of it.

 

Open questions

Here it is the list of all the technical facts that were never addressed in the press conference. All of them have been described in detail in our two forensic reports released to the public.

    • Three independent passive DNS suppliers (RiskIQ, Fairsight, DNSTrails) recorded the samara.kg and mls.kg domain name was pointed to SRS servers. Who made those DNS changes?
    • The error codes of SRS reverse proxy (HTTP: HTTP/1.1 504 Gateway Time-out) after election day revealed the old presence of a backend server responding to mls.kg domain. Who configured the reverse proxy to serve mls.kg at SRS?
    • The leaked samara.kg code recovered from Google Cache includes JSF2 technology and version of theme (aristo) used in other Infocom and Infosystema applications. Who wrote samara.kg using JSF2?

  • The DNS SOA records recorded by passive DNS providers show that there were several changes in the domains samara.kg and mls.kg (1). Why Asiainfo denies the mls.kg changes when SOA records tell the opposite?
  • The DNS servers of mls.kg during the event ns5.hoster.kg and ns6.hoster.kg. The absence of a change of DNS servers in the registrar does not indicate that a website has not change location.  Why no representative of hoster.kg was included in the press conference?
  • Using the leaked Google Cache of samara.kg and CSS and Javascript files recovered from Infocom websites we could fully rebuild Samara.kg login page. Who in Infocom and Infosystema has worked with the JSF2 technology for at least four years?

 

Notes:

  1. When the domain samara.kg was discovered, a second domain mls.kg was used to replace the former.

 

Videos

Melis Erjigitov (SRS press secretary), Erik Tabaldiev (Infocom), Kubat Cherekchiev (SRS head lawyer) and Evgeniy Kochanov (AsiaInfo)

Erik Tabaldiev (Infocom) and Rinat Tuhvatshin (Kloop)

Media Coverage

https://24.kg/obschestvo/71046_vgospredpriyatii_infokom_rasskazali_orassledovanii_posaytu_samarakg/ (14th December)

https://rus.azattyk.org/a/28918001.html (14th December)

http://kaganat.kg/2017/12/14/samara-kg-sajty-tuuraluu-ilikt-n-n-avtoru-ukmkga-chakyryldy/

http://kabar.kg/news/server-grs-zashchishchen-i-ne-podvergalsia-vzlomu-itogi-vnutrennego-rassledovaniia-po-saitam-samara.kg-i-mls.kg/

https://kaktus.media/doc/367507_samara_geyt._soosnovatelia_kloop.kg_vyzvali_na_dopros_v_gknb.html (15th December)

http://www.gezitter.org/vybory/66141_gosregistr_idet_po_sledu_samaryi/ (15th December)

 

Alternative Facebook backup copies of the videos of the event are available here and here

 

Press conference panel:

  • Melis Erjigitov Мелис Эржигитов, SRS press secretary
  • Erik Tabaldiev, Эрик Табалдиев, supervisor of information systems of Infocom
  • Kubat Cherekchiev, Кубат Черекчиев SRS head lawyer
  • Evgeniy Kochanov, Евгений Кочанов, sys admin from AsiaInfo

 

Transcript and Qurium Comments

In the following section we have tried our best to transcript the majority of the press conference and provide English brief summaries of each of the relevant sections. We also have included our comments.

** About the investigation **

Эрик Табалдиев (Инфоком): что касается расследования внутреннего, была создана рабочая комиссия которая включала специалистов из разных департаментов. Рабочей комиссией было просмотрено абсолютно все, все логи, все транзакции в базах, логи доступа, логи самого сервера как вы раньше отмечали реверс прокси логи, access логи, auth(?) логи. Никаких действий которые слали бы для вот этих двух доменов которые описаны, никаких записей таких обнаружено не было. Если сказать что какие-то сотрудники договорились, настроили и потом удалили, таких действий мы тоже не нашли, мы не можем подтвердить чтр они это делали. Потому что как я уже ранее сказал все действия сотрудников логируются в отдельную систему, доступ к которой они не имеют, доступ имеет сотрудник отвечающий за безопасность, Мы посмотрели все логи и сказать что другой сотрудник удалил какие-то логи мы тоже не выявили. Потому что мы проверили целостность этих файлов записей, метаданные, мы проверили sequence(последовательность) нумерации записей этих файлов. Мы все проверили и ничего не обнаружили которые ссылались бы на эти две записи указанные в статье. Что еще можно сказать, были обнаружены логи на одном из серверов, которые говорили что, access логи. В access логах нашли записи samara.kg, при обращении на этот домен пользователем из интернета, сервер автоматически пересылает на первый хост который в списке. То есть он ищет в списке в конфигурационном файле есть ли запись или нет и если не находит он пересылает трафик на первый сайт который по алфавиту, На этот сервере мы нашли записи относительно samara.kg, по mls.kg вообще ничего не обнаружили, ничего не было. Это если вкратце.

Translation Summary:

According to Infocom and their internal investigation was conducted with specialists from different departments that got access to all the logs and transactions including the logs of the reverse proxies. According to Eric Tabaldiev, IT director of Infocom, the integrity of the logs including their sequence number was not compromised and there were no signs of the two domains samara.kg and mls.kg in their reverse proxy setup.

In their review, they observed that there attempts to reach samara.kg and explained that their server forwards the requests to the first domain that is listed.

Qurium Comments:

Our testing during the day of the election and the following days exhibited the following behavior:

  • Requests to any random domain name to the IP address 212.112.124.142, were redirected by means of HTTP 301 control message to the equivalent https website. So a request to the domain “is.samara.here.com” is redirected to the domain https://is.samara.here.com. The following header is sent: Location: https://is.samara.here.com/
  • When we tested against the domain mls.kg the behavior was totally different, no redirection was sent back and a error code 504 was obtained after 60 seconds.
  • This behavior indicates that although samara system was no longer reachable via the mls.kg domain, the SRS reverse proxies remained configured to reach a backend.

** About what Asiainfo recorded **

Евгений Кочанов (AsiaInfo): по данному инциденту, после обращения прессы к нам мы вообще узнали что такая ситуация состоялась. Мы тоже провели расследование свое, перелопатили логи все и что касается домена mls.kg мы не зафиксировали вообще никаких изменений, то есть домен в это время плюс минус неделя две вообще никаких изменений в записях днс к данному домену не производилось. То есть откуда он появился мы вообще не знаем. Что касается samara.kg, все что происходило с ним это происходило в рамках той логики которая была заложена в систему, то есть все изменения происходили абсолютно санкионированно и с использованием штатного интерфейса. То есть никаких попыток взлома наших систем и систем реестра домена .kg не было, это абсолютно точно. По данному случаю это все.

Translation Summary:

According the Evgeni Kochanov from Asiainfo that manages the ccTLD kg, they learned from the event via the press. They checked their logs and they  show no changes during two weeks in the mls.kg domain and in the case of samara.kg they show that changes took place using the standard user interface and not compromising the management portal.

Qurium Comments:

Our findings can summarized as follows:

  • Historical data records of the DNS recordings in passive DNS include the SOA record counter. This record needs to be increased every time that a DNS change is needed.
  • The samples collected contradict Asiainfo statement as they include  changes in the SOA counters.
  • After the events, the domain was parked back and later removed from the DNS system (domain expired?)
  • The last whois change of mls.kg is recorded with date  “Wed Aug 17 11:57:28 2016” and since then DNS servers remain ns5 and ns6.hoster.kg

 

** About the reverse proxy error codes **

Вопрос Ринат Тухватшин (Kloop): вы можете пожалуйста объяснить почему ваш реверс прокси по адресу 212.112.124.142 15-17 октября при запросе домена mls.kg выдавал ошибку 504 тогда как все другие домены которые на вашем сервере не задерживаясь выдавали ошибку 301. С 18 октября в ответ на запрос mls.kg сервер стал выдавать 301. Какая была настройка сервера произведена для домена mls.kg

Translation Summary:

Rinat from Kloop.kg asked why during the days 15 and 17 of October, SRS server with IP address 212.112.124.142 was returning a 504 HTTP Gateway Time-Out error code for the domain mls.kg instead of the default 301 HTTP Redirection code. This timeout error came after 60 seconds of a waiting for the answer from the backend server.

Ответ Эрик Табалдиев (Infocom): так как домен samara.kg и mls.kg находятся не в нашем административном ведении конкретно сказать какая ошибка выходила, куда запрос… На нашем сервере мы посмотрели, еще раз говорю, на нашем сервере мы посмотрели auth логи, это логи куда записывается какой сотрудник, то есть у нас используется централизованная система SSO, то есть каждое действие сотрудника, кто заходил, с каким аккаунтом заходил, все логируется у нас. Все действия, даже то что сотрудник вносит какие-то изменения в конфигурационные файлы тоже все логируется. Мы посмотрели в этих числах(датах) сотрудники вообще не авторизовались в эти даты

Translation Summary:

Eric from Infocom answered that as the domains mls.kg and samara.kg are not in their jurisdiction they can not tell which error codes took place. Eric insisted that they log every configuration changes using a Single Sign On (SSO) system and they saw no changes in their reverse proxy configuration.

** About the reverse proxy error codes (II) **

Вопрос Ринат Тухватшин (Kloop): у нас есть видео. Мы запрашивали ваш сервер по этому домену mls.kg и он отдавал ошибку 504 и так три дня продолжалось. И он не просто выдает ошибку 504 а выдает с паузой 60 секунд. То есть ваш реверс-прокси он ищет этот домен. Этот домен находился в вашей системе. Вы все почистили да забыли про информацию на реверс прокси,

Translation Summary:

Rinat insists that we have a video that shows the 504 error code in their servers during the days after the election and that the error code was a response of a reverse proxy configured for the domain mls.kg with a timeout after 60 seconds. That although the evidence of mls.kg was removed from their servers they forgot to delete fully the reverse proxy configuration.

Qurium Comments:

Qurium has also packet captures of these traffic showing this behavior.

 

Ответ Эрик Табалдиев (Infocom) я ваше видео к сожалению не могу прокомментировать. Мы посмотрели все, никаких изменений в конфигурационных файлах не было. мы даже говорю, метаданные посмотрели файлов.

Translation Summary:

Eric states that they can not make any comments about the video of the redirects and that they have checked the configuration files including the metadata and could not find any changes.

** About the responsibility and GKNG ongoing investigation **

Вопрос Ринат Тухватшин: Вы понимаете сейчас проводит расследование ГКНБ, Атанбаев прокомментировал про samara, премьер-министр прокомментировал про samara. То есть, вы понимаете, есть реальная возможность что здесь идет не просто 2-3 сотрудника сговорились, а это идет на уровне руководства вашего, вы понимаете на секундочку, если это идет на уровне руководства то вы тогда комментируйте факты комментируйте то что было а не говорите что мы ничего не видели. Понимаете если руководство в этом участвует то конечно вы так будете говорить. Вы прокомментируйте тот факт что сайт этот работал и что DNS указывал на ваш сервер. Вы же это не комментируете, вы просто говорите мы ничего не делали такого. Так кто угодно может сказать,

Translation Summary:

Rinat from Kloop explains that GKNB is currently conducting an investigation about the case and even Atambayev has commented about samara.  He also argued that there  is a real possibility that this is not about just two or three staff members who conspired, but this goes on at the level of your leadership.

** About the investigation and one of the official hypothesis **

Ответ Кубат Черикчиев (SRS): Можно я немного прокомментирую этот вопрос по-поводу расследования. некоторые нападки от kloop.kg мы слышим что “Вы там что-то почистили или не почистили”. Но тем не менее как вы говорите это “Вы же не предоставляете никаких фактов”

Голос из зала; мы предоставили!

Ответ Кубат Черикчиев (SRS): Дело в том что у вас на сайте было вывешено в виде вашей статьи. Такие доказательства, такие видео записи наверное первокурсник тоже может сделать, Хотелось бы отметить что служебное расследование внутреннее было проведено в конце октября, то есть 26 октября по-моему если мне не изменяет память вышла статья на сайте kloop.kg о данной ситуации и вот буквально через несколько дней было проведено служебное расследование. Служебное расследование было проведено с санкции руководства ГРС. В тот момент председатель ГРС отсутствовал но присутствовал исполняющий обязанности председателя поэтому здесь все было проведено законно. По поводу предоставления информации, мы в приницпе не собирались предоставлять какую-либуо информацию по служебному расследованию так как все материалы по служебному расследованию были предоставлены компетентным  органам. В настоящее время со стороны ГКНБ проводится собственное расследование, я думаю что они в этом тоже разберутся. С нашей стороны проведены технические мероприятия по проверке компонентов защиты IT инфраструктуры центра обработки данных, проверены ряд технических мероприятий. Вместе с тем рабочая комиссия отметила что злоумышленники возможно пытались использовать IP адрес ГРС с целью обмана систем безопасности, форсификации и сокрытия истинного адреса.

Translation summary: SRS lawyer states that they did their own investigation just days after Kloop released the information the 26th of October with the approval of SRS management. That there is also an ongoing investigation from GKNB and they have done all the checks to verify that their systems have not been compromised.   Kubat Cherekchiev concludes with: However, the working commission noted that the attackers may have tried to use the IP address of the GRS with the purpose of deceiving security systems, forcing and hiding the true address”.

Qurium Comments: This final statement from SRS lawyer requires a technical explanation that have not been provided.

 

** About Passive DNS evidence **

Голос из зала: kloop.kg говорит что международные сервисы(как минимум три: они перечисляют) зафиксировали DNS записи. Вы это отвергаете? То есть вы опровергаете что они это зафиксировали?

Ответ Эрик Табалдиев (Infocom): я не могу комментировать международные сервисы. Потому что я не знаю как они работают, как они сканируют, как они кешируют, с каким интервалом времени, в какое время. То есть, у меня как бы, я абсолютно не знаю как они работают. Поэтому вопросов у меня нет к ним, Мы вот, те данные которые указывает kloop.kg мы проверили, мы проверили внутри своей инфраструктуры, мы все проверили, каждую песчинку проверили. Нигде ничего не обнаружили. Сейчас можно еще пару комментариев? Сказать что это утечка информации или инсайдер какой-то сидит мы тоже подтвердить не можем. Этим должны заниматься компетентные органы. У нас есть системы внутри инфраструктуры, так называемая DNP(or DMP) data OS(or host) protection и эти системы тоже никаких аномалий не зарегистрировали, Ну там тоже много… достаточно сложная система за которой очень внимательно надо следить, какие данные куда текут, это все мониторится, контроллируется и такая система у нас тоже не зафиксировала какую-то утечку данных. И вот говорить что сидит какой-то инсайдер у нас, тоже не можем подтвердить.

Translation Summary:

The audience asks to Erik Tabaldiev, technical responsible of Infocom if he denies that passive DNS recordings that point that samara.kg and mls.kg were hosted in their infrastructure. Tabaldiev answers that he does not know the suppliers of the technology and how the measure and when. So he has not questions for them. Tabaldiev insisted one more time that they run “DMP” (Digital Minitoring Products?” in their systems and nothing was found.

Qurium Comments:

Erik Tabaldiev attends frequently security trainings and it is a surprise that after two months of “internal investigation” he had not reach out to any of passive DNS providers for validation of the data.

 

** About mls.kg domain redirection **

Вопрос из зала: А вот вопрос представителю Asia Info, насчет сайта samara.kg на самом ли деле этот сайт работает, можете прокомментировать? Насчет сайта, как нгезависимый

Ответ Евгений Кочанов: мы не занимаемся сайтами, мы занимаемся администрацией доменов. Где находится сайт, как он работает, сам сайт.

Вопрос из зала: в рамках расследования вы же провели расследование

Ответ Евгений Кочанов: мы проводили раследование в рамках своей деятельности. Мы посмотрели логи на серверах и зафиксировали только то что я выше озвучил. Что никаких изменений относительно домена mls.kg вообще не производилось, то есть никакие записи на наших серверах по данному домену не изменялись. Изменения происходили, но происходили только насчет домена samara.kg

Вопрос Ринат Тухватшин: можно я вам вопрос задам? Вот смотрите, может ли быть так что, например, в базе WHOIS никто ничего не менял а тем не менее сайт, может быть скажем так, на его хостере, на его DNS сервере перенаправляется на какие-то другие сервера. То есть без вмешательства в настройки AsiaInfo.

Ответ Евгений Кочанов: только если эти настройки произведены на серверах хостинг-компании

Вопрос Ринат Тухватшин: то есть например hoster.kg да? Вот samara.kg раньше хостилась и сервер находится у хостера hoster.kg. Они могли например изменить и направить на правительственный сайт?

Ответ Евгений Кочанов: технически да

Вопрос Ринат Тухватшин: то есть и вы бы даже не заметили каких-либо изменений настроек

Ответ Евгений Кочанов: да

Ринат Тухватшин: спасибо

Ответ Евгений Кочанов: но это бы зафиксировалось на серверах хостинг-провайдера

Translation Summary:

Evgeni Kochanov  declared that as country .kg responsible they can not know if a specific website as samara.kg was working or not.

Country top level domain technical representative Evgeni Kochanov from Asiainfo initially declared that they could not find in their records any changes of the domain mls.kg but after several questions from Kloop.kg, Kochanov agreed that such domain changes are in fact implemented in the domain name servers of the hosting company: Hoster.kg

Qurium Comments:

The initial statement of Evgeni Kochanov  tried to misled the technical discussion as the KG domain registrar can only record the changes in their whois database that include the domain name servers used by a domain. In the case of samara.kg, Kochanov declared that the changes were done using the standard user interface of their system and that for the domain mls.kg they could not see any changes at all. What Kochanov initially did not declare is that mls.kg domain can change location without changing domain name servers and that the IP change is done in the hoster of the domain name servers.

In the case of samara.kg, the name servers by suppermario12 were changed to: ns1.hosting.reg.ru and ns2.hosting.reg.ru

In the case of mls.kg, the website was moved to IP address 212.112.124.142 by a zone change in ns5.hoster.kg and ns6.hoster.kg