Benchmarks aos processadores A7 e A8 da Apple reflectem uma performance superior à real.

Os benchmarks demonstram-no: O novo processador A8 da Apple é arrasador a nível de performances. No entanto esses benchmarks não contam a verdade toda, e as performances dos novos processadores da Apple não são tão altas como se dá a entender.

Um tópico quente actualmente é a comparação entre os dois produtos topo de gama da Apple e da Google no mercado dos tablets. Falamos do novo iPad Air 2 e do novo Google Nexus 9.

Até hoje a Apple sempre foi líder incontestada a nível de performances dos seus processadores móveis. Nenhuma outra empresa conseguiu produzir um processador com uma performance por núcleo que conseguisse acompanhar os processadores da Apple, e o que víamos era a concorrência a ter de recorrer a processadores com quatro ou 8 núcleos para se equivalerem aos processadores dual-core da Apple. Mais ainda, os processadores Apple eram 64 bits, ao passo que a concorrência se mantinha nos 32.

Essa realidade foi abalada recentemente quando a Nvidia apresentou o seu Tegra K1, um processador 64 bits com uma performance por núcleo capaz de competir com os processadores da Apple. E este APU (CPU+GPU) foi adoptado pela Google para o seu Nexus 9.

A guerra estava aberta. Apple e Google preparavam novos tablets, e ambos prometiam concorrer pelo lugar de produto mais rápido.

Publicidade

Retomando o nosso artigo

A Apple anuncia então o seu novo processador A8. Ele revela-se mais potente na sua versão base do que o antigo A7 que equipava o iPad Air, mas sem ser uma verdadeira revolução a nível de performances. Mas no entanto a surpresa estava reservada para o iPad Air 2 e o A8X, que para além de mais rápido se apresenta numa versão triple core, tornando-se no produto iOS mais rápido de sempre.

E os Benchmarks comprovam-no!

ipad_air_2_geekbench_multi

Faltava ver o que este processador mostrava face ao Tegra K1 da Nvidia, e esse resultado não demorou a chegar.

K1vsA8x

Ora os resultados dos testes são supreendentes! Efectivamente a Nvidia conseguiu com o seu Tegra K1 igualar a performance por núcleo dos processadores Apple, estando o seu K1 com performances em tudo idênticas ao A8X da Apple. No entanto a Apple surpreendeu ao usar no A8X um núcleo adicional, passando o seu processador para um triple-core (Dual-Core no K1), e com isso reter a coroa das performances.

Mas será que é mesmo assim?

Os Benchmarks Sintéticos

Os Benchmarks são uma óptima fonte de informação para a obtenção de um conceito geral de performance. No entanto, esquecendo que os mesmos podem ser aldrabados, há uma queixa geral contra os mesmos. É que estes são considerados sintéticos e que não reflectem a performance no mundo real, mas apenas nos seus testes específicos.

Ora qualquer utilizador de PC sabe disso. É normal vermos uma placa ATI ou Nvidia a esmagar em softwares de Benchmark a da concorrência. No entanto se for preciso vamos ver as performances dessas placas no jogo A e confirmamos que realmente a mais rápida no Benchmark é a mais rápida no jogo, mas quando vamos ver o jogo B, a situação inverteu-se e a mais lenta no Benchmark é agora a mais rápida.

A que se deve isso?

Exactamente ao facto de os Benchmarks serem sintéticos. Basicamente isso quer dizer que o programa tenta emular uma série de características encontradas em programas do mundo real e de uma forma abrangente. No entanto, apesar de serem feitos vários testes ao hardware que medem a sua performance, eles não reflectem o comportamento real de um motor de jogo real, mas apenas da realidade específica e limitada encontrada no benchmark.

Por outras palavras e muito resumidamente, os Benchmarks são uma boa referência para se possuir uma ideia, mas não reflectem a performance no software bem mais complexo encontrado no mundo real. No entanto, em termos genéricos, a não ser que haja alguma situação anormal, eles conseguem reflectir a realidade na maior parte dos programas, motivo pelo qual são usados

Ora com o lançamento ao processador A7 a Apple prometeu o dobro da performance nível de CPU e de GPU face ao oferecido pelo A6. E os benchmarks reflectiam isso! Basta olhar novamente para a imagem de cima do Geekbench e ver o iPhone 5 (Processador A6) com 1274 pontos e o 5S (processador A7) com 2523, ou seja, um pouquinho mais do dobro.

A questão é que há alguns benchmarks menos sintéticos que outros. E um desses casos é o 3DMark!

O 3DMark, apesar de continuar a ser sintético no sentido que mede apenas as cenas fixas que apresenta, usa livrarias genéricas que podem ser encontradas em muitos jogos. E exemplos são o Grand Theft Auto V, o Trials HD e muitos outros jogos populares de Playstation 3, Xbox 360, Nintendo Wii, PC, Android e iPhone.

Uma dessas livrarias é a de física, conhecida como Bullet Physics Library, e que quando foi testada no iPhone 5S surpreendeu pelos resultados.

Benchs A6 A7 3dmark

Na imagem de cima temos testes ao A6 a 1300 Mhz (iPhone 5), ao A7 a 1300 Mhz (iPhone 5S) e A7 1400 Mhz (iPad Air). As três barras representam a laranja a média de pontuação, a azul claro a pontução gráfica, e a azul mais escuro a pontuação no cálculo de física.

Curiosamente, no cálculo da física (cálculo de performances do CPU), o A7, que havia demonstrado no benchmark anterior ser 100% mais rápido, revela-se mais lento que o A6. E mesmo a versão 100 Mhz mais rápida do iPad apenas iguala os valores do A6.

Esta situação surpreendeu muita gente!

A primeira reacção foi de que haveria algo errado com o código do 3DMark, mas essa situação não se aplica! O código é genérico e não é optimizado para nenhum sistema. Daí que se não tem problemas com outros processadores, não tem porque o ter com o A7. Mais ainda, a FutureMark analisou o código e não detectou nada que justificasse os resultados, pelo que resolveu averiguar a situação a fundo.

Publicidade

Retomando o nosso artigo

O que descobriu? Bem, os novos processadores da Apple possuem uma performance que é muito variável e dependente do tipo de cálculo efectuado. Em cálculo mais complexo e iterativo como aplicado normalmente na maior parte dos motores de jogos reais o processador fica extremamente dependente de outros factores, e a sua capacidade de processamento “out-of-order” é afectada. Ou seja, há aqui uma anormalidade no processador que só é detectada quando os cálculos se complicam e que como tal passa despercebida da maior parte dos Benchmarks.

Apesar de ser política da FutureMark nunca optimizar para um hardware específico, a empresa resolveu fazer isso mesmo a ver as diferenças de resultados. Assim, criou uma versão 64 bits que correu no A7, bem como uma outra versão onde tentava contornar a limitação do CPU encontrada. Os resultados não foram minimamente interessantes como se comprova em baixo, com os ganhos a não passarem os 17%.

Benchmarks a7 optimizados

A conclusão a que aFutureMark chegou foi que o A7 é efectivamente muito mais rápido que o A6 quando lida com estruturas de dados pouco complexas, mas quando lida com algo mais complexo (o exemplo dado é estruturas de dados não sequenciais com dependências de memória), uma situação bem mais realista e próxima dos cenários de mundo real do que a primeira, o A7 não se revela mais rápido que o A6.

A FutureMark partilhou os resultados com a Apple que confirmou a situação, tendo posteriormente partilhado as suas descobertas num comunicado de imprensa.

De forma resumida, no comunicado a FutureMark alerta que os Benchmarks sintéticos e simplistas não reflectem a realidade das performances do A7 em situações de mundo real.

Mas e o A8?

Mas e o A8? Será que ele revela os mesmos problemas quando submetido a este teste?

Bem, no que toca aos resultados do Geekbench eles estão em cima, e revelam o A8X como o APU superior. Falta agora submete-lo ao 3DMark e verificar se o processador apresenta as mesmas debilidades.

Para tal seria necessário comparar a versão 64 bits do Tegra K1 com o A8X, mas infelizmente esse teste ainda não foi realizado no Nexus 9.

Existem no entanto resultados com a versão 32 bits do Tegra K1 realizados com o Nvidia Shield, e que corre a uma velocidade de relógio aproximada. E os valores mostram que efectivamente o problema ainda está lá!

K1vsA8x3DMark

Como o gráfico mostra, o A8X não acompanha a versão 32 bits do Tegra em nenhum dos testes, mostrando que a performance do processador está longe de ser aquela que é revelada pelos benchmarks mais simplistas.

O que se conclui é que as performances reais do A8X serão inferiores ao que os gráficos dos benchmarks revelados tem vindo a mostrar, e que na prática, quando submetido a motores de jogo, não há qualquer certeza que as suas performances sejam efectivamente muito diferentes das gerações anteriores. Tudo dependerá da complexidade do motor!

Acima de tudo, no mundo real, e com cálculos mais complexos, as performances do A8X caem.

Fonte de dados para os testes 3Dmark aqui apresentados: Eurogamer.

Publicidade

Retomando o nosso artigo

Adicionado a 29/10 de 2014

NOTAS: O teste 3DMark ICE STORM UNLIMITED é efectuado a 720p nativos, independentemente da resolução do ecrã, de forma a criar paridade entre todos os aparelhos testados. O re-escalamento de imagem obtido em resoluções superiores é um processo inteiramente dependente do GPU e que em nada afecta as performances do CPU. A resolução baixa cria na maior parte dos aparelhos um bottleneck no CPU e não no GPU.

Os testes ao Xiaomi Mi Pad que usa um Tegra K1 32 bits, confirmam os valores do 3D Mark, apesar de apresentar resultados pouco mais baixos que o Nvidia Shield (Fonte: Eurogamer). A Eurogamer testou o Mi Pad por duas vezes, e no último teste, com o Android 4.4.4 refere o seguinte: “UPDATE 4/8/14 15:36: We’ve updated the MiPad with Android 4.4.4 and re-benched. We see a significant improvement in CPU tests.”. Os valores que se seguem são os obtidos no último teste para esta versão do sistema operativo da Google.

3DMark Graphics 35317
3DMark Physics 19371
3DMark IceStorm Unlimited 29856

Os valores obtidos nos benchmarks e relativos aos produtos Android referidos neste artigo são obtidos com o Android 4.4.4.. Nesse aspecto há ainda que referir que o novo Nexus 9 vem equipado com o Android 5, sendo o primeiro produto a usar o mesmo, e a suportar 64 bits no Android, pelo que poderá ter ainda optimizações superiores. Mas para valores finais, só com testes efectivos aos dois produtos reais.

Com o A8 a Apple introduz um novo API de baixo nível, o Metal que poderá ajudar a descer a ocupação do CPU e melhorar performances. Este artigo não reflecte essa situação uma vez que não existem testes ainda disponíveis que usem esse API e desconhece-se o nível de adopção do mesmo.

Da mesma forma o K1 é o primeiro SOC a trazer as livrarias de computação genérica CUDA para dispositivos móveis, algo que também não é reflectido nos benchmarks de cima.

Nota adicional: Não se pretende com este artigo afirmar ou sequer insinuar que o A8X não se possa revelar mais rápido que o K1, ou sequer comparar verdadeiramente os dois processadores. O objectivo é apenas dar a conhecer um problema real com os processadores A7 e A8 da Apple e reconhecido pela marca que afecta as suas performances e que leva a que os valores obtidos em benchmarks não possam ser tomados como uma referência exacta daquilo que serão as suas performances face aos produtos da concorrência. Recomenda-se por isso, mais uma vez a leitura do comunicado de imprensa oficial da FutureMark e que indica o reconhecimento, por parte da Apple, desta situação.

 

 

 

Publicidade

Posts Relacionados