Programação do sistema de negociação

Como fazer um robô comercial em nenhum momento.
Para fazer um robô comercial, você precisa de um sistema de negociação.
Negociar nos mercados financeiros envolve muitos riscos, incluindo o mais crítico - o risco de tomar uma decisão comercial errada. O sonho de todo comerciante é encontrar um robô comercial, que está sempre em boa forma e não sujeito a fraquezas humanas - medo, ganância e impaciência.
Cada recém-chegado quer obter ou criar um sistema de negociação claro e estrito que possa ser apresentado na forma de algoritmos e se livrar completamente das operações de rotina. É possível?
Um sistema de negociação é uma condição necessária para entrar no mercado e esse sistema deve ser lucrativo, é claro. Quando os recém-chegados chegam ao mercado, geralmente ficam sobrecarregados pela grande massa de informações difíceis de entender. Os fóruns de livros e traders podem fornecer alguma ajuda nesse caso.
Infelizmente, nem todos os autores são comerciantes bem-sucedidos e nem todos os traders bem-sucedidos escrevem livros. Muitos recursos especiais da Web são criados apenas para gerar lucro para seus proprietários, pois é muito mais difícil negociar seu próprio dinheiro do que emitir previsões e ensinar sistemas de negociação.
Cada comerciante deve passar de forma independente todos os estágios da criação de um sistema de negociação. Há um ditado popular que não importa qual sistema você usa para negociação, o principal é que você deve realmente negociar de acordo com esse sistema. Caso contrário, a negociação no mercado se transforma em uma aposta com um resultado previsível.
Negociação de robôs e Forex.
Acredita-se que o mercado Forex tenha uma grande liquidez. Além disso, permite negociar 24 horas por dia, ao contrário de muitos outros mercados. Portanto, muitos comerciantes tentam fazer robôs de negociação especialmente para o mercado Forex, uma vez que oferece um grande número de instrumentos de negociação.
No entanto, os céticos afirmam que todos os pares de moedas estão fortemente correlacionados entre si, proporcionando uma volatilidade muito baixa no mercado. Mas seus oponentes respondem que cada par de moedas tem suas próprias características e que a baixa volatilidade é compensada por uma grande alavancagem.
Em qualquer caso, os instrumentos de Forex são atraentes para a criação de robôs de negociação e a maioria dos defensores do comércio automatizado aprimora suas habilidades em pares de moedas.
Os terminais de negociação MetaTrader 4 e MetaTrader 5 são especialmente projetados para desenvolver facilmente sistemas de negociação automatizados, mas ao mesmo tempo sua interface também é conveniente para negociação manual.
Como começar a fazer um robô comercial?
Existem muitas abordagens para construir um sistema de negociação automatizado. Vamos descrever apenas alguns dos principais.
A primeira abordagem baseia-se em matemática. Um desenvolvedor tenta criar uma espécie de equação que considere muitos fatores. Essa abordagem baseia-se na firme crença de que os movimentos de preços são gerenciados por um modelo que pode ser encontrado usando dados históricos disponíveis.
Na maioria dos casos, os seguidores de tal abordagem sabem muito de matemática, mas não sabem nada sobre / não estão interessados ​​no mercado. O mercado é uma abstração pura, um tipo de jogo intelectual para eles. Essa abordagem geralmente leva a muitos anos de estudo e desenvolvimento, enquanto um resultado definido na forma de um sistema de negociação automatizado em funcionamento não é tão importante.
A segunda abordagem é baseada no estudo das leis de mercado. Nenhuma tentativa é feita para entender por que o preço sobe ou desce quando vários números de análise técnica aparecem em um gráfico. A vantagem dessa abordagem é que ela não requer nenhum conhecimento especial de matemática e não faz suposições sobre a força motriz do mercado.
É mais claro e conveniente quando se estuda negociação. É mais popular entre os comerciantes que receberam reconhecimento universal. A desvantagem da abordagem é a necessidade de rastrear constantemente todos os símbolos necessários.
Mais cedo ou mais tarde, um trader começa a considerar a automação de processos de negociação e a questão mais considerável aparece nesse estágio - a complexidade de formalizar regras de negociação ao tentar expressá-las na forma de algoritmos. Em alguns casos, os operadores que tentam encomendar um robô comercial não podem descrever as regras de negociação e encontrar pontos em comum com os programadores.
A terceira abordagem é baseada na tentativa de criar uma “caixa preta” baseada em redes neurais com o uso de ferramentas prontas amplamente disponíveis em softwares especiais e pacotes de matemática. A criação de um sistema de negociação automatizado com os elementos da inteligência artificial é uma tarefa empolgante e desafiadora, mesmo para os recém-chegados, já que não requer conhecimento profundo em matemática nem experiência em programação - tudo é feito usando recursos visuais.
Um trader deve conhecer os fundamentos dos indicadores técnicos, possuir a capacidade de preparar dados de preço necessários e experiência em algum pacote definido para trabalhar com redes neurais. A principal desvantagem dessa abordagem é que um robô de negociação obtido usando essas ferramentas especializadas para trabalhar com redes neurais é, na verdade, uma "caixa preta". Os comerciantes não conhecem seus princípios de funcionamento e, geralmente, é impossível prever qual fase do mercado será a mais problemática para o robô.
Os programadores geralmente escolhem a quarta abordagem - eles começam a fazer um robô de negociação desde o começo sem gastar tempo para negociação manual. Por que negociar manualmente? Você pode fazer um robô passar alguns meses e colher os benefícios de seus esforços.
Mas «sem dores, sem ganhos». Na maioria dos casos, os programadores começam a criar toda a infraestrutura necessária usando uma linguagem de programação familiar, em vez de apenas fazer um robô comercial - obter e processar dados de preços, representação visual de gráficos e indicadores, meios personalizados de testar estratégias em dados históricos e assim por diante.
Eles ganham muita experiência no processo. Mas na maioria dos casos, essa experiência não os aproxima do objetivo final - a criação de um sistema de negociação automatizado. E mesmo que um robô comercial seja criado, não há garantias de que ele será lucrativo. E se um programador quiser escrever outro sistema de negociação? Reestruturação profunda e novos erros de programação são inevitáveis.
Há também a quinta abordagem - comprar um sistema de negociação pronto na forma de um robô comercial. Neste caso, um comerciante atua como um operador ou um sintonizador. Essa abordagem economiza muito tempo (não é necessário aprender muitas coisas novas) e permite que os operadores entrem rapidamente no mundo da negociação automatizada.
A principal desvantagem dessa abordagem reside em suas vantagens - você não conhece os princípios de operação de seu robô de negociação e sua estrutura. E mesmo que um vendedor forneça uma descrição detalhada do sistema de negociação implementado, você nunca terá certeza disso.
No entanto, nenhuma das abordagens mencionadas pode lhe dar garantia absoluta, exceto um depósito bancário. Mas essa não é uma solução muito adequada para pessoas interessadas em negociar no mercado e maneiras de aumentar seus ativos privados.
Qual é a melhor abordagem para o comércio automatizado para um comerciante?
Cada uma das cinco abordagens descritas tem suas vantagens e corresponde a algum tipo definido de comerciante. É improvável que você escolha a primeira abordagem (descrição analítica do mercado) sem um bom histórico matemático. É igualmente improvável que você comece a fazer robôs comerciais baseados em redes neurais. No entanto, essas duas abordagens são muito estimulantes e proporcionam um bom exercício intelectual.
Abaixo, discutiremos apenas a segunda abordagem, que já é considerada a clássica. Essa é a abordagem geralmente escolhida pelos novos seguidores da negociação automatizada, já que a análise técnica continua sendo a principal área de conhecimento ao aprender noções básicas de negociação.
Outra vantagem da segunda abordagem é que depois de gastar algum tempo para negociação manual e obter o senso de mercado, você já terá uma boa compreensão das ferramentas de análise técnica. Além disso, você poderá programar estratégias de negociação ou criar redes neurais em um nível superior.
Os primeiros passos para fazer um robô comercial.
Para criar um sistema de negociação automatizado, você precisa de habilidades de programação e conhecimento de todos os meandros do processamento de solicitações comerciais. Mas primeiro você pode começar com os Expert Advisors já prontos - trocando robôs da biblioteca livre Code Base.
Faça o download de qualquer Expert Advisor (robô de negociação) e lance-o nos terminais de cliente do Strategy Tester do MetaTrader 4 ou MetaTrader 5. Selecione um intervalo de histórico mostrando uma tendência forte e um intervalo com um plano. Execute a otimização de um parâmetro de entrada do Expert Advisor e examine suas diferenças nesses dois intervalos.
Inicie um Expert Advisor com os parâmetros ideais para um plano em um intervalo de tendência e com os parâmetros ideais para uma tendência em um intervalo simples. Examine as diferenças nos resultados de negociação, distribuições de ofertas e outros parâmetros estatísticos. Como resultado, você saberá quanto o comportamento do seu sistema de negociação pode variar quando a situação do mercado mudar.
Seria melhor tentar várias estratégias de negociação padrão usando esse método em diferentes partes da história e vários símbolos. Tal teste impede a instalação de um sistema de negociação para algum intervalo histórico definido e fornece uma melhor compreensão dos sistemas de tendência e de tendência contrária.
O próximo passo seria criar sistemas de negociação mais complexos, baseados na combinação de sinais simples já existentes do MQL5 Wizard set. Você pode testar e desenvolver sua intuição comercial, selecionando sinais ruins de um sistema usando um filtro baseado em outro sistema sem meios de programação.
O principal aqui é não superar demais. Quanto mais parâmetros de entrada um sistema de negociação tiver, mais fácil será o ajuste. Houve muitas discussões sobre as diferenças entre otimização e adaptação. Não há soluções amplamente aceitas aqui. Mas a visualização dos resultados de teste / otimização e seu próprio bom senso podem ajudá-lo.
Aprenda a identificar os parâmetros de entrada mais críticos que afetam seu sistema de negociação de todo o conjunto de dados de entrada. Não preste muita atenção aos parâmetros secundários que levam tempo durante a otimização, mas não afetam a própria lógica do sistema. Lembre-se de que um bom sistema de negociação sempre demonstra um pequeno movimento livre de parâmetros secundários, mas não exibe uma volatilidade dramática no caso de mudanças de mercado insignificantes.
Você pode gastar tanto tempo nesta fase, como desejar, até ter certeza de que pode entender qualquer estratégia de negociação examinando os resultados de teste e otimização. O conhecimento dos pontos fortes e fracos dos sistemas padrão permitirá que você esteja mais bem preparado ao criar seu próprio robô comercial.
Programando um robô de negociação.
Suponha que você tenha aprendido / esteja aprendendo a linguagem de programação MQL4 ou MQL5 e agora você está pronto para escrever seu primeiro Expert Advisor para o terminal do cliente MetaTrader. Vários casos são possíveis aqui.
Primeiro, você pode examinar vários robôs comerciais prontos descritos nos artigos para entender melhor as complexidades de programação.
Segundo, você pode fazer perguntas sobre MQL4munity ou MQL5munity, se tiver algum problema não resolvido. Participantes experientes da comunidade geralmente ajudam os recém-chegados a mostrar sincero interesse pelo assunto.
Terceiro, você pode solicitar a melhoria ou o desenvolvimento de um Expert Advisor ou um indicador no serviço Jobs, caso não seja capaz de criar um programa necessário por conta própria. Mas mesmo que você faça um pedido por meio do serviço freelancer, você deve ter alguma idéia sobre o teste de estratégia para encontrar um idioma comum com um desenvolvedor.
Além disso, o conhecimento básico de uma linguagem de programação permite implementar pequenas correções e alterações no código depois que o trabalho já foi concluído. Afinal de contas, não seria muito conveniente chamar um programador para corrigir todos os pequenos problemas que você encontrar. Seria muito mais fácil e rápido corrigi-lo sozinho.
Não há necessidade de reinventar a roda.
Como encontrar sua própria estratégia de negociação, ou pelo menos em que direção você deve focar sua busca? Todos os comerciantes protegem seus próprios sistemas de negociação, se tiverem um. Todos os recém-chegados querem criar um sistema lucrativo ou obter um sistema pronto. Ao mesmo tempo, qualquer solução obtida parece ser muito simples em comparação com as idéias dos recém-chegados sobre um sistema de comércio genuíno.
Os homens do exército em todo o mundo são propensos a níveis excessivos de sigilo. Há muitas piadas sobre isso, incluindo a seguinte: "O segredo militar não está no que você está estudando - um oficial diz aos estudantes das escolas militares -, mas no fato de que exatamente você está estudando isso". A situação dos sistemas de negociação é semelhante: a maioria dos traders usa idéias de negociação simples e conhecidas com pequenas modificações, por exemplo, adicionando o Trailing Stop ou confirmações de indicadores de tendência.
Existem muitos fóruns de traders com acesso limitado, onde os participantes unem seus esforços para desenvolver ou melhorar alguns sistemas de negociação secretos. O mais interessante é que tais sistemas não contêm nada de especial. Normalmente, uma idéia bem conhecida (como "comércio com a tendência") é usada como base. Em seguida, ele é aperfeiçoado com alguns novos indicadores desconhecidos do público em geral.
Portanto, você pode facilmente obter códigos-fonte de robôs comerciais e tentar usá-los corretamente com vários símbolos e cronogramas. Outro ditado popular pode ser mencionado aqui: "Você não gosta de gatos? Você só não sabe como cozinhá-los!" É difícil acreditar, mas a probabilidade de você desenvolver algo realmente novo é muito pequena. O principal aqui é criar um sistema usando os ingredientes disponíveis. Não pense que alguns gênios tenham acesso a alguns sistemas secretos dos laboratórios da NASA. Esse é o segredo do Graal.
Apenas alguns poucos conseguirão passar.
Então, por que ninguém usa idéias de negociação, se elas estão literalmente ao alcance da mão? A resposta provavelmente está na psicologia humana. O pessoal de muitos bancos e grandes fundos de investimento inclui comerciantes realizando acordos de acordo com regras estritas e dentro de volumes limitados. Mas, por alguns motivos, apenas alguns traders institucionais deixam suas empresas e começam a negociar usando seu próprio dinheiro.
Acontece que você precisa não apenas de uma estratégia de negociação, mas também da disciplina de ferro para segui-la. Muitos comerciantes descobriram com pesar que eles também têm os mesmos problemas psicológicos descritos nos livros. Depois de perceber que o pior inimigo dos comerciantes são eles mesmos, um recém-chegado começa a pensar em fazer um robô comercial para eliminar um fardo psicológico.
Embora eu me afaste ligeiramente do assunto, devo mencionar os lendários comerciantes de tartarugas que negociaram com sucesso em vários mercados no final do século XX. Leia "Way of the Turtle" e você verá que a coisa mais importante para um trader é uma autodisciplina e não um sistema secreto. Infelizmente, a maioria dos recém-chegados não será capaz de seguir uma estratégia lucrativa, mesmo que seja gratuita.
O problema é que a maioria das estratégias de negociação perfeitamente ajustadas para negociação manual dificilmente pode ser formalizada e transcrita para uma linguagem de programação. As estratégias que podem ser facilmente formalizadas (por exemplo, aquelas que envolvem a intersecção de duas médias móveis) são muito simples e exigem muitos refinamentos e melhorias, para que possam ser usadas na prática. Assim, uma ideia simples é gradualmente complicada por uma abundância de parâmetros externos que impedem um robô de negociação de entradas falsas e erros claramente visíveis para um desenvolvedor. Um problema de otimização de robôs de negociação surge. Esse processo não deve se transformar em uma otimização excessiva e em um intervalo de histórico específico.
Para resolver este problema, o teste direto usando os parâmetros do sistema obtidos foi implementado no terminal MetaTrader 5. Se os resultados dos testes forward não diferirem significativamente daqueles obtidos na seção de otimização, há uma probabilidade de que um robô comercial fique estável o suficiente por algum tempo após seu lançamento em uma conta de negociação. Um intervalo de tempo para a otimização de parâmetros e um valor real de "algum tempo" dependem de um determinado sistema de negociação.
Assim, a otimização de um robô de negociação antes de lançá-lo em uma conta de negociação lembra o desenrolar de um sling - quanto mais cuidadosamente desenrolamos um projétil do sling, mais ele voará e mais precisa será sua trajetória. Um robô de negociação completamente desenvolvido manterá um resultado positivo em uma conta de negociação por um tempo maior do que um robô de negociação obtido como resultado de um ajuste. Podemos dizer que o Graal é uma idéia de trabalho e ajuste correto de parâmetros realizados de tempos em tempos nos momentos de mudanças de condições de mercado.
Isto pode ser ilustrado pelos resultados do Campeonato de Negociação Automatizada, que já existe há muitos anos. Os Expert Advisors enviados por todos os participantes passam por testes automáticos no intervalo de tempo de janeiro até o final de julho. O principal requisito para passar no teste automático é um lucro obtido por oito meses de testes. Mas menos de metade dos robôs de negociação admitidos para o Campeonato continuam lucrativos depois de meses de trabalho autônomo.
Você também pode testar suas habilidades para fazer e ajustar seu robô de negociação para participar do Campeonato e obter os resultados dos testes avançados do seu Expert Advisor. Além disso, a participação é gratuita e os prêmios são impressionantes. Esperamos ver você lá!
Conclusão.
Comerciantes profissionais intraday passam muitas horas sentados em seus computadores e esperando o momento certo para fazer um acordo. Claro, eles não podem estar em boa forma o tempo todo.
A maioria dos comerciantes chega à conclusão de que suas ações violam suas próprias regras de negociação. Nem todos os sistemas de negociação podem ser completamente formalizados, mas mesmo esses sistemas podem, na maioria dos casos, adotar ferramentas adicionais, como indicadores, sistemas analíticos e filtros de sinais falsos.
Nós não fazemos nenhuma recomendação especial aqui sobre o aprendizado de linguagens MQL4 ou MQL5, pois há muitos outros artigos úteis sobre esse assunto. O objetivo deste artigo foi fornecer uma idéia inicial sobre como começar a fazer seu robô comercial para os terminais MetaTrader 4 e MetaTrader 5.
Esperamos que este artigo economize tempo para os recém-chegados e mostre a direção certa na difícil tarefa de desenvolver um sistema de negociação automatizado.
Traduzido do russo por MetaQuotes Software Corp.

Programação do sistema de negociação
Criando um sistema de negociação dentro do Trading System Lab.
O Trading System Lab gerará automaticamente Trading Systems em qualquer mercado em poucos minutos usando um programa de computador muito avançado conhecido como AIMGP (Indução Automática do Código de Máquina com Programação Genética). A criação de um sistema de negociação dentro do Trading System Lab é realizada em 3 etapas fáceis. Primeiro, é executado um pré-processador simples que extrai e pré-processa automaticamente os dados necessários do mercado com o qual deseja trabalhar. A TSL aceita dados CSI, MetaStock, AIQ, TradeStation, Internet grátis, ASCII, TXT, CSV, CompuTrac, DowJones, FutureSource, TeleChart2000v3, TechTools, XML, Binário e Internet Streaming. Em segundo lugar, o Gerador de Sistema de Negociação (GP) é executado por vários minutos, ou mais, para evoluir um novo Sistema de Negociação. Você pode usar seus próprios dados, padrões, indicadores, relacionamentos entre mercados ou dados fundamentais no TSL. Em terceiro lugar, o Trading System evoluído é formatado para produzir novos sinais do Trading System a partir da TradeStation ™ ou de muitas outras plataformas de negociação. O TSL irá escrever automaticamente Easy Language, Java, Assembler, código C, código C # e WealthLab Script Language. O Sistema de Negociação pode então ser negociado manualmente, negociado através de um corretor ou negociado automaticamente. Você pode criar o Sistema de Negociação sozinho ou nós podemos fazer isso por você. Então, você ou seu corretor podem negociar o sistema manualmente ou automaticamente.
O Programa Genético do Trading System Lab contém vários recursos que reduzem a possibilidade de ajuste de curva ou a produção de um Sistema de Negociação que não continua a funcionar no futuro. Primeiro, os Trading Systems evoluídos têm seu tamanho reduzido ao menor tamanho possível através do que é chamado de pressão de parcimônia, a partir do conceito de comprimento de descrição mínima. Assim, o Sistema de Negociação resultante é o mais simples possível e geralmente se acredita que quanto mais simples for o Sistema de Negociação, melhor será o seu desempenho no futuro. Em segundo lugar, a aleatoriedade é introduzida no processo evolutivo, o que reduz a possibilidade de encontrar soluções que sejam localmente, mas não globalmente ótimas. A aleatoriedade é introduzida não apenas nas combinações do material genético usado nos Trading Systems evoluídos, mas também em Parsimony Pressure, Mutation, Crossover e outros parâmetros GP de nível mais alto. O teste Fora da Amostra é realizado enquanto o treinamento está em andamento com as informações estatísticas apresentadas nos testes In Sample e Out of Sample Trading System. Os logs de execução são apresentados ao usuário para os dados Treinamento, Validação e Fora da Amostra. Bem comportado O desempenho fora da amostra pode ser indicativo de que o Sistema de Negociação está evoluindo com características robustas. A deterioração substancial no teste automático Fora da Amostra em comparação com o teste Na Amostra pode implicar que a criação de um Sistema de Negociação robusto está em dúvida ou que o Terminal, ou Conjunto de Entrada, pode precisar ser alterado. Finalmente, o Conjunto de Terminais é cuidadosamente escolhido de forma a não influenciar excessivamente a seleção do material genético inicial em relação a qualquer tendência ou sentimento do mercado em particular.
A TSL não inicia sua execução com um Sistema de Negociação predefinido. Na verdade, apenas o Input Set e uma seleção de modos de entrada de mercado ou modos, para pesquisa e atribuição automática de entrada, são feitos inicialmente. Um padrão ou comportamento indicador que pode ser considerado uma situação de alta pode ser usado, descartado ou invertido dentro do GP. Nenhum padrão ou indicador é pré-atribuído a qualquer viés de movimento de mercado específico. Este é um afastamento radical do desenvolvimento do Trading System gerado manualmente.
Um Sistema de Negociação é um conjunto lógico de instruções que informa ao comerciante quando comprar ou vender um mercado em particular. Estas instruções raramente requerem intervenção de um profissional. Os Sistemas de Negociação podem ser negociados manualmente, observando as instruções de negociação em uma tela de computador, ou podem ser negociados permitindo que o computador entre no mercado automaticamente. Ambos os métodos estão em uso generalizado hoje. Há mais administradores profissionais de dinheiro que se consideram comerciantes "Sistemáticos ou Mecânicos" do que aqueles que se consideram "discricionários", e o desempenho dos administradores de fundos sistemáticos é geralmente superior ao dos gerentes de dinheiro discricionários. Estudos têm mostrado que as contas de negociação geralmente perdem dinheiro com mais frequência se o cliente não estiver usando um sistema de negociação. O aumento significativo nos Sistemas de Negociação nos últimos 10 anos é evidente especialmente nas corretoras de commodities, no entanto, as corretoras de ações e ações estão cada vez mais conscientes dos benefícios através do uso de Sistemas de Negociação e algumas começaram a oferecer Sistemas de Negociação aos seus clientes de varejo.
A maioria dos gestores de fundos mútuos já está usando algoritmos de computador sofisticados para orientar suas decisões sobre o que "estoque a escolher" ou que "rotação setorial" é a favor. Computadores e algoritmos se tornaram mainstream no investimento e esperamos que essa tendência continue enquanto os investidores mais experientes em informática continuam a permitir que parcelas de seu dinheiro sejam gerenciadas pela Trading Systems para reduzir o risco e aumentar os retornos. As enormes perdas experimentadas pelos investidores que participam na compra e manutenção de ações e fundos mútuos como o mercado de ações derretido nos últimos anos está promovendo esse movimento no sentido de uma abordagem mais disciplinada e lógica para o investimento no mercado de ações. O investidor médio percebe que atualmente ele permite que muitos aspectos de suas vidas e a vida de seus entes queridos sejam mantidos ou controlados por computadores, como os automóveis e aeronaves que usamos para o transporte, os equipamentos de diagnóstico médico que usamos para a manutenção da saúde, os controladores de aquecimento e refrigeração que usamos para controle de temperatura, as redes que usamos para informações baseadas na Internet, até mesmo os jogos que jogamos para entretenimento. Por que então alguns investidores de varejo acreditam que podem "atirar nos quadris" em suas decisões sobre "o que" ações ou fundo mútuo para comprar ou vender e esperar ganhar dinheiro? Finalmente, o investidor médio tornou-se cauteloso com os conselhos e informações encaminhados por corretores inescrupulosos, contadores, diretores de empresas e consultores financeiros.
Nos últimos 20 anos, matemáticos e desenvolvedores de software buscaram indicadores e padrões nos mercados de ações e commodities em busca de informações que apontassem para a direção do mercado. Esta informação pode ser usada para melhorar o desempenho dos Sistemas de Negociação. Geralmente este processo de descoberta é realizado através de uma combinação de tentativa e erro e mais sofisticada "Data Mining". Normalmente, o desenvolvedor levará semanas ou meses processando os números para produzir um Sistema de Negociação em potencial. Muitas vezes, este Sistema de Negociação não terá um bom desempenho quando realmente usado no futuro, devido ao que é chamado de "ajuste de curva". Ao longo dos anos tem havido muitos Trading Systems (e empresas de desenvolvimento de Trading System) que vêm e vão como seus sistemas falharam em negociação ao vivo. Desenvolver Sistemas Comerciais que continuem a atuar no futuro é difícil, mas não impossível de realizar, embora nenhum desenvolvedor ético ou gestor de dinheiro dê uma garantia incondicional de que qualquer Sistema de Negociação, ou mesmo qualquer ação, título ou fundo mútuo, continuará. para produzir lucros para o futuro para sempre.
O que levou semanas ou meses para o desenvolvedor do Trading System produzir no passado pode agora ser produzido em minutos com o uso do Trading System Lab. O Trading System Lab é uma plataforma para a geração automática de Sistemas de Negociação e Indicadores de Negociação. A TSL utiliza um Mecanismo de Programação Genética de alta velocidade e produzirá Sistemas de Negociação a uma taxa de mais de 16 milhões de barras de sistema por segundo, com base em 56 entradas. Observe que apenas algumas entradas serão realmente usadas ou necessárias, resultando em estruturas de estratégia geralmente simples e evoluídas. Com aproximadamente 40.000 a 200.000 sistemas necessários para uma convergência, o tempo de convergência para qualquer conjunto de dados pode ser aproximado. Note que não estamos simplesmente executando uma otimização de força bruta de indicadores existentes procurando por parâmetros ótimos a partir dos quais usar em um Sistema de Negociação já estruturado. O Gerador de Sistema de Negociação começa em uma origem de ponto zero, não fazendo suposições sobre o movimento do mercado no futuro e então "evolui" Sistemas de negociação a uma taxa muito alta combinando informações presentes no mercado e formulando novos filtros, funções, condições e relacionamentos à medida que avança em direção a um Sistema de Negociação "geneticamente modificado". O resultado é que um excelente Sistema de Negociação pode ser gerado em poucos minutos em 20 a 30 anos de dados diários de mercado em praticamente qualquer mercado.
Nos últimos anos, tem havido várias abordagens para a otimização do Sistema de Negociação que empregam o "Algoritmo" Genético menos poderoso. Os Programas Genéticos (GPs) são superiores aos Algoritmos Genéticos (GA's) por várias razões. Primeiro, os GP's convergem em uma solução a uma taxa exponencial (muito rápida e ficando mais rápida) enquanto os Algoritmos Genéticos convergem a uma taxa linear (muito mais lenta e não ficando mais rápida). Em segundo lugar, as GP's geram realmente um código de máquina do Sistema de Negociação que combina o material genético (indicadores, padrões, dados entre mercados) de maneiras únicas. Essas combinações exclusivas podem não ser intuitivamente óbvias e não exigem definições iniciais pelo desenvolvedor do sistema. As relações matemáticas únicas criadas podem se tornar novos indicadores ou variantes na Análise Técnica, ainda não desenvolvidas ou descobertas. Os GAs, por outro lado, simplesmente procuram soluções ótimas à medida que progridem ao longo da faixa de parâmetros; eles não descobrem novas relações matemáticas e não escrevem seu próprio código de sistema de negociação. O código de criação do Trading System da GP de vários comprimentos, usando genomas de tamanho variável, modificará o comprimento do Sistema de Negociação através do que é chamado crossover não homólogo e descartará completamente um indicador ou padrão que não contribua para a eficiência do Sistema de Negociação. Os GA's usam apenas blocos de instrução de tamanho fixo, fazendo uso somente de crossover homólogo e não produzem códigos de Sistema de negociação de comprimento variável, nem descartarão um indicador ou padrão ineficiente tão facilmente quanto um GP. Finalmente, os Programas Genéticos são um avanço recente no domínio do aprendizado de máquina, enquanto os Algoritmos Genéticos foram descobertos há 30 anos. Os programas genéticos incluem todas as principais funcionalidades dos Algoritmos Genéticos; crossover, reprodução, mutação e fitness, no entanto, as GP's incluem recursos muito mais rápidos e robustos, tornando a GP a melhor escolha para a produção da Trading Systems. O GP empregado no Trading System Generator da TSL é o GP mais rápido atualmente disponível e não está disponível em nenhum outro software do mercado financeiro no mundo.
O Algoritmo de Programação Genética, o Simulador de Negociação e os Motores de Fitness usados ​​na TSL levaram mais de 8 anos para serem produzidos.
O Trading System Lab é o resultado de anos de trabalho árduo de uma equipe de engenheiros, cientistas, programadores e traders, e acreditamos que representa a tecnologia mais avançada disponível atualmente para a negociação nos mercados.

Codificação de Sistemas de Negociação.
Por Justin Kuepper.
Como os sistemas de negociação automatizados são criados?
Este tutorial se concentrará na segunda e na terceira partes deste processo, onde suas regras são convertidas em um código que seu software de negociação pode entender e usar.
Vantagens e desvantagens.
Um sistema automatizado tira a emoção e o trabalho ocupado da negociação, o que permite que você se concentre em melhorar suas regras de estratégia e gerenciamento de dinheiro. Uma vez que um sistema lucrativo é desenvolvido, ele não requer nenhum trabalho de sua parte até que ele quebre, ou as condições do mercado exigem uma mudança. Desvantagens:
Se o sistema não for devidamente codificado e testado, grandes perdas podem ocorrer muito rapidamente. Às vezes é impossível colocar certas regras no código, o que dificulta o desenvolvimento de um sistema de negociação automatizado. Neste tutorial, você aprenderá como planejar e projetar um sistema de negociação automatizado, como converter esse design em código que seu computador entenderá, como testar seu plano para garantir um desempenho ideal e, finalmente, como colocar seu sistema em uso.

Programação do sistema de negociação
Para sobreviver na era dos robôs, é necessário aprender uma linguagem de programação que torne seus algoritmos de negociação mais inteligentes e não apenas mais rápidos. Ter conhecimento de uma linguagem de programação popular é o bloco de construção para se tornar um trader algorítmico profissional. Não é apenas o suficiente se uma pessoa tem um amor por números. Os profissionais precisam colocar a lógica usando números em um programa de software para realizar uma transação bem-sucedida. Linguagens de programação são um importante fator de contribuição para os sistemas de negociação. Para construir uma plataforma de negociação concreta, o conhecimento de várias linguagens de programação é essencial, pois ajuda a controlar as condições de mercado voláteis e multifacetadas.
Para pessoas que desejam prosperar no mercado competitivo de conhecimento em programação de negociação quantitativa em Python, C ++ ou Java é uma obrigação. Os principais conceitos por trás do uso dessas linguagens de programação para negociação algorítmica são os mesmos. Se um indivíduo adquirir conhecimento em qualquer idioma, a mudança para a outra linguagem de programação para negociação algorítmica não deve ser uma tarefa difícil.
Com rápidos avanços tecnológicos todos os dias, é difícil para os programadores aprenderem todas as linguagens de programação. Uma das perguntas mais comuns que recebemos no QuantInsti é “Qual linguagem de programação devo aprender para negociação algorítmica?” A resposta a essa pergunta é que não há nada como uma linguagem “BEST” para negociação algorítmica. Há muitos conceitos importantes levados em consideração em todo o processo de negociação antes de escolher uma linguagem de programação - custo, desempenho, resiliência, modularidade e vários outros parâmetros de estratégia de negociação.
Cada linguagem de programação tem suas próprias vantagens e desvantagens, e um equilíbrio entre os prós e os contras com base nos requisitos do sistema de negociação afetará a escolha da linguagem de programação que um indivíduo pode preferir aprender. Cada organização tem uma linguagem de programação diferente baseada em seus negócios e cultura.
Que tipo de sistema de negociação você usará? Você planeja projetar um sistema de negociação baseado na execução? Você precisa de um back tester de alto desempenho?
Com base em respostas a todas essas perguntas, uma vez pode decidir qual linguagem de programação é a melhor para negociação algorítmica. No entanto, para responder às perguntas acima, vamos explorar as várias linguagens de programação usadas para negociação algorítmica com um breve entendimento dos prós e contras de cada uma delas.
Pesquisadores e comerciantes Quant requerem uma linguagem de script para construir um protótipo do código. O Python for trading tem enorme importância no processo geral de negociação, pois encontra aplicativos em protótipos de modelos quânticos, particularmente em grupos de negociação de quantias em bancos e fundos de hedge. A maioria dos traders de quantum preferem o comércio algorítmico Python, pois os ajuda a construir seus próprios conectores de dados, mecanismos de execução, backtesting, gerenciamento de riscos e ordens, análise prospectiva e módulos de teste de otimização.
Os desenvolvedores de comércio algorítmico geralmente ficam confusos se escolhem uma tecnologia de código aberto ou uma tecnologia comercial / proprietária. Antes de decidir sobre isso, é importante considerar a atividade da comunidade em torno de uma linguagem de programação específica, a facilidade de manutenção, a facilidade de instalação, a documentação da linguagem e os custos de manutenção. O Python for trading tornou-se uma opção preferida recentemente, pois o Python é uma fonte aberta e todos os pacotes são gratuitos para uso comercial.
A negociação algorítmica em Python ganhou força na comunidade de finanças de quantias, já que facilita a construção de modelos estatísticos complexos com facilidade, devido à disponibilidade de bibliotecas científicas suficientes, como Pandas, NumPy, PyAlgoTrade, Pybacktest e muito mais.
A paralelização e o enorme poder computacional da negociação em Python proporcionam escalabilidade ao portfólio. Python de negociação algorítmica facilita a criação e avaliação de estruturas de negociação de algoritmos devido à sua abordagem de programação funcional. O código pode ser facilmente estendido para algoritmos dinâmicos para negociação. O Python pode ser usado para desenvolver ótimas plataformas de negociação onde o uso de C ou C ++ é um trabalho trabalhoso e demorado. Negociar com Python é uma escolha ideal para pessoas que querem se tornar pioneiras com plataformas de negociação de algoritmos dinâmicos. Para indivíduos novos no comércio algorítmico, o código python é facilmente legível e acessível. Então, se você está entrando no mundo da negociação algorítmica, o programa executivo da QuantInsti o ajudará a implementar suas estratégias no ambiente ao vivo através das plataformas de negociação da Python. É comparativamente mais fácil consertar novos módulos na linguagem Python e torná-la expansiva. Os módulos existentes também facilitam para os operadores de algo compartilhar funcionalidades entre diferentes programas, decompondo-os em módulos individuais que podem ser aplicados a várias arquiteturas de negociação. Ao usar o Python para negociação, ele requer menos linhas de código devido à disponibilidade de bibliotecas extensas. Pequenos negociadores podem pular várias etapas que outras linguagens como C ou C ++ podem requerer. Isso reduz o custo total de manutenção do sistema de negociação. Com uma ampla variedade de bibliotecas científicas em Python, os traders algorítmicos podem realizar qualquer tipo de análise de dados em uma velocidade de execução comparável a linguagens compiladas como C ++.
Desvantagem do uso do Python na negociação algorítmica.
Assim como cada moeda tem duas faces, há algumas desvantagens de usar o Python para negociação. No entanto, os prós de usar python para negociação excedem as desvantagens, tornando-a uma escolha suprema de linguagem de programação para plataformas de negociação algorítmica.
Em python, cada variável é considerada como um objeto, então cada variável armazenará informações desnecessárias como tamanho, valor e ponteiro de referência. Normalmente, o tamanho das variáveis ​​python é 3 vezes maior que o tamanho das variáveis ​​da linguagem C. Ao armazenar milhões de variáveis, se o gerenciamento de memória não for feito de forma eficaz, isso pode levar a vazamentos de memória e gargalos de desempenho.
Negociação Algorítmica - Python vs. C ++
Uma linguagem compilada como C ++ é freqüentemente uma escolha de linguagem de programação ideal se as dimensões do parâmetro de backtesting forem grandes. No entanto, o Python faz uso de bibliotecas de alto desempenho como Pandas ou NumPy para backtesting para manter a competitividade com seus equivalentes compilados. Python ou C ++ - a linguagem a ser usada para os ambientes de backtester e de pesquisa será decidida com base nos requisitos do algoritmo e nas bibliotecas disponíveis. A escolha de C ++ ou Python dependerá da frequência de negociação. A linguagem de negociação Python é ideal para bares de 5 minutos, mas ao reduzir os quadros de tempo abaixo de segundos, isso pode não ser uma escolha ideal. Se a velocidade é um fator distintivo para competir com o seu competente, então usar o C ++ é uma escolha melhor do que usar o Python for Trading. C ++ é uma linguagem complicada, ao contrário do Python, que mesmo os iniciantes podem facilmente ler, escrever e aprender.
Os sistemas de negociação evoluem com o tempo e qualquer escolha de linguagem de programação evoluirá junto com eles. Se você quiser aproveitar o melhor dos dois mundos no comércio algorítmico, ou seja, os benefícios de uma linguagem de programação de uso geral e ferramentas poderosas da pilha científica - escolha um curso de comércio algorítmico que introduza plataformas de negociação em python.
Parece que há muito a ser aprendido. Não é? Comece a sua jornada e inscreva-se agora em nosso curso de negociação algorítmica "Programa Executivo em Algorithmic Trading" para criar uma obra-prima.
Também é possível conferir nosso curso interativo, "Python for Trading", você terá experiência prática em codificação Python. Você poderá codificar sua própria estratégia e fazer o backtest, além de uma certificação conjunta da QuantInsti e da MCX.
Perguntas relacionadasMais respostas abaixo.
Isso é quase uma pergunta que quero fazer, mas também gostaria de responder.
Esta é uma resposta longa e não diz "Ei, esta é a melhor" porque não há melhor, apenas compromissos / decisões para obter algo que se adequa a você e ao seu espaço de problema.
Existem alguns fatores que você levaria em consideração:
Quão produtivo você é na linguagem, quão bom é o ecossistema da linguagem para o seu problema, o quão rápido ele é e quanto de consideração ele é comparado aos primeiros fatores.
1. Quão produtivo você é na língua?
Algumas línguas são mais fáceis de aprender do que outras. Python sendo dinâmico é muito fácil de pegar e começar a correr. Java ou C #, é provavelmente um pouco mais complexo para pegar e começar a trabalhar, pois eles têm mais convenções em termos de código de estruturação etc. que você precisa entender. C ++ é então provavelmente uma ordem de magnitude mais difícil, já que você tem mais preocupações de nível mais baixo que você precisa contemplar.
Pensando nisso você precisa considerar, quão importante é todo o material de baixo nível para o que você está tentando alcançar? Se é para ganhar dinheiro, e você realmente não se importa com o que um ponteiro ou referência e quer lidar com coisas de baixo nível, em seguida, aproximar-se de uma linguagem como python (linguagem de script dinâmico).
Indo a partir desse tipo de lista, há uma infinidade de outras opções:
Haskell, Scala, Erlang, OCaml et al ..
Linguagens Orientadas a Objetos que preenchem a lacuna entre C ++ e Java:
E mais idiomas orientados para a ciência, como:
R, Matlab, Octave, Julia.
Dependendo de como você clica nesses idiomas, você começará a codificar um Algo incrivelmente fácil ou muito difícil. Como vemos no próximo fator, isso também é uma função do ecossistema e ajuda a rede para a linguagem no espaço do problema em que você está trabalhando.
Eu queria obter opiniões das pessoas sobre a adequação dessas outras opções, mas temo que provavelmente respondi a minha própria pergunta mais adiante nesta resposta.
2. Quão bom é o ecossistema de idiomas para o espaço do seu problema?
Eu realmente gosto do som de Julia como um substituto para python, mas algumas questões surgem:
1. quão bons são os pacotes / bibliotecas para ajudar a resolver o meu espaço de problema.
Eu realmente não quero escrever muito código para fazer coisas simples como base do meu algoritmo. Você precisa de boas bibliotecas para ajudá-lo a fazer as coisas rapidamente, por que reinventar a roda?
2. Quantas pessoas estão usando essa linguagem para fazer algo semelhante? Verifique stackoverflow e afins. Se você não consegue encontrar pessoas fazendo as mesmas perguntas na língua de sua escolha, você está fazendo isso sozinho e escrevendo tudo para você. Se é assim que você rola, eu não acho que você faria essa pergunta.
3. Quão rápido é a língua em geral e isso importa muito para o seu Algo e Market?
A velocidade é sempre uma preocupação que as pessoas citam quando querem usar o C ++ ou alguma linguagem naturalmente de baixo nível. Mas, considerando que você é um iniciante e deseja ser produtivo rapidamente, aprender C ++ pode ser um exagero.
A maioria dos idiomas pode ser bastante rápida quando você os otimiza ou sabe o que está fazendo. Carregar e processar dados normalmente é a parte mais demorada da maioria dos programas de computador. Se você quiser testar os dados de EOD (End Of Day), usar uma linguagem de nível superior seria bom, pois você pode escrever em uma linguagem de nível suficientemente alta e rápida, mas ainda assim fornecer um tempo de execução rápido o suficiente.
Se o tempo de execução do seu sistema de teste é tolerável e você está executando milhões de testes em dados, então até um minuto pode ser gerenciável para você, eu não sei como sua resposta é muito vaga e em geral perguntas vagas recebem respostas vagas .
Quanto maior a resolução dos dados ou quanto mais rápido você precisa para tomar decisões, então você vai para linguagens seguras contra tipos com algum tipo de coleta de lixo e, finalmente, para o estilo C ++ onde você faz tudo isso e está mais preocupado com o local. A próxima linha de código está no cache da CPU para ser executada o mais rápido possível quando o próximo ponto de dados chegar, você terá que agir.
Então, na realidade você tem que ir e descobrir por si mesmo, o que combina com você, com seu espaço de problema e com seu atual nível de conhecimento de programação em geral. Se você não conhece um flatmap de um loop for, então você terá muito mais a fazer para aprender o básico de uma linguagem, então escolha algo de alto nível com bons pacotes e suporte (python é provavelmente o melhor nesse aspecto) ) e à medida que melhora ou os algoritmos ficam mais sensíveis ao tempo, desça a pilha de opções.
Eu tenho feito muitas suposições sobre suas verdadeiras intenções, background e níveis de habilidade nesta resposta e que trading e programação também são: Negociações entre velocidade, facilidade de uso e as suposições que você faz no começo de um projeto. Inevitavelmente você estará errado e terá tomado as decisões erradas, mas você precisa começar em algum lugar, mas aprenderá com esses erros (assim como na negociação) e esperançosamente seguir em frente e aprender mais na próxima iteração de desenvolvimento ou linguagem / plataforma que você escolher.
C ++ é frequentemente usado para aplicações de negociação em tempo real, porque é muito rápido, mas você pode gastar muito tempo escrevendo seu sistema de negociação com ele e manter. Java é muito mais fácil de usar & # 039; assim como o Python, eles são uma opção melhor se você preferir ter um código menos complexo para lidar e eles podem gerenciar dados em tempo real sem nenhum problema.
O Python é uma ótima ferramenta também para análise de dados e para pesquisa, ele tem ótimos pacotes como numpy, pandas e scikit learn for Machine learning. Eu também sugiro dar uma olhada no R, ele tem um IDE RStudio simples e para análise estatística e plotagem é talvez uma das melhores ferramentas (gratuitas).
Você também pode olhar para algumas plataformas web para negociação algorítmica, Quantopian usa Python e Quantconnect C #, você pode executar backtests e live trading com seus respectivos corretores.
Depende do seu objetivo.
A maioria dos desenvolvedores de algoritmos para sistemas de negociação precisa fazer backtesting, acessar conjuntos de dados, fazer estudos, revisões e mais revisões do modelo. Essa modelagem presta-se ao Python cada vez mais nos dias de hoje. Essa é a razão pela qual eu aprendi Python.
Ao longo dos anos tenho visto e desenvolvido sistemas de negociação em várias linguagens de programação de C, C ++, Java, Python, Perl e Visual Basic. Cada um deles tem suas vantagens. Mas a maior parte do idioma foi escolhida pelo principal tecnólogo. Muitas vezes a decisão foi “porque é nisso que eu sou melhor” ou “porque eu quero aprender isso”.
Este é o meu critério de decisão de tecnologia:
Quão rápido eu preciso estar durante o tempo de execução? Quanto mais rápido, mais eu me inclino para C / C ++ Quão rápido minha inicialização / recuperação precisa ser? Certa vez, usei um mecanismo de roteamento de ordens FIX que podia levar até 20 minutos para reiniciar o intraday, já que a recuperação era muito lenta. Se ele caiu depois do mercado abrir, então eu realmente não queria reiniciá-lo de qualquer maneira. Quantas vezes o modelo estará mudando? Quanto mais eu fizer backtesting de alterações no modelo, mais provavelmente usarei o Python. Como o sistema se apresentará visualmente? Qual nível de complexidade estou disposto a aceitar? Quanto mais tecnologia, maior a probabilidade de quebrar é a minha teoria de trabalho. Quem irá apoiá-lo? Se eles não puderem ser treinados em suporte, seu sistema de negociação provavelmente custará caro em erros comerciais. Quais APIs estarei usando? A API de dados de mercado e a API de roteamento de pedidos geralmente determinam o idioma.
Atualmente estou desenvolvendo algos no CloudQuant que usa Python.
- quão rápido é o seu código.
- Se o seu foco principal é escrever código rapidamente, você pode usar o Python.
O Python é uma poderosa linguagem de programação para construir sistemas de negociação algorítmica. Tem vários pacotes como Pandas, Numpy e Sklearn para aprendizado de máquina. Esses pacotes ajudam a diminuir a complexidade do código. Se você é iniciante em programação em Python e gostaria de criar estratégias de negociação em Python, eu recomendo que você faça o curso online - Python for Trading. Este curso compara os prós e contras de várias linguagens de programação e aborda todos os aspectos importantes relacionados à negociação.

Melhor Linguagem de Programação para Sistemas de Negociação Algorítmica?
Melhor Linguagem de Programação para Sistemas de Negociação Algorítmica?
Uma das perguntas mais frequentes que recebo no mailbag do QS é "Qual é a melhor linguagem de programação para negociação algorítmica?". A resposta curta é que não há "melhor" linguagem. Parâmetros de estratégia, desempenho, modularidade, desenvolvimento, resiliência e custo devem ser considerados. Este artigo descreverá os componentes necessários de uma arquitetura de sistema de comércio algorítmico e como as decisões relativas à implementação afetam a escolha da linguagem.
Primeiramente, os principais componentes de um sistema de negociação algorítmica serão considerados, como as ferramentas de pesquisa, o otimizador de portfólio, o gerenciador de risco e o mecanismo de execução. Posteriormente, diferentes estratégias de negociação serão examinadas e como elas afetam o design do sistema. Em particular, a frequência de negociação e o volume de negociação provável serão ambos discutidos.
Uma vez que a estratégia de negociação tenha sido selecionada, é necessário arquitetar todo o sistema. Isso inclui a escolha de hardware, o sistema operacional e a resiliência do sistema contra eventos raros e potencialmente catastróficos. Enquanto a arquitetura está sendo considerada, a devida atenção deve ser dada ao desempenho - tanto para as ferramentas de pesquisa quanto para o ambiente de execução ao vivo.
Qual é o sistema de negociação tentando fazer?
Antes de decidir sobre a "melhor" linguagem com a qual escrever um sistema de negociação automatizado, é necessário definir os requisitos. O sistema será puramente baseado em execução? O sistema exigirá um módulo de gerenciamento de risco ou de construção de portfólio? O sistema exigirá um backtester de alto desempenho? Para a maioria das estratégias, o sistema de negociação pode ser particionado em duas categorias: Pesquisa e geração de sinais.
A pesquisa está preocupada com a avaliação de um desempenho da estratégia em relação aos dados históricos. O processo de avaliação de uma estratégia de negociação sobre dados de mercado anteriores é conhecido como backtesting. O tamanho dos dados e a complexidade algorítmica terão um grande impacto na intensidade computacional do backtester. A velocidade e a simultaneidade da CPU costumam ser os fatores limitantes na otimização da velocidade de execução da pesquisa.
A geração de sinais preocupa-se em gerar um conjunto de sinais de negociação de um algoritmo e enviar esses pedidos ao mercado, geralmente por meio de uma corretora. Para determinadas estratégias, é necessário um alto nível de desempenho. Problemas de E / S, como largura de banda de rede e latência, são muitas vezes o fator limitante na otimização de sistemas de execução. Assim, a escolha de idiomas para cada componente de todo o seu sistema pode ser bem diferente.
Tipo, Frequência e Volume de Estratégia.
O tipo de estratégia algorítmica empregada terá um impacto substancial no design do sistema. Será necessário considerar os mercados que estão sendo negociados, a conectividade com fornecedores de dados externos, a frequência e o volume da estratégia, o tradeoff entre facilidade de desenvolvimento e otimização de desempenho, bem como qualquer hardware personalizado, incluindo customização co-localizada servidores, GPUs ou FPGAs que possam ser necessários.
As escolhas tecnológicas para uma estratégia de ações norte-americanas de baixa frequência serão muito diferentes daquelas de uma negociação de estratégia de arbitragem estatística de alta frequência no mercado de futuros. Antes da escolha da linguagem, muitos fornecedores de dados devem ser avaliados quanto à estratégia em questão.
Será necessário considerar a conectividade com o fornecedor, a estrutura de quaisquer APIs, a pontualidade dos dados, os requisitos de armazenamento e a resiliência em face de um fornecedor ficar off-line. Também é aconselhável ter acesso rápido a vários fornecedores! Vários instrumentos têm suas próprias peculiaridades de armazenamento, exemplos dos quais incluem vários símbolos de ticker para ações e datas de vencimento para futuros (para não mencionar quaisquer dados OTC específicos). Isso precisa ser levado em conta no design da plataforma.
A frequência da estratégia é provavelmente um dos maiores impulsionadores de como a pilha de tecnologia será definida. Estratégias que empregam dados com mais freqüência do que minuciosamente ou em segundo lugar exigem consideração significativa com relação ao desempenho.
Uma estratégia que excede as segundas barras (isto é, dados de ticks) leva a um design orientado pelo desempenho como o requisito primário. Para estratégias de alta frequência, uma quantidade substancial de dados de mercado precisará ser armazenada e avaliada. Softwares como HDF5 ou kdb + são comumente usados ​​para essas funções.
Para processar os volumes extensos de dados necessários para aplicativos HFT, um backtester e um sistema de execução extensivamente otimizados devem ser usados. C / C ++ (possivelmente com algum montador) é provável que seja o candidato a idioma mais forte. Estratégias de frequência ultra-alta quase certamente exigirão hardware customizado, como FPGAs, co-location de troca e ajuste de interface de rede / kernal.
Sistemas de pesquisa.
Os sistemas de pesquisa geralmente envolvem uma mistura de desenvolvimento interativo e scripts automatizados. O primeiro ocorre com frequência dentro de um IDE, como o Visual Studio, o MatLab ou o R Studio. Este último envolve extensos cálculos numéricos sobre numerosos parâmetros e pontos de dados. Isso leva a uma escolha de idioma que fornece um ambiente simples para testar o código, mas também fornece desempenho suficiente para avaliar estratégias em várias dimensões de parâmetro.
IDEs típicos nesse espaço incluem o Microsoft Visual C ++ / C #, que contém extensos utilitários de depuração, recursos de conclusão de código (via "Intellisense") e visões gerais simples da pilha inteira do projeto (via banco de dados ORM, LINQ); MatLab, que é projetado para extensa álgebra linear numérica e operações vetorizadas, mas de uma forma de console interativo; R Studio, que envolve o console de linguagem estatística R em um IDE completo; Eclipse IDE para Linux Java e C ++; e IDEs semi-proprietários como o Enthought Canopy for Python, que incluem bibliotecas de análise de dados como NumPy, SciPy, scikit-learn e pandas em um único ambiente interativo (console).
Para backtesting numérico, todos os idiomas acima são adequados, embora não seja necessário utilizar uma GUI / IDE, pois o código será executado "em segundo plano". A consideração principal neste estágio é a velocidade de execução. Uma linguagem compilada (como C ++) é geralmente útil se as dimensões do parâmetro de backtesting forem grandes. Lembre-se que é necessário ter cuidado com esses sistemas, se for esse o caso!
Linguagens interpretadas, como Python, geralmente usam bibliotecas de alto desempenho como o NumPy / pandas para a etapa de backtesting, a fim de manter um grau razoável de competitividade com equivalentes compilados. Em última análise, a linguagem escolhida para o backtesting será determinada por necessidades algorítmicas específicas, bem como o leque de bibliotecas disponíveis na linguagem (mais sobre isso abaixo). No entanto, a linguagem usada para os ambientes de backtester e de pesquisa pode ser completamente independente daquelas usadas nos componentes de construção de portfólio, gerenciamento de risco e execução, como será visto.
Construção de Carteira e Gestão de Risco.
Os componentes de gerenciamento de risco e de construção de portfólio são frequentemente negligenciados pelos traders algorítmicos de varejo. Isso é quase sempre um erro. Essas ferramentas fornecem o mecanismo pelo qual o capital será preservado. Eles não apenas tentam aliviar o número de apostas "arriscadas", mas também minimizam a rotatividade dos negócios, reduzindo os custos de transação.
Versões sofisticadas desses componentes podem ter um efeito significativo na qualidade e consistência da lucratividade. É fácil criar uma estratégia estável, pois o mecanismo de construção de portfólio e o gerenciador de risco podem ser facilmente modificados para lidar com vários sistemas. Assim, eles devem ser considerados componentes essenciais no início do projeto de um sistema de negociação algorítmica.
O trabalho do sistema de construção de portfólio é pegar um conjunto de negócios desejados e produzir o conjunto de negociações reais que minimizam o churn, manter exposições a vários fatores (como setores, classes de ativos, volatilidade, etc.) e otimizar a alocação de capital para vários estratégias em um portfólio.
A construção de portfólio geralmente se reduz a um problema de álgebra linear (como uma fatoração de matriz) e, portanto, o desempenho é altamente dependente da eficácia da implementação da álgebra linear numérica disponível. Bibliotecas comuns incluem uBLAS, LAPACK e NAG para C ++. O MatLab também possui operações de matriz amplamente otimizadas. O Python utiliza o NumPy / SciPy para tais cálculos. Um portfólio freqüentemente reequilibrado exigirá uma biblioteca matricial compilada (e bem otimizada!) Para realizar este passo, de modo a não afunilar o sistema de negociação.
O gerenciamento de riscos é outra parte extremamente importante de um sistema de negociação algorítmica. O risco pode vir de várias formas: aumento da volatilidade (embora isso possa ser visto como desejável para certas estratégias!), Aumento de correlações entre classes de ativos, inadimplência de terceiros, paralisações de servidores, eventos "black swan" e erros não detectados no código de negociação. para nomear alguns.
Os componentes de gerenciamento de risco tentam antecipar os efeitos da volatilidade excessiva e correlação entre as classes de ativos e seus efeitos subsequentes sobre o capital comercial. Muitas vezes, isso reduz a um conjunto de cálculos estatísticos, como os "testes de estresse" de Monte Carlo. Isso é muito semelhante às necessidades computacionais de um mecanismo de precificação de derivativos e, como tal, será vinculado à CPU. Estas simulações são altamente paralelizáveis ​​(veja abaixo) e, até certo ponto, é possível "lançar hardware no problema".
Sistemas de Execução.
O trabalho do sistema de execução é receber sinais de negociação filtrados dos componentes de construção de carteira e gerenciamento de risco e enviá-los para uma corretora ou outros meios de acesso ao mercado. Para a maioria das estratégias de negociação algorítmica de varejo, isso envolve uma conexão API ou FIX para uma corretora como a Interactive Brokers. As principais considerações ao decidir sobre uma linguagem incluem a qualidade da API, a disponibilidade do wrapper de idioma para uma API, a frequência de execução e o escorregamento previsto.
A "qualidade" da API refere-se a quão bem documentada ela é, que tipo de desempenho ela fornece, se precisa de software independente para ser acessado ou se um gateway pode ser estabelecido de maneira sem cabeça (ou seja, sem GUI). No caso dos Interactive Brokers, a ferramenta Trader WorkStation precisa estar em execução em um ambiente GUI para acessar sua API. Certa vez, tive que instalar uma edição Ubuntu Desktop em um servidor de nuvem da Amazon para acessar remotamente o Interactive Brokers, puramente por esse motivo!
A maioria das APIs fornecerá uma interface C ++ e / ou Java. Geralmente, cabe à comunidade desenvolver wrappers específicos de linguagem para C #, Python, R, Excel e MatLab. Observe que, com cada plug-in adicional utilizado (especialmente os wrappers de APIs), há escopo para os bugs se infiltrarem no sistema. Sempre teste plugins desse tipo e garanta que eles sejam ativamente mantidos. Um indicador que vale a pena é ver quantas novas atualizações foram feitas em uma base de código nos últimos meses.
Freqüência de execução é da maior importância no algoritmo de execução. Observe que centenas de pedidos podem ser enviados a cada minuto e, como tal, o desempenho é crítico. A derrapagem será incorrida através de um sistema de execução com péssimo desempenho e isso terá um impacto dramático na lucratividade.
As linguagens com tipagem estática (veja abaixo) como C ++ / Java são geralmente ótimas para execução, mas há um compromisso no tempo de desenvolvimento, teste e facilidade de manutenção. Linguagens dinamicamente tipificadas, como Python e Perl, são geralmente "rápidas o suficiente". Certifique-se sempre de que os componentes são projetados de maneira modular (veja abaixo) para que possam ser "trocados" conforme o sistema é dimensionado.
Planejamento arquitetônico e processo de desenvolvimento.
Os componentes de um sistema de negociação, seus requisitos de frequência e volume foram discutidos acima, mas a infra-estrutura do sistema ainda não foi coberta. Aqueles que atuam como comerciantes de varejo ou que trabalham em um pequeno fundo provavelmente estarão "usando muitos chapéus". Será necessário estar cobrindo o modelo alfa, os parâmetros de gerenciamento de risco e execução, e também a implementação final do sistema. Antes de aprofundar em linguagens específicas, o design de uma arquitetura de sistema ideal será discutido.
Separação de preocupações.
Uma das decisões mais importantes que devem ser tomadas no início é como "separar as preocupações" de um sistema de negociação. No desenvolvimento de software, isso significa essencialmente dividir os diferentes aspectos do sistema de negociação em componentes modulares separados.
Ao expor as interfaces em cada um dos componentes, é fácil trocar partes do sistema por outras versões que auxiliem o desempenho, a confiabilidade ou a manutenção, sem modificar nenhum código de dependência externo. Essa é a "melhor prática" para esses sistemas. Para estratégias em freqüências mais baixas, tais práticas são recomendadas. Para negociação de ultra alta frequência, o livro de regras pode ter que ser ignorado em detrimento do ajuste do sistema para um desempenho ainda maior. Um sistema mais fortemente acoplado pode ser desejável.
Criar um mapa de componentes de um sistema de negociação algorítmica vale um artigo em si. No entanto, uma abordagem ideal é garantir que haja componentes separados para as entradas de dados de mercado históricas e em tempo real, armazenamento de dados, API de acesso a dados, backtester, parâmetros estratégicos, construção de portfólio, gerenciamento de risco e sistemas automatizados de execução.
Por exemplo, se o armazenamento de dados em uso estiver atualmente com desempenho insatisfatório, mesmo em níveis significativos de otimização, ele poderá ser substituído com reescritas mínimas para a API de acesso a dados ou acesso a dados. Tanto quanto o backtester e componentes subseqüentes estão em causa, não há diferença.
Outro benefício dos componentes separados é que ele permite que uma variedade de linguagens de programação seja usada no sistema geral. Não há necessidade de se restringir a um único idioma se o método de comunicação dos componentes for independente de idioma. Este será o caso se eles estiverem se comunicando via TCP / IP, ZeroMQ ou algum outro protocolo independente de linguagem.
Como um exemplo concreto, considere o caso de um sistema de backtesting sendo escrito em C ++ para desempenho "processamento de números", enquanto o gerenciador de portfólio e os sistemas de execução são escritos em Python usando SciPy e IBPy.
Considerações de desempenho.
O desempenho é uma consideração significativa para a maioria das estratégias de negociação. Para estratégias de maior frequência, é o fator mais importante. "Desempenho" abrange uma ampla gama de problemas, como velocidade de execução algorítmica, latência de rede, largura de banda, E / S de dados, simultaneidade / paralelismo e dimensionamento. Cada uma dessas áreas é coberta individualmente por grandes livros didáticos, portanto, este artigo apenas arranhará a superfície de cada tópico. A arquitetura e a escolha de idiomas serão agora discutidas em termos de seus efeitos no desempenho.
A sabedoria predominante, como afirma Donald Knuth, um dos pais da Ciência da Computação, é que "a otimização prematura é a raiz de todo o mal". Isso é quase sempre o caso - exceto quando se constrói um algoritmo de negociação de alta frequência! Para aqueles que estão interessados ​​em estratégias de baixa frequência, uma abordagem comum é construir um sistema da maneira mais simples possível e apenas otimizar à medida que os gargalos começam a aparecer.
As ferramentas de criação de perfil são usadas para determinar onde os gargalos surgem. Os perfis podem ser feitos para todos os fatores listados acima, seja em um ambiente MS Windows ou Linux. Existem muitas ferramentas de sistema operacional e idioma disponíveis para isso, bem como utilitários de terceiros. A escolha da língua será agora discutida no contexto do desempenho.
C ++, Java, Python, R e MatLab contêm bibliotecas de alto desempenho (como parte de seus padrões ou externamente) para estrutura de dados básica e trabalho algorítmico. O C ++ é fornecido com a Biblioteca de Modelos Padrão, enquanto o Python contém o NumPy / SciPy. Tarefas matemáticas comuns são encontradas nessas bibliotecas e raramente é benéfico escrever uma nova implementação.
Uma exceção é se a arquitetura de hardware altamente personalizada for necessária e um algoritmo estiver fazendo uso extensivo de extensões proprietárias (como caches personalizados). No entanto, muitas vezes a "reinvenção da roda" desperdiça tempo que poderia ser mais bem gasto desenvolvendo e otimizando outras partes da infraestrutura de negociação. O tempo de desenvolvimento é extremamente precioso, especialmente no contexto de desenvolvedores únicos.
A latência é frequentemente uma questão do sistema de execução, pois as ferramentas de pesquisa geralmente estão situadas na mesma máquina. Para o primeiro, a latência pode ocorrer em vários pontos ao longo do caminho de execução. Os bancos de dados devem ser consultados (latência de disco / rede), os sinais devem ser gerados (operacional, latência do sistema de mensagens kernal), sinais de negociação enviados (latência de NIC) e pedidos processados ​​(latência interna de sistemas de intercâmbio).
Para operações de freqüência mais alta, é necessário tornar-se intimamente familiarizado com a otimização do kernal, bem como com a otimização da transmissão da rede. Esta é uma área profunda e está significativamente além do escopo do artigo, mas se um algoritmo UHFT for desejado, esteja ciente da profundidade do conhecimento necessário!
O cache é muito útil no kit de ferramentas de um desenvolvedor de comércio quantitativo. O armazenamento em cache se refere ao conceito de armazenamento de dados acessados ​​com frequência de uma maneira que permite acesso de maior desempenho, em detrimento do possível enfraquecimento dos dados. Um caso de uso comum ocorre no desenvolvimento da Web ao obter dados de um banco de dados relacional baseado em disco e colocá-lo na memória. Quaisquer solicitações subsequentes para os dados não precisam "atingir o banco de dados" e, portanto, os ganhos de desempenho podem ser significativos.
Para situações de negociação, o armazenamento em cache pode ser extremamente benéfico. Por exemplo, o estado atual de um portfólio de estratégias pode ser armazenado em um cache até que seja reequilibrado, de modo que a lista não precise ser regenerada em cada loop do algoritmo de negociação. Essa regeneração provavelmente será uma operação alta de CPU ou E / S de disco.
No entanto, o armazenamento em cache não é isento de seus próprios problemas. A regeneração dos dados em cache de uma só vez, devido à natureza volátil do armazenamento em cache, pode colocar uma demanda significativa na infraestrutura. Outro problema é o empilhamento de cães, em que múltiplas gerações de uma nova cópia de cache são realizadas sob uma carga extremamente alta, o que leva a uma falha em cascata.
Alocação de memória dinâmica é uma operação cara na execução de software. Assim, é imperativo que os aplicativos de negociação de desempenho mais alto conheçam bem como a memória está sendo alocada e desalocada durante o fluxo do programa. Novos padrões de linguagem, como Java, C # e Python, executam a coleta de lixo automática, que se refere à desalocação da memória alocada dinamicamente quando os objetos saem do escopo.
A coleta de lixo é extremamente útil durante o desenvolvimento, pois reduz os erros e ajuda na legibilidade. No entanto, muitas vezes é sub-ótimo para certas estratégias de negociação de alta frequência. A coleta de lixo personalizada é geralmente desejada para esses casos. Em Java, por exemplo, ajustando o coletor de lixo e a configuração de heap, é possível obter alto desempenho para estratégias de HFT.
O C ++ não fornece um coletor de lixo nativo e, portanto, é necessário manipular toda alocação / desalocação de memória como parte da implementação de um objeto. Embora potencialmente sujeito a erros (potencialmente levando a ponteiros pendentes), é extremamente útil ter um controle refinado de como os objetos aparecem no heap para determinados aplicativos. Ao escolher um idioma, certifique-se de estudar como o coletor de lixo funciona e se ele pode ser modificado para otimizar um determinado caso de uso.
Muitas operações em sistemas de negociação algorítmica são passíveis de paralelização. This refers to the concept of carrying out multiple programmatic operations at the same time, i. e in "parallel". So-called "embarassingly parallel" algorithms include steps that can be computed fully independently of other steps. Certain statistical operations, such as Monte Carlo simulations, are a good example of embarassingly parallel algorithms as each random draw and subsequent path operation can be computed without knowledge of other paths.
Other algorithms are only partially parallelisable. Fluid dynamics simulations are such an example, where the domain of computation can be subdivided, but ultimately these domains must communicate with each other and thus the operations are partially sequential. Parallelisable algorithms are subject to Amdahl's Law, which provides a theoretical upper limit to the performance increase of a parallelised algorithm when subject to $N$ separate processes (e. g. on a CPU core or thread ).
Parallelisation has become increasingly important as a means of optimisation since processor clock-speeds have stagnated, as newer processors contain many cores with which to perform parallel calculations. The rise of consumer graphics hardware (predominently for video games) has lead to the development of Graphical Processing Units (GPUs), which contain hundreds of "cores" for highly concurrent operations. Such GPUs are now very affordable. High-level frameworks, such as Nvidia's CUDA have lead to widespread adoption in academia and finance.
Such GPU hardware is generally only suitable for the research aspect of quantitative finance, whereas other more specialised hardware (including Field-Programmable Gate Arrays - FPGAs) are used for (U)HFT. Nowadays, most modern langauges support a degree of concurrency/multithreading. Thus it is straightforward to optimise a backtester, since all calculations are generally independent of the others.
Scaling in software engineering and operations refers to the ability of the system to handle consistently increasing loads in the form of greater requests, higher processor usage and more memory allocation. In algorithmic trading a strategy is able to scale if it can accept larger quantities of capital and still produce consistent returns. The trading technology stack scales if it can endure larger trade volumes and increased latency, without bottlenecking .
While systems must be designed to scale, it is often hard to predict beforehand where a bottleneck will occur. Rigourous logging, testing, profiling and monitoring will aid greatly in allowing a system to scale. Languages themselves are often described as "unscalable". This is usually the result of misinformation, rather than hard fact. It is the total technology stack that should be ascertained for scalability, not the language. Clearly certain languages have greater performance than others in particular use cases, but one language is never "better" than another in every sense.
One means of managing scale is to separate concerns, as stated above. In order to further introduce the ability to handle "spikes" in the system (i. e. sudden volatility which triggers a raft of trades), it is useful to create a "message queuing architecture". This simply means placing a message queue system between components so that orders are "stacked up" if a certain component is unable to process many requests.
Rather than requests being lost they are simply kept in a stack until the message is handled. This is particularly useful for sending trades to an execution engine. If the engine is suffering under heavy latency then it will back up trades. A queue between the trade signal generator and the execution API will alleviate this issue at the expense of potential trade slippage. A well-respected open source message queue broker is RabbitMQ.
Hardware and Operating Systems.
The hardware running your strategy can have a significant impact on the profitability of your algorithm. This is not an issue restricted to high frequency traders either. A poor choice in hardware and operating system can lead to a machine crash or reboot at the most inopportune moment. Thus it is necessary to consider where your application will reside. The choice is generally between a personal desktop machine, a remote server, a "cloud" provider or an exchange co-located server.
Desktop machines are simple to install and administer, especially with newer user friendly operating systems such as Windows 7/8, Mac OSX and Ubuntu. Desktop systems do possess some significant drawbacks, however. The foremost is that the versions of operating systems designed for desktop machines are likely to require reboots/patching (and often at the worst of times!). They also use up more computational resources by the virtue of requiring a graphical user interface (GUI).
Utilising hardware in a home (or local office) environment can lead to internet connectivity and power uptime problems. The main benefit of a desktop system is that significant computational horsepower can be purchased for the fraction of the cost of a remote dedicated server (or cloud based system) of comparable speed.
A dedicated server or cloud-based machine, while often more expensive than a desktop option, allows for more significant redundancy infrastructure, such as automated data backups, the ability to more straightforwardly ensure uptime and remote monitoring. They are harder to administer since they require the ability to use remote login capabilities of the operating system.
In Windows this is generally via the GUI Remote Desktop Protocol (RDP). In Unix-based systems the command-line Secure SHell (SSH) is used. Unix-based server infrastructure is almost always command-line based which immediately renders GUI-based programming tools (such as MatLab or Excel) to be unusable.
A co-located server, as the phrase is used in the capital markets, is simply a dedicated server that resides within an exchange in order to reduce latency of the trading algorithm. This is absolutely necessary for certain high frequency trading strategies, which rely on low latency in order to generate alpha.
The final aspect to hardware choice and the choice of programming language is platform-independence. Is there a need for the code to run across multiple different operating systems? Is the code designed to be run on a particular type of processor architecture, such as the Intel x86/x64 or will it be possible to execute on RISC processors such as those manufactured by ARM? These issues will be highly dependent upon the frequency and type of strategy being implemented.
Resilience and Testing.
One of the best ways to lose a lot of money on algorithmic trading is to create a system with no resiliency . This refers to the durability of the sytem when subject to rare events, such as brokerage bankruptcies, sudden excess volatility, region-wide downtime for a cloud server provider or the accidental deletion of an entire trading database. Years of profits can be eliminated within seconds with a poorly-designed architecture. It is absolutely essential to consider issues such as debuggng, testing, logging, backups, high-availability and monitoring as core components of your system.
It is likely that in any reasonably complicated custom quantitative trading application at least 50% of development time will be spent on debugging, testing and maintenance.
Nearly all programming languages either ship with an associated debugger or possess well-respected third-party alternatives. In essence, a debugger allows execution of a program with insertion of arbitrary break points in the code path, which temporarily halt execution in order to investigate the state of the system. The main benefit of debugging is that it is possible to investigate the behaviour of code prior to a known crash point .
Debugging is an essential component in the toolbox for analysing programming errors. However, they are more widely used in compiled languages such as C++ or Java, as interpreted languages such as Python are often easier to debug due to fewer LOC and less verbose statements. Despite this tendency Python does ship with the pdb, which is a sophisticated debugging tool. The Microsoft Visual C++ IDE possesses extensive GUI debugging utilities, while for the command line Linux C++ programmer, the gdb debugger exists.
Testing in software development refers to the process of applying known parameters and results to specific functions, methods and objects within a codebase, in order to simulate behaviour and evaluate multiple code-paths, helping to ensure that a system behaves as it should. A more recent paradigm is known as Test Driven Development (TDD), where test code is developed against a specified interface with no implementation. Prior to the completion of the actual codebase all tests will fail. As code is written to "fill in the blanks", the tests will eventually all pass, at which point development should cease.
TDD requires extensive upfront specification design as well as a healthy degree of discipline in order to carry out successfully. In C++, Boost provides a unit testing framework. In Java, the JUnit library exists to fulfill the same purpose. Python also has the unittest module as part of the standard library. Many other languages possess unit testing frameworks and often there are multiple options.
In a production environment, sophisticated logging is absolutely essential. Logging refers to the process of outputting messages, with various degrees of severity, regarding execution behaviour of a system to a flat file or database. Logs are a "first line of attack" when hunting for unexpected program runtime behaviour. Unfortunately the shortcomings of a logging system tend only to be discovered after the fact! As with backups discussed below, a logging system should be given due consideration BEFORE a system is designed.
Both Microsoft Windows and Linux come with extensive system logging capability and programming languages tend to ship with standard logging libraries that cover most use cases. It is often wise to centralise logging information in order to analyse it at a later date, since it can often lead to ideas about improving performance or error reduction, which will almost certainly have a positive impact on your trading returns.
While logging of a system will provide information about what has transpired in the past, monitoring of an application will provide insight into what is happening right now . All aspects of the system should be considered for monitoring. System level metrics such as disk usage, available memory, network bandwidth and CPU usage provide basic load information.
Trading metrics such as abnormal prices/volume, sudden rapid drawdowns and account exposure for different sectors/markets should also be continuously monitored. Further, a threshold system should be instigated that provides notification when certain metrics are breached, elevating the notification method (email, SMS, automated phone call) depending upon the severity of the metric.
System monitoring is often the domain of the system administrator or operations manager. However, as a sole trading developer, these metrics must be established as part of the larger design. Many solutions for monitoring exist: proprietary, hosted and open source, which allow extensive customisation of metrics for a particular use case.
Backups and high availability should be prime concerns of a trading system. Consider the following two questions: 1) If an entire production database of market data and trading history was deleted (without backups) how would the research and execution algorithm be affected? 2) If the trading system suffers an outage for an extended period (with open positions) how would account equity and ongoing profitability be affected? The answers to both of these questions are often sobering!
It is imperative to put in place a system for backing up data and also for testing the restoration of such data. Many individuals do not test a restore strategy. If recovery from a crash has not been tested in a safe environment, what guarantees exist that restoration will be available at the worst possible moment?
Similarly, high availability needs to be "baked in from the start". Redundant infrastructure (even at additional expense) must always be considered, as the cost of downtime is likely to far outweigh the ongoing maintenance cost of such systems. I won't delve too deeply into this topic as it is a large area, but make sure it is one of the first considerations given to your trading system.
Choosing a Language.
Considerable detail has now been provided on the various factors that arise when developing a custom high-performance algorithmic trading system. The next stage is to discuss how programming languages are generally categorised.
Type Systems.
When choosing a language for a trading stack it is necessary to consider the type system . The languages which are of interest for algorithmic trading are either statically - or dynamically-typed . A statically-typed language performs checks of the types (e. g. integers, floats, custom classes etc) during the compilation process. Such languages include C++ and Java. A dynamically-typed language performs the majority of its type-checking at runtime. Such languages include Python, Perl and JavaScript.
For a highly numerical system such as an algorithmic trading engine, type-checking at compile time can be extremely beneficial, as it can eliminate many bugs that would otherwise lead to numerical errors. However, type-checking doesn't catch everything, and this is where exception handling comes in due to the necessity of having to handle unexpected operations. 'Dynamic' languages (i. e. those that are dynamically-typed) can often lead to run-time errors that would otherwise be caught with a compilation-time type-check. For this reason, the concept of TDD (see above) and unit testing arose which, when carried out correctly, often provides more safety than compile-time checking alone.
Another benefit of statically-typed languages is that the compiler is able to make many optimisations that are otherwise unavailable to the dynamically - typed language, simply because the type (and thus memory requirements) are known at compile-time. In fact, part of the inefficiency of many dynamically-typed languages stems from the fact that certain objects must be type-inspected at run-time and this carries a performance hit. Libraries for dynamic languages, such as NumPy/SciPy alleviate this issue due to enforcing a type within arrays.
Open Source or Proprietary?
One of the biggest choices available to an algorithmic trading developer is whether to use proprietary (commercial) or open source technologies. Existem vantagens e desvantagens para ambas as abordagens. It is necessary to consider how well a language is supported, the activity of the community surrounding a language, ease of installation and maintenance, quality of the documentation and any licensing/maintenance costs.
The Microsoft stack (including Visual C++, Visual C#) and MathWorks' MatLab are two of the larger proprietary choices for developing custom algorithmic trading software. Both tools have had significant "battle testing" in the financial space, with the former making up the predominant software stack for investment banking trading infrastructure and the latter being heavily used for quantitative trading research within investment funds.
Microsoft and MathWorks both provide extensive high quality documentation for their products. Further, the communities surrounding each tool are very large with active web forums for both. The software allows cohesive integration with multiple languages such as C++, C# and VB, as well as easy linkage to other Microsoft products such as the SQL Server database via LINQ. MatLab also has many plugins/libraries (some free, some commercial) for nearly any quantitative research domain.
There are also drawbacks. With either piece of software the costs are not insignificant for a lone trader (although Microsoft does provide entry-level version of Visual Studio for free). Microsoft tools "play well" with each other, but integrate less well with external code. Visual Studio must also be executed on Microsoft Windows, which is arguably far less performant than an equivalent Linux server which is optimally tuned.
MatLab also lacks a few key plugins such as a good wrapper around the Interactive Brokers API, one of the few brokers amenable to high-performance algorithmic trading. The main issue with proprietary products is the lack of availability of the source code. This means that if ultra performance is truly required, both of these tools will be far less attractive.
Open source tools have been industry grade for sometime. Much of the alternative asset space makes extensive use of open-source Linux, MySQL/PostgreSQL, Python, R, C++ and Java in high-performance production roles. However, they are far from restricted to this domain. Python and R, in particular, contain a wealth of extensive numerical libraries for performing nearly any type of data analysis imaginable, often at execution speeds comparable to compiled languages, with certain caveats.
The main benefit of using interpreted languages is the speed of development time. Python and R require far fewer lines of code (LOC) to achieve similar functionality, principally due to the extensive libraries. Further, they often allow interactive console based development, rapidly reducing the iterative development process.
Given that time as a developer is extremely valuable, and execution speed often less so (unless in the HFT space), it is worth giving extensive consideration to an open source technology stack. Python and R possess significant development communities and are extremely well supported, due to their popularity. Documentation is excellent and bugs (at least for core libraries) remain scarce.
Open source tools often suffer from a lack of a dedicated commercial support contract and run optimally on systems with less-forgiving user interfaces. A typical Linux server (such as Ubuntu) will often be fully command-line oriented. In addition, Python and R can be slow for certain execution tasks. There are mechanisms for integrating with C++ in order to improve execution speeds, but it requires some experience in multi-language programming.
While proprietary software is not immune from dependency/versioning issues it is far less common to have to deal with incorrect library versions in such environments. Open source operating systems such as Linux can be trickier to administer.
I will venture my personal opinion here and state that I build all of my trading tools with open source technologies. In particular I use: Ubuntu, MySQL, Python, C++ and R. The maturity, community size, ability to "dig deep" if problems occur and lower total cost ownership (TCO) far outweigh the simplicity of proprietary GUIs and easier installations. Having said that, Microsoft Visual Studio (especially for C++) is a fantastic Integrated Development Environment (IDE) which I would also highly recommend.
Batteries Included?
The header of this section refers to the "out of the box" capabilities of the language - what libraries does it contain and how good are they? This is where mature languages have an advantage over newer variants. C++, Java and Python all now possess extensive libraries for network programming, HTTP, operating system interaction, GUIs, regular expressions (regex), iteration and basic algorithms.
C++ is famed for its Standard Template Library (STL) which contains a wealth of high performance data structures and algorithms "for free". Python is known for being able to communicate with nearly any other type of system/protocol (especially the web), mostly through its own standard library. R has a wealth of statistical and econometric tools built in, while MatLab is extremely optimised for any numerical linear algebra code (which can be found in portfolio optimisation and derivatives pricing, for instance).
Outside of the standard libraries, C++ makes use of the Boost library, which fills in the "missing parts" of the standard library. In fact, many parts of Boost made it into the TR1 standard and subsequently are available in the C++11 spec, including native support for lambda expressions and concurrency.
Python has the high performance NumPy/SciPy/Pandas data analysis library combination, which has gained widespread acceptance for algorithmic trading research. Further, high-performance plugins exist for access to the main relational databases, such as MySQL++ (MySQL/C++), JDBC (Java/MatLab), MySQLdb (MySQL/Python) and psychopg2 (PostgreSQL/Python). Python can even communicate with R via the RPy plugin!
An often overlooked aspect of a trading system while in the initial research and design stage is the connectivity to a broker API. Most APIs natively support C++ and Java, but some also support C# and Python, either directly or with community-provided wrapper code to the C++ APIs. In particular, Interactive Brokers can be connected to via the IBPy plugin. If high-performance is required, brokerages will support the FIX protocol.
Conclusão.
As is now evident, the choice of programming language(s) for an algorithmic trading system is not straightforward and requires deep thought. The main considerations are performance, ease of development, resiliency and testing, separation of concerns, familiarity, maintenance, source code availability, licensing costs and maturity of libraries.
The benefit of a separated architecture is that it allows languages to be "plugged in" for different aspects of a trading stack, as and when requirements change. A trading system is an evolving tool and it is likely that any language choices will evolve along with it.
A Quantcademy.
Participe do portal de associação da Quantcademy que atende à crescente comunidade de traders de quantificação de varejo e aprenda como aumentar a lucratividade de sua estratégia.
Negociação Algorítmica Bem Sucedida.
Como encontrar novas ideias de estratégia de negociação e avaliá-las objetivamente para o seu portfólio usando um mecanismo de backtesting personalizado no Python.
Comércio Algorítmico Avançado.
Como implementar estratégias de negociação avançadas usando análise de séries temporais, aprendizado de máquina e estatísticas Bayesianas com R e Python.

Sistemas de Negociação: Construindo um Sistema.
Até agora, discutimos os componentes básicos dos sistemas de negociação, os critérios que eles devem cumprir e algumas das muitas decisões empíricas que um projetista de sistemas deve tomar. Nesta seção, examinaremos o processo de construção de um sistema de negociação, as considerações que precisam ser feitas e alguns pontos importantes a serem lembrados.
Dados - Como o projetista do sistema deve usar um extensivo backtesting, o histórico de preços no passado é essencial para a construção de um sistema de negociação. Esses dados podem ser integrados ao software de desenvolvimento de sistemas comerciais ou como um feed de dados separado. Os dados ao vivo são geralmente fornecidos por uma taxa mensal, enquanto os dados antigos podem ser obtidos gratuitamente.
Colocar negociações automaticamente - Isso geralmente requer permissão do final do corretor, porque uma conexão constante deve estar em vigor entre o seu software e a corretora. As negociações devem ser executadas imediatamente e a preços exatos para garantir a conformidade. Para que o seu lugar no software seja negociado por você, tudo o que você precisa fazer é inserir o número da conta e a senha, e tudo o mais é feito automaticamente. Por favor, note que o uso deste recurso é estritamente opcional.
Depois que o teste de retorno é executado, é gerado um relatório que descreve as especificidades dos resultados. Esse relatório geralmente inclui lucro, número de negociações com êxito / não, dias consecutivos inativos, número de negociações e muitas outras coisas que podem ser úteis ao tentar determinar como solucionar problemas ou melhorar o sistema. Finalmente, o software geralmente cria um gráfico mostrando o crescimento do investimento ao longo do período de tempo testado.
2. Design - O design é o conceito por trás do seu sistema, a maneira em que os parâmetros são usados ​​para gerar um lucro ou perda. Você implementa essas regras e parâmetros, programando-os. Às vezes, essa programação pode ser feita automaticamente por meio de uma interface gráfica do usuário. Isso permite que você crie regras sem aprender uma linguagem de programação. Aqui está um exemplo de um sistema cross-over de média móvel:
Se SMA (20) CrossUnder EMA (13), em seguida, sair;
O sistema é criado simplesmente digitando as regras na janela e salvando-as. Referências para as diferentes funções disponíveis (por exemplo, osciladores e outros) podem ser encontradas clicando no ícone do livro. A maioria dos softwares terá uma referência semelhante disponível no próprio programa ou no site. Depois de criar as regras desejadas e codificar o sistema, basta salvar o arquivo. Então você pode colocá-lo em uso selecionando-o na tela principal.
Com qual mercado eu quero negociar? Qual período de tempo devo usar? Que série de preços devo usar? Qual subconjunto de ações devo usar para teste?
Tenha em mente que os sistemas de negociação devem consistentemente lucrar em muitos mercados. Ao personalizar muito o período de tempo e a série de preços, você pode manchar os resultados e produzir resultados incomuns.
Execute vários backtests em diferentes períodos de tempo e certifique-se de que os resultados sejam consistentes e satisfatórios.
5. Repetir - Repetição é necessária. Continue trabalhando no sistema até que você possa lucrar consistentemente na maioria dos mercados e condições. Há sempre eventos imprevistos que ocorrem assim que um sistema é ativado. Aqui estão alguns fatores que freqüentemente causam resultados distorcidos:
Custos de transação - Certifique-se de que você está usando a comissão real e alguns extras para contabilizar os preenchimentos imprecisos (diferença entre os preços de compra e venda). Em outras palavras, evite derrapagens! (Para revisar o que é isso e como ocorre, consulte a seção anterior deste tutorial.)
Estes seis passos dão uma visão geral de todo o processo de construção de um sistema de negociação. Na próxima seção, vamos nos basear nesse conhecimento e analisar mais profundamente a solução de problemas e a modificação.