This talk tells the story of implementation and optimization of a sparse logistic regression algorithm in spark. I would like to share the lessons I learned and the steps I had to take to improve the speed of execution and convergence of my initial naive implementation. The message isn’t to convince the audience that logistic regression is great and my implementation is awesome, rather it will give details about how it works under the hood, and general tips for implementing an iterative parallel machine learning algorithm in spark. The talk is structured as a sequence of “lessons learned” that are shown in form of code examples building on the initial naive implementation. The performance impact of each “lesson” on execution time and speed of convergence is measured on benchmark datasets. You will see how to formulate logistic regression in a parallel setting, how to avoid data shuffles, when to use a custom partitioner, how to use the ‘aggregate’ and ‘treeAggregate’ functions, how momentum can accelerate the convergence of gradient descent, and much more. I will assume basic understanding of machine learning and some prior knowledge of spark. The code examples are written in scala, and the code will be made available for each step in the walkthrough. Lorand is a data scientist working on risk management and fraud prevention for the payment processing system of Zalando, the leading fashion platform in Europe. Previously, Lorand has developed highly scalable low-latency machine learning algorithms for real-time bidding in online advertising.

Hora

14:00 - 15:00 hs GMT+1

Organizador

Machine Learning
Compartir
Enviar a un amigo
Mi email *
Email destinatario *
Comentario *
Repite estos números *
Control de seguridad
Marzo / 2024 519 webinars
Lunes
Martes
Miércoles
Jueves
Viernes
Sábado
Domingo
Lun 26 de Marzo de 2024
Mar 27 de Marzo de 2024
Mié 28 de Marzo de 2024
Jue 29 de Marzo de 2024
Vie 01 de Marzo de 2024
Sáb 02 de Marzo de 2024
Dom 03 de Marzo de 2024
Lun 04 de Marzo de 2024
Mar 05 de Marzo de 2024
Mié 06 de Marzo de 2024
Jue 07 de Marzo de 2024
Vie 08 de Marzo de 2024
Sáb 09 de Marzo de 2024
Dom 10 de Marzo de 2024
Lun 11 de Marzo de 2024
Mar 12 de Marzo de 2024
Mié 13 de Marzo de 2024
Jue 14 de Marzo de 2024
Vie 15 de Marzo de 2024
Sáb 16 de Marzo de 2024
Dom 17 de Marzo de 2024
Lun 18 de Marzo de 2024
Mar 19 de Marzo de 2024
Mié 20 de Marzo de 2024
Jue 21 de Marzo de 2024
Vie 22 de Marzo de 2024
Sáb 23 de Marzo de 2024
Dom 24 de Marzo de 2024
Lun 25 de Marzo de 2024
Mar 26 de Marzo de 2024
Mié 27 de Marzo de 2024
Jue 28 de Marzo de 2024
Vie 29 de Marzo de 2024
Sáb 30 de Marzo de 2024
Dom 31 de Marzo de 2024

.

  • Comparativas de Software

    ¿No te salen las cuentas en la nube?

    La nube tiene importantes ventajas: ahorros de costes, facilidad para trabajar en equipos remotos, menor necesidad de administración de la infraestructura, mejoras de seguridad, etc. Sin embargo, al comentar con algunos clientes la posibilidad de migrar las licencias de Atlassian a cloud, me comentaron que habían hecho alguna experiencia de migración y no le salían tan bien las cuentas. Estos comentarios me hicieron reflexionar sobre cuáles podían ser las causas de que no salieran las cuentas y permitirme ofrecer algunas recomendaciones y consejos. ... Leer más

    Publicado el 22-Dic-2021 • 14.40hs

    0 comentarios

  • TODOS Comparativas de Software PDF

    Comparativas de software ERP para todos los sectores

    Publicado el 27-Set-2021 • 12.50hs

  • TODOS Comparativas de Software PDF

    Comparativas de software ERP para Fabricación

    Publicado el 27-Set-2021 • 09.51hs

.

.

.

.

.

Más Secciones »

Hola Invitado