4 Cosas que los Científicos de Datos pueden aprender del proceso de SoundCloud

Según una publicación reciente del blog del equipo de SoundCloud, la compañía ha reestructurado y reorganizado recientemente la forma en que funcionan sus científicos y analistas de datos.

El objetivo es ayudarlos a ser miembros más eficaces, felices y productivos, con la esperanza de mejorar muchos procesos y operaciones internas.

Si desea profundizar en el proceso con más detalle, puede leerlo aquí.

Básicamente, analizó toda su estrategia en segmentos o pasos más pequeños, comenzando con la definición del problema, la preparación, el desarrollo de la solución, el despliegue listo para la producción y finalmente la validación y el mantenimiento. Es un proceso que ayuda a resolver los problemas y optimiza las soluciones que implementa.

Al ver esto, no es imposible preguntarse qué significa para el mundo de los grandes datos en su conjunto. ¿Cómo puede evolucionar y reproducirse en otro lugar?

Para darle sentido, primero debe comprender la base y los procesos que ayudan a SoundCloud a pararse y caminar.

Qué sistema de datos de SoundCloud requiere

Operando a escala global, la audiencia de SoundCloud carga aproximadamente 12 horas de contenido de audio por minuto. Esa es una cantidad extremadamente grande de datos que se almacenan y procesan en sus servidores. Para cada archivo de audio cargado, debe ser transcodificado y almacenado en distintos formatos.

Esto permite a los clientes o al público descargar contenido en el formato que prefieran y usarlo en el dispositivo que prefieran, como un iPhone o iPod en lugar de un reproductor de MP3 estándar.

Debido a que SoundCloud es un centro para miles, si no millones, de artistas, bandas, podcasters y creadores de audio, necesita tener una increíble capacidad de almacenamiento para entregar.

Además, todo el contenido cargado a través del servicio puede y será compartido a través de blogs, sitios web, redes sociales, aplicaciones móviles y servicios de chat.

La audiencia de la compañía está activa las 24 horas del día, los siete días de la semana. Eso significa que los requisitos de tráfico y rendimiento fluctúan. Si y cuando varias regiones usan la plataforma al mismo tiempo, como los EE. UU. Y el Reino Unido, hay picos de carga extremadamente altos.

Eso significa que el equipo detrás de la plataforma debe ser capaz de recopilar todos estos datos de usuario y rendimiento y ponerlo a trabajar.

Alexander Grosse, vicepresidente de ingeniería de SoundCloud, dice: “si nuestro almacenamiento se cuelga, ese sería el final de SoundCloud, debemos [centrarnos] en la funcionalidad central de nuestra plataforma”.

Necesita los datos que recopilan sus científicos para mejorar, mejorar y respaldar el producto. Además, debe convertirse y estar disponible para casi todos, incluidos aquellos con poca o ninguna experiencia analítica.

1. Primero llega el entendimiento

Antes de organizar o dar sentido a los datos, primero debe comprender el problema y qué soluciones se pueden usar para resolverlo. Esto significa que debe comprender las necesidades del negocio, identificar problemas a través de métricas y limitar el alcance para que sea manejable.

Por ejemplo, un problema que SoundCloud podría tener es problemas de rendimiento. Al principio, no sabrá exactamente de dónde vienen los problemas o qué los está causando. Antes de clasificar los datos recopilados y armar una nueva solución o estrategia, es necesario que comprenda el problema.

Esto significaría recopilar información adicional sobre picos de tráfico, requisitos de rendimiento y potencia, y más. Esta es la preparación y las etapas de definición del problema del proceso de varios pasos de SoundCloud.

Cada segundo de cada día estamos creando nuevos datos. Solo en Google, hay más de 40,000 consultas de búsqueda por segundo, lo que equivale a 3,5 búsquedas por día y 1,2 billones de búsquedas al año. Debe poder seleccionar los datos correctos que resolverán su solución, ya que hay mucho por revisar.

2. Desarrollo de la solución o reparación del problema

Después de comprender el problema y las soluciones que se pueden implementar, debe poner sus planes en acción.

Esto significa encontrar una solución y un esquema si aún no lo ha hecho, haciendo una lluvia de ideas sobre varios pasos y soluciones, y probando para ver si realmente funcionará. El prototipado podría ser incluido aquí, ya que es una parte vital de la fase de desarrollo y prueba.

Además, los comentarios de los compañeros y las respuestas de los clientes se pueden utilizar para resolver problemas complicados y situaciones extendidas. Un problema podría ser realizar pruebas de mantenimiento o pruebas periódicas para encontrar una solución. Esto también requiere no solo clasificar los datos relevantes, sino también encontrarlos y organizarlos en primer lugar. Si hiciste un buen trabajo preparándote a ti mismo, esto ya debería resolverse.

3. Validación y / o implementación

Antes de que una solución se considere exitosa, debe implementarla y validar su progreso. Lo que es más importante, debe estar al tanto del mantenimiento y de las futuras actualizaciones para asegurarse de que esté limpio, sea eficiente y funcione.

SoundCloud usa las pruebas A/B y los resultados de dichas pruebas para monitorear las soluciones que implementa. Esto también asegura que cualquier cosa que surja cumple con las expectativas y mantiene a los clientes satisfechos. Es posible implementar un nuevo sistema o solución que funcione pero que también desagrade a su audiencia.

Es necesario habilitar un proceso de validación e implementación para recopilar y analizar esta información, tal como lo hizo SoundCloud. Esto no solo mejora la resolución de problemas, sino también la precisión de las soluciones que está implementando.

4. Difusión y uso compartido

Finalmente, los datos, las soluciones y el progreso deben ser compartidos y transmitidos dentro de un equipo o compañía.

Los científicos de datos necesitan poner la información a disposición de todos, de una manera que puedan entender. Esto es crucial, porque los científicos de datos pueden ver un conjunto de datos y no saber de inmediato cómo y dónde se puede utilizar. Compartir datos dentro de una organización es un elemento necesario del proceso.

Un equipo de marketing puede tener los medios para tomar datos sobre las compras de los clientes y convertirlos en algo que puedan usar para futuras promociones.

Los científicos de datos, por otro lado, lo miran y simplemente lo ven como lo que es y, posiblemente, donde se puede aplicar. Además, no es su trabajo entender y poner todos los datos en acción en toda la organización. Necesitan organizarse y hacerlo más conveniente y legible.

Al estudiar la estrategia de optimización de SoundCloud, los científicos de datos pueden optimizar sus propias operaciones y aprovechar al máximo un proceso más suave.

Fuente: https://www.smartdatacollective.com/

0 comments on “4 Cosas que los Científicos de Datos pueden aprender del proceso de SoundCloudAdd yours →

Deja un comentario