IT 기술 따라잡기

The bug was discovered in the Redis client open-source library, redis-py. As soon as we identified the bug, we reached out to the Redis maintainers with a patch to resolve the issue. Here’s how the bug worked: 

이 버그는 Redis 클라이언트 오픈 소스 라이브러리인 redis-py에서 발견되었습니다. 버그를 확인하자마자 우리는 문제를 해결하기 위한 패치와 함께 Redis 관리자에게 연락했습니다. 버그의 작동 방식은 다음과 같습니다.

• We use Redis to cache user information in our server so we don’t need to check our database for every request. 
• Redis를 사용하여 서버의 사용자 정보를 캐시하므로 모든 요청에 대해 데이터베이스를 확인할 필요가 없습니다.
• We use Redis Cluster to distribute this load over multiple Redis instances. 
• Redis 클러스터를 사용하여 이 로드를 여러 Redis 인스턴스에 분산합니다.
• We use the redis-py library to interface with Redis from our Python server, which runs with Asyncio. 
• redis-py 라이브러리를 사용하여 Asyncio와 함께 실행되는 Python 서버에서 Redis와 인터페이스합니다.
• The library maintains a shared pool of connections between the server and the cluster, and recycles a connection to be used for another request once done.
• 라이브러리는 서버와 클러스터 간의 연결 공유 풀을 유지 관리하고 완료되면 다른 요청에 사용할 연결을 재활용합니다.
• When using Asyncio, requests and responses with redis-py behave as two queues: the caller pushes a request onto the incoming queue, and will pop a response from the outgoing queue, and then return the connection to the pool.
• Asyncio를 사용할 때 redis-py를 사용한 요청 및 응답은 두 개의 대기열로 작동합니다. 호출자는 요청을 수신 대기열에 푸시하고 발신 대기열에서 응답을 팝한 다음 연결을 풀로 반환합니다.
• If a request is canceled after the request is pushed onto the incoming queue, but before the response popped from the outgoing queue, we see our bug: the connection thus becomes corrupted and the next response that’s dequeued for an unrelated request can receive data left behind in the connection. 
• 만약 요청이 incoming queue에 푸시된 후 요청이 취소되었고 outgoing queue에서 응답이 팝되기 전, 그 사이에서 버그가 나타납니다. 따라서 connection 은 손상이 되고 다음 response 가 관련 없는 request와 dequeued 됨으로서 그 connection에 그대로 남은 데이터를 받을 수 있게 되는 겁니다. 
• In most cases, this results in an unrecoverable server error, and the user will have to try their request again. 
• 대부분의 경우 이로 인해 unrecoverable server error가 발생하고 사용자는 request 를 다시 시도해야 합니다.
• But in some cases the corrupted data happens to match the data type the requester was expecting, and so what gets returned from the cache appears valid, even if it belongs to another user.
• 그러나 경우에 따라 손상된 데이터 타입이 요청자가 기대하고 있는 데이터 타입과 일치하게 되고 그로 인해서 cache에 반환된 데이터가 다른 사용자에 속해 있는 데이터 임에도 불구하고 유효한 것으로 나타납니다. 
• At 1 a.m. Pacific time on Monday, March 20, we inadvertently introduced a change to our server that caused a spike in Redis request cancellations. This created a small probability for each connection to return bad data.
• 3월 20일 월요일 오전 1시(태평양 표준시)에 우리는 실수로 Redis  request cancellations 급증을 초래하는 변경을 서버에 행했습니다. 이로 인해 각 연결이 잘못된 데이터를 반환할 가능성이 적습니다. 이 변경으로 인해 각 연결들은 잘못된 데이터를 return 할 가능성이 더 줄어 들었습니다.

This bug only appeared in the Asyncio redis-py client for Redis Cluster, and has now been fixed.

이 버그는 Redis Cluster용 Asyncio redis-py 클라이언트에서만 나타났으며 이제 수정되었습니다.

As our investigation wraps up, supporting and informing our users is our top priority. 

조사가 마무리됨에 따라 이제 사용자를 지원하고 알리는 것이 우리의 최우선 과제입니다.

We have taken the following actions to improve our systems:

시스템 개선을 위해 다음과 같은 조치를 취했습니다.

• Extensively tested our fix to the underlying bug.
• 기본 버그에 대한 수정 사항을 광범위하게 테스트했습니다.
• Added redundant checks to ensure the data returned by our Redis cache matches the requesting user.
• Redis 캐시에서 반환된 데이터가 요청한 사용자와 일치하는지 확인하기 위해 중복 검사를 추가했습니다.
• Programatically examined our logs to make sure that all messages are only available to the correct user.
• 모든 메시지가 올바른 사용자에게만 제공되는지 확인하기 위해 프로그래밍 방식으로 로그를 검사했습니다.
• Correlated several data sources to precisely identify the affected users so that we can notify them.
• 영향을 받는 사용자를 정확하게 식별하여 알릴 수 있도록 여러 데이터 소스를 연관시켰습니다.
• Improved logging to identify when this is happening and fully confirm it has stopped.
• 이러한 일이 발생하는 시기를 식별하고 중지되었는지 완전히 확인하기 위해 로깅이 개선되었습니다.
• Improved the robustness and scale of our Redis cluster to reduce the likelihood of connection errors at extreme load.
• Redis 클러스터의 견고성과 규모를 개선하여 극한 부하에서 연결 오류 가능성을 줄였습니다.

The Redis open-source maintainers have been fantastic collaborators, swiftly addressing the bug and rolling out a patch.

Redis 오픈 소스 유지 관리자는 버그를 신속하게 해결하고 패치를 출시하는 환상적인 협력자였습니다.

Redis, along with other open-source software, plays a crucial role in our research efforts. Their significance cannot be understated—we would not have been able to scale ChatGPT without Redis.

Redis는 다른 오픈 소스 소프트웨어와 함께 우리의 연구 노력에서 중요한 역할을 합니다. Redis가 없었다면 ChatGPT를 확장할 수 없었을 것입니다.

We’re dedicated to continually supporting and contributing to the Redis community.

우리는 Redis 커뮤니티를 지속적으로 지원하고 기여하기 위해 최선을 다하고 있습니다.