개발자로서 현장에서 일하면서 새로 접하는 기술들이나 알게된 정보 등을 정리하기 위한 블로그입니다. 운 좋게 미국에서 큰 회사들의 프로젝트에서 컬설턴트로 일하고 있어서 새로운 기술들을 접할 기회가 많이 있습니다. 미국의 IT 프로젝트에서 사용되는 툴들에 대해 많은 분들과 정보를 공유하고 싶습니다.
※ 본 리그는 메가존 클라우드가 자체적으로 진행하는 행사로 AWS에서 개최하는 리그와 무관합니다. ※ 상금 및 경품 지급 시 소득세 등 제세공과금이 차감 혹은 청구 됩니다. ※ 본 경기 규칙은 AWS DeepRacer League 규칙을 따르며 트랙 또한 re:Invent 2018 트랙에서 진행 됩니다.
========================================
저는 AWS Deepracer 모델 차량을 7월 중순에 받을 예정이라서 10월 3일 토론토에서 열리는 경기에 참가할 수 있을 것 같습니다.
휴가 내고 비행기 타고 가서 참가할 생각인데....
어떻게 될 지 아직......
지금 제가 만들고 있는 모델은 Kumo Torakku 트랙에서 23초를 기록하고 그 이후에는 전혀 기록이 나아 지질 않고 있습니다.
지금 1,2,3 등은 모두 10초 대 이던데.... 그런 기록은 어떻게 하면 낼 수 있을 지.......
Hands-on Exercise 1: Model Training Using AWS DeepRacer Console
This is the first of four exercises that you will encounter in this course. This first exercise guides you through building, training, and evaluating your first RL model using the AWS DeepRacer console. To access the instructions for three of these exercises,download and unzip this course package. For this particular exercise, find and open the relevant PDF file and follow the steps within to complete the exercise.
*Note:This exercise is designed to be completed in your AWS account. AWS DeepRacer is part of AWS Free Tier, so you can get started at no cost. For the first month after sign-up, you are offered a monthly free tier of 10 hours of Amazon SageMaker training and 60 simulation units of Amazon RoboMaker (enough to cover 10 hours of training). If you go beyond those free tier limits, you will accrue additional costs. For more information, see the AWS DeepRacer Pricing page.
AWSTemplateFormatVersion: "2010-09-09" Description: 'AWS DeepRacer: Driven by Reinforcement Learning' Parameters: SagemakerInstanceType: Description: 'Machine Learning instance type that should be used for Sagemaker Notebook' Type: String AllowedValues: - ml.t2.medium - ml.t2.large - ml.t2.xlarge - ml.t3.medium - ml.t3.large - ml.t3.xlarge - ml.m5.xlarge Default: ml.t3.medium CreateS3Bucket: Description: Create and use a bucket created via this template for model storage Default: True Type: String AllowedValues: - True - False ConstraintDescription: Must be defined at True|False. VPCCIDR: Description: 'CIDR Block for VPC (Do Not Edit)' Type: String Default: 10.96.0.0/16 PUBSUBNETA: Description: 'Public Subnet A (Do Not Edit)' Type: String Default: 10.96.6.0/24 PUBSUBNETB: Description: 'Public Subnet B (Do Not Edit)' Type: String Default: 10.96.7.0/24 PUBSUBNETC: Description: 'Public Subnet C (Do Not Edit)' Type: String Default: 10.96.8.0/24 PUBSUBNETD: Description: 'Public Subnet D (Do Not Edit)' Type: String Default: 10.96.9.0/24 S3PathPrefix: Type: String Description: 'Bootstrap resources prefix' Default: 'awsu-spl-dev/spl-227' S3ResourceBucket: Type: String Description: 'Bootstrap S3 Bucket' Default: 'aws-training' Conditions: CreateS3Bucket: !Equals [ !Ref CreateS3Bucket, True ] # NoCreateS3Bucket: !Equals [ !Ref CreateS3Bucket, False ] Resources:
# Defining the VPC Used for the sanbox ENV, and notebook instance VPC: Type: 'AWS::EC2::VPC' Properties: CidrBlock: !Ref VPCCIDR EnableDnsSupport: 'true' EnableDnsHostnames: 'true' Tags: - Key: Name Value: 'DeepRacer Sandbox' # There is a few calls made to public to download supporting resources InternetGateway: Type: 'AWS::EC2::InternetGateway' DependsOn: VPC Properties: Tags: - Key: Name Value: 'DeepRacer Sandbox IGW' # Attached this IGW to the sanbox VPC AttachGateway: Type: 'AWS::EC2::VPCGatewayAttachment' DependsOn: - VPC - InternetGateway Properties: VpcId: !Ref VPC InternetGatewayId: !Ref InternetGateway # Default setting in the notebook is to use Public IP address to communicate # between instances running the simulation, and the instances collecting and # processing. A NatGW could have been used with added costs, but would allow for # use of private IP address.
# Found in testing that not all ML instance types may not be deployed or avaliable # in all AZ's within a given region. We are using the newest instance family of T3 PublicSubnetA: Type: 'AWS::EC2::Subnet' DependsOn: VPC Properties: VpcId: !Ref VPC CidrBlock: !Ref PUBSUBNETA AvailabilityZone: !Select - '0' - !GetAZs '' Tags: - Key: Name Value: 'Deepracer Sandbox - Public Subnet - A' PublicSubnetB: Type: 'AWS::EC2::Subnet' DependsOn: VPC Properties: VpcId: !Ref VPC CidrBlock: !Ref PUBSUBNETB AvailabilityZone: !Select - '1' - !GetAZs '' Tags: - Key: Name Value: 'Deepracer Sandbox Public Subnet - B' PublicSubnetC: Type: 'AWS::EC2::Subnet' DependsOn: VPC Properties: VpcId: !Ref VPC CidrBlock: !Ref PUBSUBNETC AvailabilityZone: !Select - '2' - !GetAZs '' Tags: - Key: Name Value: 'Deepracer Sandbox Public Subnet - C' PublicSubnetD: Type: 'AWS::EC2::Subnet' DependsOn: VPC Properties: VpcId: !Ref VPC CidrBlock: !Ref PUBSUBNETD AvailabilityZone: !Select - '3' - !GetAZs '' Tags: - Key: Name Value: 'Deepracer Sandbox Public Subnet - D' # Define the Public Routing Table PublicRouteTable: Type: 'AWS::EC2::RouteTable' DependsOn: - VPC - AttachGateway Properties: VpcId: !Ref VPC Tags: - Key: Name Value: 'Deepracer Sandbox Public Routing Table' # And add in the default route to 0.0.0.0/0 PublicRouteIGW: Type: 'AWS::EC2::Route' DependsOn: - PublicRouteTable - InternetGateway Properties: RouteTableId: !Ref PublicRouteTable DestinationCidrBlock: 0.0.0.0/0 GatewayId: !Ref InternetGateway # Attach the routing table to each of the subnets PublicRouteTableAssociationA: Type: 'AWS::EC2::SubnetRouteTableAssociation' Properties: SubnetId: !Ref PublicSubnetA RouteTableId: !Ref PublicRouteTable PublicRouteTableAssociationB: Type: 'AWS::EC2::SubnetRouteTableAssociation' Properties: SubnetId: !Ref PublicSubnetB RouteTableId: !Ref PublicRouteTable PublicRouteTableAssociationC: Type: 'AWS::EC2::SubnetRouteTableAssociation' Properties: SubnetId: !Ref PublicSubnetC RouteTableId: !Ref PublicRouteTable PublicRouteTableAssociationD: Type: 'AWS::EC2::SubnetRouteTableAssociation' Properties: SubnetId: !Ref PublicSubnetD RouteTableId: !Ref PublicRouteTable # Define a S3 endpoint for all the S3 traffic during training S3Endpoint: Type: AWS::EC2::VPCEndpoint Properties: VpcId: !Ref VPC RouteTableIds: - !Ref PublicRouteTable ServiceName: !Join - '' - - com.amazonaws. - !Ref 'AWS::Region' - .s3 PolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Principal: '*' Action: - 's3:*' Resource: - '*' # This exercise is going to need a bucket to store any file generated from training # There is a conditions to evaluate if the PRAM is true, else this resource would # not be created. SandboxBucket: Type: 'AWS::S3::Bucket' DeletionPolicy: Retain Condition: CreateS3Bucket Properties: BucketName: Fn::Join: - "-" - - deepracer-trainingexercise - Ref: AWS::Region - Ref: AWS::AccountId # Sagemaker is going to be making calls to Robomaker to launch the sim, and # Sagemaker to launch the training insance. This requries AWS credentals. A # Principal of sagemaker and robomaker needs to be assiged as both service will # assuming this role. Default Sagemaker full access and s3 access is needed. SageMakerNotebookInstanceRole: Type: 'AWS::IAM::Role' Properties: AssumeRolePolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Principal: Service: - sagemaker.amazonaws.com - robomaker.amazonaws.com Action: - 'sts:AssumeRole' ManagedPolicyArns: - 'arn:aws:iam::aws:policy/AmazonSageMakerFullAccess' Path: / Policies: - PolicyName: DeepRacerPolicy PolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Action: [ 's3:*', 'iam:GetRole' ] Resource: '*' # This is how the notebook gets loaded on to sagemaker. There is a zip file with # with the needed files, and a second http call to pull down the notebook. # This is only done "OnCreate" - when the sagemaker instance is first deployed # You can can the script get run "OnStart" (when a sagemaker instance changes # from a stopped state to a running state). This would automaticlly update file # to be the latest form source, but could over write changes applied during # your testing SageMakerNotebookInstanceLifecycleConfig: Type: 'AWS::SageMaker::NotebookInstanceLifecycleConfig' Properties: # OnStart: # - Content: # Fn::Base64: # #!/bin/bash # !Sub | # cd SageMaker # chown ec2-user:ec2-user -R /home/ec2-user/SageMaker
OnCreate: - Content: Fn::Base64: !Sub | cd SageMaker curl -O https://us-west-2-${S3ResourceBucket}.s3.amazonaws.com/${S3PathPrefix}/scripts/rl_deepracer_robomaker_coach.ipynb curl -O https://us-west-2-${S3ResourceBucket}.s3.amazonaws.com/${S3PathPrefix}/scripts/rl_deepracer_robomaker_coach.zip unzip rl_deepracer_robomaker_coach.zip chown ec2-user:ec2-user -R /home/ec2-user/SageMaker # Security Group for sagemaker instance running in this VPC SagemakerInstanceSecurityGroup: Type: AWS::EC2::SecurityGroup Properties: GroupDescription: Sagemaker Security Group VpcId: !Ref VPC SecurityGroupIngress: - IpProtocol: tcp FromPort: 1 ToPort: 65535 CidrIp: !Ref VPCCIDR - IpProtocol: udp FromPort: 1 ToPort: 65535 CidrIp: !Ref VPCCIDR SecurityGroupEgress: - IpProtocol: tcp FromPort: 1 ToPort: 65535 CidrIp: !Ref VPCCIDR - IpProtocol: udp FromPort: 1 ToPort: 65535 CidrIp: !Ref VPCCIDR # Creating the Sagemaker Notebook Instance SageMakerNotebookInstance: Type: 'AWS::SageMaker::NotebookInstance' Properties: #NotebookInstanceName: 'DeepracerSagemakerSandbox' NotebookInstanceName: !Join ["-", ["DeepRacerSagemakerSandbox", !Ref "AWS::StackName"]] SecurityGroupIds: - !GetAtt - SagemakerInstanceSecurityGroup - GroupId InstanceType: !Ref SagemakerInstanceType SubnetId: !Ref PublicSubnetA Tags: - Key: Name Value: 'DeepRacer Sandbox' LifecycleConfigName: !GetAtt - SageMakerNotebookInstanceLifecycleConfig - NotebookInstanceLifecycleConfigName RoleArn: !GetAtt - SageMakerNotebookInstanceRole - Arn Outputs: # Display the name of the bucekt that was created from this CFN Stack ModelBucket: Condition: CreateS3Bucket Value: !Ref SandboxBucket # URL to get to the Sagemaker UI, and find the Jupyter button. SagemakerNotebook: Value: !Sub | https://console.aws.amazon.com/sagemaker/home?region=${AWS::Region}#/notebook-instances/${SageMakerNotebookInstance.NotebookInstanceName}
(RL)Reinforcement learning (RL)은 기계 학습 machine learning의 한 유형으로, agent가 원하는 임무를 어떻게 수행할 것인가를 배우기 위해 주어진 환경environment 을 탐구하는 것입니다. 좋은 결과를 위한 액션을 취하고 나쁜 결과를 초래하는 액션은 회피함으로서 원하는 임무에 최적화 된 행동을 학습하게 됩니다.
reinforcement learning 모델은 경험을 통해 배우며 시간이 지남에 따라 어떤 행동이 최상의 보상reward으로 이어질지 식별 할 수 있게 됩니다.
다른 타입의 machine learning
Supervised learning
예제 중심 교육 - 주어진 입력들에 대해 알려진 출력들에 대한 레이블된 데이터를 가지고 이 모델은 새로운 입력에 대한 출력을 예측하도록 훈련됩니다.
Unsupervised learning
추론 기반 교육 - 알려진 출력이 없는 레이블된 데이터를 가지고 이 모델은 입력 데이터 내의 관련 구조 또는 유사한 패턴을 식별하도록 훈련됩니다.
How does AWS DeepRacer learn to drive by itself?
In reinforcement learning, anagentinteracts with anenvironmentwith an objective to maximize its totalreward.
The agent takes anactionbased on the environmentstateand the environment returns the reward and the next state. The agent learns from trial and error, initially taking random actions and over time identifying the actions that lead to long-term rewards.
Let's explore these ideas and how they relate to AWS DeepRacer.
reinforcement learning에서 agent는 환경environment과 상호 작용하여 총 보상reward을 최대화합니다.
agent는 환경environment 상태state에 따라 조치를 취하고 환경environment은 보상reward과 다음 상태state를 반환합니다. 에이전트agent는 초기에 무작위로 행동을 취하고 시간이 지남에 따라 장기 보상long-term rewards으로 이어지는 행동을 식별함으로써 이러한 시행 착오를 통해 학습합니다.
이런 각각의 개념들을 살펴보고 AWS DeepRacer와의 관계에 대해서도 알아보겠습니다.
Agent
Theagentsimulates the AWS DeepRacer vehicle in the simulation for training. More specifically, it embodies the neural network that controls the vehicle, taking inputs and deciding actions.
에이전트agent는 훈련을 하기 위해 시뮬레이션에서 AWS DeepRacer 차량을 시뮬레이트 합니다. 보다 구체적으로, 차량을 제어하고 입력을 취하고 행동을 결정하는 신경망을 구현합니다.
Environment
Theenvironmentcontains a track that defines where the agent can go and what state it can be in. The agent explores the envrionment to collect data to train the underlying neural network.
환경environment 은 에이전트agent 가 어디로 갈 수 있고 어떤 상태에 놓일 수 있는 지에 대해 정의하는 트랙으로 구성됩니다. 에이전트는 기본 신경 네트워크를 훈련하기 위해 주어진 환경(트랙)을 탐색하면서 데이터를 수집합니다.
State
Astaterepresents a snapshot of the environment the agent is in at a point in time.
For AWS DeepRacer, a state is an image captured by the front-facing camera on the vehicle.
상태state는 특정 시점에 에이전트가있는 환경의 스냅 샷을 가리킵니다. AWS DeepRacer의 경우 상태는 차량의 전면 카메라가 캡처 한 이미지입니다.
Action
Anactionis a move made by the agent in the current state. For AWS DeepRacer, an action corresponds to a move at a particular speed and steering angle.
동작action은 현재 상태에서 agent가 수행 한 동작입니다. AWS DeepRacer의 경우 동작은 특정 속도 및 방향(핸들) 각도 등의 움직임과 관계된 액션을 말합니다.
Reward
Therewardis the score given as feedback to the agent when it takes an action in a given state.
In training the AWS DeepRacer model, the reward is returned by areward function. In general, you define or supply a reward function to specify what is desirable or undesirable action for the agent to take in a given state.
보상reward은 어떤 주어진 상태에서 action를 취했을 때 agent에게 피드백으로 주어지는 점수입니다.
AWS DeepRacer 모델을 교육 할 때 보상reward은 reward function에 의해 반환됩니다. 일반적으로 agent 가 주어진 상태에서 취할 수있는 바람직하거나 바람직하지 않은 작업을 지정하기 위해 보상 기능을 정의하거나 제공합니다.
훈련은 반복적 인 과정입니다. 시뮬레이터에서 에이전트는 환경을 탐색하고 경험을 쌓습니다. 수집 된 경험은 신경망을 주기적으로 업데이트하는 데 사용되며 업데이트 된 모델은 더 많은 경험을 생성하는 데 사용됩니다.
AWS DeepRacer를 사용하여 자율 운전을 위한 차량을 교육합니다. 교육 과정을 시각화하는 것이 까다로울 수 있으므로 간단한 예를 살펴 보겠습니다.
이 예에서는 출발점에서 결승점까지 차량이 최단 경로로 갈 수 있도록 훈련시키려고 합니다.
우리는 환경environment 을 사각형 격자로 단순화했습니다. 각 사각형은 개별 상태를 나타내며, 목표 방향으로 차량을 위 또는 아래로 움직일 수 있습니다.
grid 내의 각 격자(사각형)마다 점수를 할당 할 수 있습니다. 그럼으로서 어떤 행동에 인센티브를 줄지 결정할 수 있게 됩니다.
여기서 우리는 트랙의 가장자리에있는 사각형들을 "정지 상태 stop states"로 지정하여 차량이 트랙에서 벗어 났음을 알립니다.
우리가 트랙의 중심을 주행하는 법을 배울 수 있게 하도록 차량에 인센티브를 부여하기를 원하기 때문에 센터 라인의 사각형에 높은 보상reward 을 설정하고 다른 곳에는 보다 낮은 보상reward을 설정합니다.
An episode
In reinforcement training, the vehicle will start by exploring the grid until it moves out of bounds or reaches the destination.
As it drives around, the vehicle accumulates rewards from the scores we defined. This process is called anepisode.
In this episode, the vehicle accumulates a total reward of2.2before reaching a stop state.
reinforcement training은 여기서 차량이 grid 를 탐색하기 시작하여 경계를 벗어나거나 목적지까지 도달하면 일단락 하게 됩니다.
차량이 움직이게 되면 우리가 지정한 점수에 따라 rewards 가 점점 쌓이게 됩니다. 이러한 과정을 에피소드라고 합니다. 위 에피소드에서 이 차량이 stop state에 도달하기 까지 총 2.2 점의 reward 를 쌓았습니다.
Iteration
Reinforcement learning algorithms are trained by repeated optimization of cumulative rewards.
Reinforcement learning algorithms은 누적된 rewards를 최적화 (최대화) 하기 위해 반복해서 훈련하게 됩니다.
The model will learn which action (and then subsequent actions) will result in the highest cumulative reward on the way to the goal.
이 모델은 우리가 목표로 하는 것을 달성하기 위한 최대화된 누적보상의 결과를 가져 올 수 있게 하는 것이 어떤 행동 (그리고 후속 행동)인가를 배우게 됩니다.
Learning doesn’t just happen on the first go; it takes some iteration. First, the agent needs to explore and see where it can get the highest rewards, before it can exploit that knowledge.
학습은 한번에 완성되지 않습니다. 반복이 필요합니다. 첫째, 에이전트는 knowledge를 취하기 전에 가장 높은 보상을 받을 수 있는 것이 어떤 것인지를 탐색해야 합니다.
Exploration
As the agent gains more and more experience, it learns to stay on the central squares to get higher rewards.
If we plot the total reward from each episode, we can see how the model performs and improves over time.
agent 는 점점 더 많은 경험을 쌓게 됩니다. 그러는 와중에 더 많은 점수를 얻으려면 중앙 격자를 계속 따라가야 한다는 것을 배우게 될 것입니다.
각 에피소드별 보상 점수가 어떤지를 보면 이 모델이 어떤 퍼포먼스를 보여주고 있고 얼마나 개선되고 있는지를 알 수 있습니다.
Exploitation and Convergence
With more experience, the agent gets better and eventually is able to reach the destination reliably.
경험이 많아질 수록 agent 는 점점 더 나아지고 결국에는 목표에 도달할 수 있게 됩니다.
Depending on the exploration-exploitation strategy, the vehicle may still have a small probability of taking random actions to explore the environment.
이 exploration-exploitation strategy(탐사-탐사 전략)에 근거해서 차량은 환경을 탐사하기 위한 랜덤한 액션 (무작위 행동)을 할 가능성이 점점 더 줄어들게 됩니다.
AWS DeepRacer에서 보상 기능 reward function은 현재 상태를 설명하고 숫자 보상 값을 반환하는 특정 매개 변수가있는 Python 함수입니다.
보상 기능으로 전달 된 매개 변수는 트랙의 위치와 방향, 관측 된 속도, 조향 각도 등과 같은 차량 상태의 다양한 측면을 나타냅니다.
우리는이 매개 변수 중 몇 가지를 탐색하고 트랙 주변을 따라 차량을 묘사하는 방법을 살펴 보겠습니다.
Position on track
Heading
Waypoints
Track width
Distance from center line
All wheels on track
Speed
Steering angle
1. Position on track
The parametersxandydescribe the position of the vehicle in meters, measured from the lower-left corner of the environment.
매개 변수 x 및 y는 환경의 왼쪽 하단 모서리에서 측정 한 차량의 위치를 미터 단위로 나타냅니다.
2. Heading
Theheadingparameter describes the orientation of the vehicle in degrees, measured counter-clockwise from the X-axis of the coordinate system.
heading 매개 변수는 좌표계의 X 축에서 시계 반대 방향으로 측정 한 차량의 방향을 도 단위로 나타냅니다.
3. Waypoints
Thewaypointsparameter is an ordered list of milestones placed along the track center.
Each waypoint inwaypointsis a pair[x, y]of coordinates in meters, measured in the same coordinate system as the car's position.
waypoints 매개 변수는 트랙 센터를 따라 배치 된 마일스톤의 정렬 된 목록입니다. waypoints 안에있는 각 waypoints 는 자동차의 위치에 대해 좌표계에서 측정 된 미터 단위의 좌표 [x, y] 쌍입니다.
4. Track width
Thetrack_widthparameter is the width of the track in meters.
track_widthparameter는 미터로 된 트랙의 너비 입니다.
5. Distance from center line
Thedistance_from_centerparameter measures the displacement of the vehicle from the center of the track.
Theis_left_of_centerparameter is a boolean describing whether the vehicle is to the left of the center line of the track.
distance_from_center 매개 변수는 트랙의 중심에서 차량의 변위를 측정합니다. is_left_of_center 매개 변수는 차량이 트랙의 중심선 왼쪽에 있는지 여부를 나타내는 boolean 값입니다.
6. All wheels on track
Theall_wheels_on_trackparameter is a boolean (true / false) which is true if all four wheels of the vehicle are inside the track borders, and false if any wheel is outside the track.
all_wheels_on_track 매개 변수는 boolean (true / false)이며 차량의 네 바퀴가 모두 트랙 테두리 안에 있으면 true이고, 하나라도 바퀴가 밖에 있으면 false가 됩니다.
7. Speed
Thespeedparameter measures the observed speed of the vehicle, measured in meters per second.
speedparameter는 초속 몇미터인가를 나타내는 차량의 관측된 속도입니다.
8. Steering angle
Thesteering_angleparameter measures the steering angle of the vehicle, measured in degrees.
This value is negative if the vehicle is steering right, and positive if the vehicle is steering left.
steering_angle 매개 변수는 차량의 조향 각도를 도 단위로 측정합니다. 이 값은 차량이 오른쪽으로 조향하는 경우 음수이고 차량이 좌회전하는 경우 양수입니다.
With all these parameters at your disposal, you can define a reward function to incentivize whatever driving behavior you like.
Let's see a few examples of reward functions and how they use the parameters to determine a reward. The following three reward functions are available as examples in the AWS DeepRacer console so you can try them out and see how they behave, or submit them to the AWS DeepRacer League.
이러한 모든 매개 변수를 마음대로 활용하면 원하는 운전 행동에 대한 인센티브를 주는 보상 기능을 정의 할 수 있습니다.
보상 기능의 몇 가지 예와 보상을 결정하기 위해 매개 변수를 사용하는 방법을 살펴 보겠습니다. AWS DeepRacer 콘솔에서 다음과 같은 세 가지 보상 기능을 사용할 수 있으므로 이를 시험해보고 어떻게 동작하는지 보거나 AWS DeepRacer League에 제출할 수 있습니다.
이 예에서는 자동차가 궤도에 머무를 때 높은 보상을주고 차가 궤도 경계를 벗어나는 경우 페널티를줍니다.
이 예제에서는 all_wheels_on_track, distance_from_center 및 track_width 매개 변수를 사용하여 자동차가 트랙에 있는지 여부를 확인하고 높은 경우 보상을 제공합니다.
이 기능은 트랙에 머무르는 것 이외의 특정 종류의 행동에 대해 보상하지 않으므로이 기능으로 교육받은 agent 는 특정 행동으로 수렴하는 데 시간이 오래 걸릴 수 있습니다.
이 예제에서 우리는 트랙의 중심에서 차가 얼마나 떨어져 있는지 측정하고, 차가 중심선에 가까이 있으면 더 높은 보상을줍니다.
이 예제에서는 track_width 및 distance_from_center 매개 변수를 사용하고 트랙의 중심에서 차가 멀어 질수록 보상이 줄어 듭니다.
이 예는 보상의 대상이되는 운전 행동의 유형에 따라 다르므로이 기능을 사용하여 교육을받은 agent는 트랙을 잘 따라갈 수 있습니다. 그러나 모서리의 가속이나 제동과 같은 다른 행동을 배우기는 쉽지 않습니다.
대안의 전략 alternative strategy은 자동차가 운전하는 방식에 관계없이 각 단계에 대해 지속적인 보상을 제공하는 것입니다.
이 예제는 입력 매개 변수를 사용하지 않고 각 단계마다 상수 보상 1.0을 반환합니다.
에이전트의 유일한 인센티브는 트랙을 성공적으로 끝내는 것이고, 더 빠르게 운전하거나 특정 경로를 따라갈 인센티브가 없습니다. 그것은 불규칙하게 행동 할 수 있습니다.
그러나 보상 기능은 agent의 행동을 제한하지 않으므로 예상치 못한 전략과 행동을 탐색하여 오히려 실적이 좋을 수도 있습니다.
It provides you with an interactive learning platform for users of all levels to learnreinforcement learning and to prototype autonomous driving applications.
이를 통해 모든 사용자가 reinforcement learning을 배우고 자율 주행 어플리케이션의 기본 틀을 만들 수 있는 상호 작용하는 learning platform을 여러분에게 제공하게 됩니다.
With a cloud-based simulator and an AWS DeepRacer model vehicle, AWS DeepRacer lets you train, evaluate, and experiment with reinforcement learning models for autonomous racing in a virtual or physical environment.
클라우드 기반 시뮬레이터와 AWS DeepRacer model 차량을 가지고 여러분이 가상 혹은 실제 환경에서 자율 주행 레이싱을 하도록 reinforcement learning models을 이용해 훈련하고 평가하고 실험할 수 있도록 AWS DeepRacer는 그 기회를 제공합니다.
The AWS DeepRacer console is a graphical user interface to interact with the AWS DeepRacer service. You can use the console to train a reinforcement learning model, to evaluate the model performance in simulation as rendered by the AWS RoboMaker simulator.
AWS DeepRacer console은 AWS DeepRacer service와 상호 작용하는 graphical user interface 입니다. 이 콘솔을 사용하여 AWS RoboMaker 시뮬레이터에서 렌더링 한 시뮬 레이션에서 모델 성능을 평가하는 강화 학습 모델을 학습 할 수 있습니다.
In summary, the AWS DeepRacer console supports the following features:
요약하면 AWS DeepRacer 콘솔은 다음 기능을 지원합니다.
The AWS DeepRacer console lets you create a training job to train a reinforcement learning model, with a specified reward function, optimization algorithm, environment, and hyperparameters.
AWS DeepRacer console을 사용하면 reinforcement learning model 트레이닝을 위한 훈련작업을 만들 수 있습니다. 이 작업은 특정 보상기능, 최적화된 알고리즘, 환경 그리고 hyperparameters 등을 사용해서 이루어 질 수 있습니다.
The AWS DeepRacer console provides a simulated track for you to train and evaluate a model on a selected track.
AWS DeepRacer console은 훈련하기 위한 시뮬레이트 된 트랙과 해당 트랙에서의 모델 평가 등을 제공합니다.
The AWS DeepRacer console lets you clone a trained model to retrain it by tuning hyperparameters to optimize your model's performance.
AWS DeepRacer console을 사용하면 hyperparameters를 튜닝함으로서 훈련 모델을 복제해 해당 모델의 성능을 최적화 할 수 있습니다.
The AWS DeepRacer League is an important component of AWS DeepRacer. It is intended to foster communal learning and collaborative exploration through sharing and competitions.
AWS DeepRacer 리그는 AWS DeepRacer의 중요한 구성 요소입니다. 공유 및 경쟁을 통해 공동 학습 및 공동 탐사를 촉진하기위한 것입니다.
Learning with a group of like-minded developers can be rewarding because group members can share insights and learn from each other. Competitions can serve as powerful motivations for participants to inspire each other. AWS DeepRacer then ranks the performance for the users to discover the good, better, and best models of the group.
이 분야에 흥미를 가지고 있는 개발자들과 함께 배운다는 것은 매우 도움이 됩니다. 왜냐하면 서로 서로 자기가 이해한 것과 배운것들을 나눌 수 있기 때문이죠. 이 리그 참가자들은 경쟁을 통해 서로에게 강력한 모티베이션을 받을 수 있습니다. AWS DeepRacer는 참가자들의 퍼포먼스를 보고 그 그룹의 최고 수상자와 대상 우수상등을 평가하게 됩니다.
Reinforcement learning, especially deep reinforcement learning, has proven effective in solving a wide array of autonomous decision-making problems. It has applications in financial trading, data center cooling, fleet logistics, and autonomous racing, to name a few.
Reinforcement learning 특히 심층 Reinforcement learning은 광범위한 자율적 의사결정 문제를 해결하는데 아주 효과적임이 입증 되었습니다. 금융 거래, 데이터 센터 냉각(온도 관리) 그리고 자율 주행 경주 분야에 이를 이용한 어플리케이션들이 있습니다.
As someone new to reinforcement learning, you might be intrigued by it's potential to solve real-world problems. You might like to acquire the necessary skills to tackle challenges in your business or application domain. However, reinforcement learning has a steep learning curve due to extensive technological scope and depth the field depends on. Real-world experimentation requires constructing a physical agent (e.g., an autonomous racing car). It also requires that you secure a physical environment (e.g., a driving track or public road), which can be costly, hazardous, and time-consuming. The requirements go beyond merely understanding reinforcement learning.
reinforcement learning에 대해 잘 모르시는 분들이 있다면 여러분은 아마 곧 이 방법론이 실제 세상의 여러가지 문제들을 해결할 수 있는 그 잠재력이 있다는 것에 대해 알게 되고 흥미를 가지게 될 것입니다. 여러분의 사업이나 application domain에 있는 문제들을 해결하는데 필요한 기술들을 얻으실 수 있을 겁니다. reinforcement learning은 광범위한 기술 범위와 해당 분야의 깊이의 특성으로 인해 가파른 학습 곡선을 갖습니다. 실제 세상에서의 실험은 물리적인 시설이 요구 됩니다. (예: 자율 주행 레이싱 자동차 등). 또한 준비하기에 비싸고, 위험하고 시간 소모적일 수 있는 물리적인 환경도 확보해야 합니다. (예: 운전 트랙, 공공 도로 등) 단순히 reinforcement learning에 대해 이해하는 것 만으로 충족되지 않는 그 이상의 요구되는 조건들이 있다는 것입니다.
To help lower the learning curve, AWS DeepRacer simplifies the process in three ways:
배움의 기복을 줄이기 위해 AWS DeepRacer는 다음과 같은 세가지 방법으로 프로세스를 단순화 합니다.
By offering a wizard to guide training and evaluating reinforcement learning models pre-defined environments including states, actions and customizable reward functions.
사전 정의된 상태, 동작 그리고 사용자 정의 가능한 보상기능 등을 포함한 환경이 있는 reinforcement learning models을 가지고 wizard를 통해 훈련과 평가 등을 가이드 하는 기능을 제공합니다.
By providing a simulator to emulate interactions between a virtualagentand a virtual environment.
가상 에이전트와 가상 환경 사이의 상호 작용들을 에뮬레이트 하기 위한 시뮬레이터를 제공합니다.
By offering an AWS DeepRacer vehicle as a physical agent for evaluation of a trained model in a physical environment. This closely resembles a real-world use case.
실제 물리적인 AWS DeepRacer 자동차를 제공해 실제 물리적 환경에서 훈련된 모델을 평가 할 수 있도록 합니다. 이는 실제 세상에서의 use case와 유사한 상황과 결과를 제공할 겁니다.
At a high level, using AWS DeepRacer to develop reinforcement learning skills and to explore its application goes as follows:
대략적으로 AWS DeepRacer를 사용해서 reinforcement learning 기술을 개발하고 실제 응용프로그램을 개발하고 배우는 과정은 다음과 같습니다.
Create and train a reinforcement learning model using a wizard on the AWS DeepRacer console.
AWS DeepRacer 콘솔에서 wizard를 사용해 reinforcement learning model을 생성하고 훈련합니다.
Evaluate the trained model on a chosen track to observe how it performs and to determine how to tune the model.
트랙을 선택해서 훈련된 모델을 평가하여 그 모델이 어떻게 작동하고 어떻게 개선되어야 하는지를 알수 있도록 합니다.
Deploy the trained model to an AWS DeepRacer vehicle. Let the vehicle drive itself on a track that is built according to AWS DeepRacer track specifications for a physical experience.
해당 훈련된 모델을 AWS DeepRacer 차량에 Deploy 합니다. 그 차량이 해당 트랙에서 스스로 드라이브 하도록 합니다. 이 트랙은 실제 물리적 환경에서의 실험을 위해 AWS DeepRacer에서 지정한 스펙에 맞도록 만들어 진 트랙 입니다.
AWS DeepRacer builds on the following concepts and uses the following terminology.
AWS DeepRacer
Also referred to as AWS DeepRacer vehicle. One type of AWS DeepRacer vehicle is an AWS DeepRacer car that is a 1:18-scale model car. It has a mounted camera and an on-board compute module. The module can run inference against a deployed reinforcement learning model in order to drive itself along a track. The compute module and the vehicle chassis are powered by dedicated batteries known as the compute battery and the drive battery, respectively.
AWS DeepRacer vehicle이라고도 합니다. 이는 실제 차량의 1/18로 축소된 AWS DeepRacer 차량입니다. 이 차량에는 카메라와 compute module이 장착돼 있습니다. 이 모듈은 이 차량에 deploy된 트랙에서 스스로 드라이브할 수 있도록 미리 훈련된 reinforcement learning model과 작동하여 inference(추론)를 하게 됩니다. compute module과 차량 새새들은 compute battery라고 알려진 전용 배터리와 driver 배터리를 통해 전원이 공급되게 됩니다.
AWS DeepRacer service
An AWS Machine Learning service for learning and exploring reinforcement learning with applications focused on autonomous racing. The AWS DeepRacer service supports the following features:
AWS 머쉰 러닝은 자율 주행에 촛점을 맞춘 어플리케이션으로 reinforcement learning을 배우고 탐구하기 위한 서비스 입니다. AWS DeepRacer service는 다음과 같은 기능을 지원합니다.
Training a reinforcement learning model on the cloud.
클라우드상에서의 reinforcement learning model 훈련하기
Evaluating the trained model in the AWS DeepRacer console.
AWS DeepRacer 콘솔에서 훈련된 모델을 평가하기
Download the trained model artifacts to an AWS DeepRacer vehicle.
AWS DeepRacer 차량에 훈뎐된 모델 artifacts 다운로드하기
Reinforcement learning
A machine learning method that is focused on autonomous decision making by an agent to achieve specified goals through interactions with an environment. In reinforcement learning, learning is achieved through trial and error and training does not require labeled input, but relies on the reward hypothesis. The hypothesis stipulates that all goals can be achieved by maximizing the expected future reward over all action sequences. In reinforcement learning, designing the reward function is critical. The better crafted reward function, the better the agent can decide what actions to take to reach the goal.
For autonomous racing, the agent is a vehicle. The environment includes traveling routes and traffic conditions. The goal is for the vehicle to reach its destination in a timely manner without accidents. Rewards are scores used to encourage safe and speedy travel to the destination. The scores penalize dangerous and wasteful driving.
machine learning 방법론으로 자율적인 의사결정에 촛점을 맞춘 기계학습 방법입니다. 이는 어떤 환경과 상호 작용함을 통해 지정된 목표를 달성하기 위한 에이전트에 의해 수행됩니다. reinforcement learning에서 learning은 어떠한 input을 필요로하지 않고 reward hypothesis에 의해 시도하고 실패하는 과정을 통해 획득되어 집니다. hypothesis(가설)은 모든 action sequences를 통해 기대되는 미래의 보상을 극대화 함으로서 목표를 달성할 수 있다고 규정하고 있다. 좀 더 나은 보상 기능 (reward function)과 좀 더 나은 에이전트는 그 목표를 달성하기 위한 액션들을 결정할 수 있다. 자율 주행에서 에이전트는 차량이 된다. 환경은 주행하는 루트(트랙)과 traffic(교통) conditions이 포함된다. 그 차량의 목표는 사고 없이 최단시간에 목적지에 도달하는 것이다. 보상 (Rewards)는 목적지까지 안전하고 빨리 주행하도록 하는 점수 이다. 이 점수는 위험하고 시간낭비적인 주행에 대해서는 페널티를 줍니다.
To encourage learning during the training process, the reinforcement learning agent must be allowed to pursue individual actions that might not result in higher rewards from time to time. This practice is referred to as the exploration and exploitation trade-off. It helps reduce or remove the likelihood that the agent might be misguided into spurious destinations.
훈련 과정에서 해당 학습을 장려하기 위해 reinforcement learning은 수시로 좀 더 높은 보상을 얻을 수 없는 개별적인 액션들에 대해 멈출 수 있도록 하는 기능이 반드시 허용되어야 합니다. 이러한 practice는 탐구와 착취 (exploitation)의 거래라고 합니다. 이 방법은 에이전트가 잘못된 가이드로 인해 잘못된 목적지에 도달할 가능성을 줄이거나 제거하는데 도움이 됩니다.
The environment prescribes the states it has, the actions that can be taken by the agent and the rewards that will be received by taking these actions. The strategy with which the agent decides its action is referred to as a policy. Hence the policy takes the environment state as input and outputs the action to take. In deep reinforcement learning, the policy is often represented by a deep neural network, and we refer to this as the reinforcement learning model. It is used to run inference both in simulation and in the AWS DeepRacer model vehicle to power autonomous racing. Each training job generates one model. A model can be generated even if the training job is terminated early. A model is immutable, which means it cannot be modified and overwritten after it's created.
환경은 에이전트가 취할 수있는 조치와 이러한 조치를 취함으로써 수령 할 보상을 규정합니다. 에이전트가 조치를 결정하는 전략을 정책이라고합니다. 따라서 정책은 환경 상태를 입력으로 취하여 취할 조치를 출력합니다. 심층 강화 학습에서는 정책이 심층 신경 네트워크로 대표되는 경우가 많으며 이를 보강 학습 모델이라고합니다. 시뮬레이션 및 AWS DeepRacer 모델 차량에서 추측을 실행하여 자율적 인 경주에 힘을 실어주는 데 사용됩니다. 각 교육 작업은 하나의 모델을 생성합니다. 훈련 작업이 조기에 종료 되더라도 모델을 생성 할 수 있습니다. 모델은 변경 불가능합니다. 즉, 모델을 수정 한 후에는 덮어 쓸 수 없습니다.
Training job
A training job is a workload that trains a reinforcement learning model and outputs the trained model artifacts to run inference on. Each training job produces one and only one model. The AWS DeepRacer console creates a training job for you when you create and train a model. For each job, you can do the following:
교육 작업은 보강 학습 모델을 훈련하고 유추 된 실행을 위해 훈련 된 모델 아티팩트를 출력하는 워크로드입니다. 각 교육 과정은 하나의 모델 만 생성합니다. AWS DeepRacer 콘솔은 모델을 생성하고 훈련 할 때 교육용 작업을 생성합니다. 각 작업에 대해 다음을 수행 할 수 있습니다.
View the training progress while the job is running.
View the training summary after the job is done.
Terminate a training job in progress at any time.
작업이 진행되는 동안 교육 과정을 봅니다. 작업이 완료된 후 교육 요약을 봅니다. 진행중인 교육 일을 언제든지 종료합니다.
Evaluation job
An evaluation job is a workload that tests the performance of a model measured by given metrics after the training job is done. With AWS DeepRacer, the standard performance metric is the driving time an agent takes to complete a lap in a track and an additional metric is the percentage of the lap completed. To evaluate a trained model in AWS DeepRacer, you can do the following:
평가 작업은 교육 작업이 완료된 후 주어진 측정 항목으로 측정 된 모델의 성능을 테스트하는 workload입니다. AWS DeepRacer의 표준 성능 메트릭은 에이전트가 트랙에서 랩을 완료하는 데 걸리는 주행 시간이며 추가 메트릭은 완료된 랩의 백분율입니다. AWS DeepRacer에서 숙련 된 모델을 평가하려면 다음을 수행하십시오.
Configure and start an evaluation job.
View the evaluation progress while the job is running.
View the evaluation summary after the job is done.
Terminate an evaluation job at any time.
평가 작업을 구성하고 시작하십시오. 작업이 실행되는 동안 평가 진행률을 봅니다. 작업 완료 후 평가 요약을 봅니다. 언제든지 평가 작업을 종료합니다.
AWS DeepRacer simulator
A virtual environment, set up as a racing track, within which our agent can act, receive rewards, and learn how to race around the track.
레이싱 트랙으로 설정되는 가상 환경. 상담원이 행동하고 보상을받으며 트랙 주위에서 경주하는 방법을 배웁니다.
Refer to the software libraries used for building machine learning algorithms. Supported frameworks for AWS DeepRacer include Tensorflow.
기계 학습 알고리즘을 작성하는 데 사용되는 소프트웨어 라이브러리를 참조하십시오. AWS DeepRacer에 지원되는 프레임 워크에는 Tensorflow가 포함됩니다.
Policy network
A policy network is the neural network that is trained. It takes video images as input and predicts the next step actions for the agent. Depending on the algorithm, it may also evaluate the value of current state.
정책 네트워크는 훈련 된 신경 네트워크입니다. 비디오 이미지를 입력으로 받아 에이전트의 다음 단계 조치를 예측합니다. 알고리즘에 따라 현재 상태 값을 평가할 수도 있습니다.
Optimization algorithm
An optimization algorithm is the algorithm used to train a model. For supervised training, it calls for optimization by minimizing a loss function with a particular strategy to update weights. For reinforcement learning, it implements optimization by maximizing the expected future rewards with a particular reward function.
최적화 알고리즘은 모델을 훈련시키는 데 사용되는 알고리즘입니다. 감독 학습의 경우, 가중치를 업데이트하기위한 특정 전략으로 손실 함수를 최소화하여 최적화를 요구합니다. 강화 학습의 경우 특정 보상 기능으로 예상되는 미래 보상을 최대화하여 최적화를 구현합니다.
Hyperparameters
Hyperparametersare the tunable parameters that can be used to optimize the training performance.
하이퍼 매개 변수는 교육 성능을 최적화하는 데 사용할 수있는 튜너블 매개 변수입니다.
AWS DeepRacer Track
An AWS DeepRacer track is the virtual environment on which a model is trained and on which the trained model can be evaluated.
AWS DeepRacer 트랙은 모델을 학습하고 훈련 된 모델을 평가할 수있는 가상 환경입니다.
Reward function
A reward function is a signaling function that indicates to the agent whether the action performed resulted in:
보상 기능은 수행 된 조치가 다음과 같은 결과를 가져 왔는지 여부를 에이전트에게 표시하는 신호 기능입니다.
A good outcome that should be reinforced.
A neutral outcome.
A bad outcome that should be discouraged.
좋은 결과가 강화되어야합니다. 중립적 인 결과. 나쁜 결과는 벌을 주어야 합니다
The reward function is a critical component of reinforcement learning. It determines the behavior that the agent will learn by incentivizing specific actions over others. The user provides the reward function by using the Python language, and this reward function is used to train the reinforcement learning model by using the optimizing algorithm.
보상 기능은 보강 학습의 중요한 구성 요소입니다. 에이전트가 다른 사람들보다 특정 행동을 장려함으로써 행동을 결정합니다. 사용자는 Python 언어를 사용하여 보상 기능을 제공하며이 보상 기능은 최적화 알고리즘을 사용하여 강화 학습 모델을 학습하는 데 사용됩니다.
Total rewardmeans the sum of all the reward the agent received during an episode.
총 보상은 에피소드 중에 상담원이받은 모든 보상의 합계를 의미합니다.
AWS DeepRacer Episode
Episode is one simulation iteration from the starting state, e.g., the start of the lap, to a termination state, going off-track, or finishing the lap.
에피소드는 시작 상태, 예를 들어 랩의 시작에서 종료 상태, 오프 트랙으로 진행하거나 랩을 완료하는 것과 같은 하나의 시뮬레이션 반복이다.
