다IT소

콘솔을 통해 branch를 만들어야 하는데, 브랜치 생성 버튼이 비활성화가 되어있다. 뭔가 권한으로 콘솔을 통해서는 만들지 못하게 막아 둔듯... 그래서 aws cli를 통해 생성하였다. 아래와 같이 실행하면 생성된다! aws codecommit put-file --repository-name 리포지터리명 --branch-name 추가할브랜치명 --file-path README.md --file-content "Welcome to our team repository!"

1) 하위 폴더의 모든 파일을 한번에 copy 해야할 때 sync 명령을 씁니다. 2) target s3에 굳이 폴더 생성하지 않아도 폴더는 sync 명렁을 통해 자동으로 생성됩니다. aws s3 sync s3://{원천버킷명}/{하위폴더} s3://{이동대상버킷명}/{하위폴더}

1. secret manager를 통해서 DB 접속정보를 받아온다. 2. S3 특정경로의 폴더와 파일을 확인한다. 3. DB에 insert 한다. import sys import json from datetime import datetime from pytz import timezone import pg import boto3 import pandas as pd from awsglue.utils import getResolvedOptions from common_log import common_logger import pymysql.cursors def get_file_path(buck: str, prefix: str) -> bool: ''' bucket명과 object key를 입력하면 json 확장자..

node.js 모듈 모음.

람다에서 string 형태로 로그를 찍거나, 이 로그를 SNS등으로 메일링을 해야할 때, 한글 깨짐 현상이 있었다. 아래와 같이 ensure_ascii_False를 마지막 리턴 부에 넣어주면 해결이 됩니다. def lambda_handler(event, context): db_conn = get_database_connection() db_cur = db_conn.cursor() query = f"""select 1 from table""" db_cur.execute(query) result = db_cur.fetchall() for row in result: txt = row[0] #print(txt) response = '{"status": "success", "data": "' + txt + '"}..

람다에서 기본 라이브러리를 제공하지 않는다. 코드라인에서 import PIL 이후 테스트를 해보면 해당 라이브러리를 찾을 수 없다는 에러가 난다. (can not find module 'PIL' 어쩌구 저쩌구...) 로컬 개발환경에서는 그냥 커맨드 창에서 "pip install pillow(라이브러리명)" 하면 되는데, 람다에서는 도대체가 실체가 뭔지, 커맨드를 날릴 수도 없었다. 그래서 구글링... 람다에서 python 라이브러리를 import 하려면 크게 2가지 방법으로 나뉜다. 1.해당 라이브러리를 통째로 묶어서 업로드 한다. 2. 해당 라이브러리를 묶어서 layer로 만든 후 람다에서 layer를 추가한다. 위 두가지 사항에 대해서 상세히 기술해 보겠다. 특히 1번은 의외로 간단하나, 2번은 정말..

Lambda에서 S3에 저장된 파일들의 총 리스트를 가져와서 특정 조건을 만족하는 경우 파일명을 반환하는 코드이다. 보통 boto3 라이브러리를 많이 사용하는데, 저장된 파일이 1000개 이상이 넘어갈 경우 list_objects_v2와 paginator를 사용하여 구현하여야 한다. 파일명을 리턴할 때 버킷명 + 폴더경로 + 파일명을 전체적으로 반환하기 때문에 replace로 앞 경로는 강제로 제거하였다. import json import boto3 import datetime def lambda_handler(event, context): # TODO implement currentTime = datetime.datetime.now() befcurrentTime = datetime.datetime.no..

AWS 에서는 서비스를 사용하는 만큼 과금이 되는 체계이므로, 대용량 파일을 upload 하여 storage에 저장하는 경우라면 과금이 얼마나 될 것인지 판단해 보아야 한다. AWS에서 크게 과금이 되는 요소로는 1) computing 자원 사용 2) storage 자원 사용 3) data transfer 이다. 예를들어 서로 다른 계정에서 S3간 데이터 파일을 이동시켜야 하는 경우, 1) source data 를 로컬에 download 하여 destination data를 upload 한다. 2) source data 를 data transfer 하여 destination data를 upload 한다. 둘 중 어떤 방식이 더 과금이 적게 될까? 1) 방식의 경우 source data 의 download..