astamuse Lab

astamuse Labとは、アスタミューゼのエンジニアとデザイナーのブログです。アスタミューゼの事業・サービスを支えている知識と舞台裏の今を発信しています。

データベースを使わずに、有効期限付きURLを生成したい

データベースを使わずに、有効期限付きURLを生成してみました。また、できるだけ安全性も高めたいので、そこを対応してみました。

BigQueryテーブルのレコードを直にスプレッドシートに出力する

BigQueryで集計した結果を、GoogleDrive上のスプレッドシートに直にエクスポートする環境を整えたので、実装例含めて紹介します。

TensorFlowのMetricsやLossesを使ってXGBoostを学習する

こんにちは、2020年3月にastamuseに入社したYNと申します。本ブログを書くのははじめてです。どうぞよろしくお願いいたします。 今回は個人的な趣味で、TensorFlowのMetricsやLossesを使ってXGBoostを学習する方法について紹介したいと思います。 動機 GPUの…

データ分析ことはじめ 〜はじめてのデータ分析やってみたよ〜

ご挨拶 どうもお久しぶりです、gucciです。 気づけばもう12月も半ば…今年は本当に色々なことがあった年でしたね。 新型コロナによってこれまでの日常が一変し、当たり前だったものが当たり前でなくなるという本当に大変な年だったと思います。 私の好きなプ…

ニューラル機械翻訳モデルを自作してみる

こんにちは、師走ですね。業務に関連した技術トピックをということで、今回は翻訳について書こうと思います。 ニューラル機械翻訳(NMT)システムがその内側でどんな処理をしているかを理解することを目的に、実際に簡単な翻訳モデルを手元で作成してみて、…

pythonのArgumentParserような使い心地!picocliのご紹介

こんにちは、開発部のnishikawaです。本日はpicocliというライブラリを使ってScalaでコマンドを実装する機会があったのでご紹介します。 コマンド作りあるある コマンドを作る時によく実装されるのが引数のパースです。これはどんな言語で実装されていても多…

PythonからDataprocを操作してシームレスに並列処理を実現する

初めまして。2019年6月にAstamuseにjoinした rinoguchi です。 ついに昨日、日本でも緊急事態宣言が出ましたね。小学校の休校も1ヶ月程度延長されましたし、会社もリモートワークにほぼ移行してますし、ここできっちりウイルスの拡散を防ぎたいところです。…

社内Podcastはじめました〜文字起こし〜形態素解析

ご挨拶 どうもお久しぶりです、gucciです。 入社してついに3年目に突入しました。信じられません。 まだまだ力不足な私ですが、周りの人に支えられてなんとかここまでやって参りました。 新しい仲間もどんどんと増え、これからは支える立場になれるように日…

BERTの事前学習済みモデルを使って特許検索に挑戦してみる

ご挨拶 新年、明けましておめでとうございます 本年もよろしくお願いいたします データエンジニアのaranです 昨年の6月以来、2回目の登場になります 去年の1月に入社して、ちょうど1年経ち 月日の流れの早さを感じています いきなりですが、皆様は年末年…

Pythonでも型を明記しよう

こんにちは、Scalaエンジニアのnishikawaです。今回はpythonについて少し話したいと思います。 Pythonって世間では ライブラリが充実している インタプリタ言語でコーディングから実行までが手軽 という印象が強く、初心者やプログラムが本職じゃない人から…

PostgreSQL の バグ修正状況を調べてみた。

はじめに 初めてこちらのblogに登場いたします。データエンジニアのt-sugai です。 今年の1月頃からアスタミューゼにJOINしています。 前職はJavaをメインとしたアプリケーションエンジニア……だったと思うのですが、エンジニアはエンジニアでいっしょくたの…

Pythonでコレスポンデンス分析をやってみた

ご挨拶 はじめまして。 このブログで初登場となります、エンジニアのaranです。 今年の1月よりアスタミューゼにジョインしました。 どうぞよろしくお願いします。 ここ4ヶ月間ぐらい、水素水にハマっていましたが 水素水生成機のフィルタ交換作業にちょっと…

パパ(ママ)エンジニア必見!?オープンソースのツールは家庭内でどこまで使えるか検証してみた。〜動画編〜

お久しぶりでございます。scalaでバックエンドを開発しているaxtstar(@axtstart)です。 今回は、趣向を変えまして、エンジニアは家にかえってもやっぱり エンジニア だと思うので、 ご家庭にいらっしゃる時によくIT系の頼まれごとなんかをママ(パパ)からさ…

お手軽に英文文書にメタ情報を!!Pythonでgensimを使ったLDAに挑戦してみた。

こんにちは。白木(@YojiShiraki)です。デザイナーです。 前回はpolyglotを用いて英文から名詞を抽出する処理を行いました。今回は、その延長でLDAという手法にチャレンジしたいと思います。 背景 当社ではぼちぼち大量の自然文章データを取り扱っています…

星屑のおじさま、野生のトラを撃つ

こんにちは。石橋を叩き過ぎて割るタイプの福田です。 春の足音を聴きながら、雲方面への移住を進めています。 さて、寒さもピークの昼下がり、ソイラテを片手にラップトップ整理。 2年物・書き捨てのPythonスクリプトに、ふと足を止めました。 すれっからし…

1,100万文書×480万キーワード。コンパクト且つ高速な辞書マッチングのはなし

はじめまして。開発・インフラ部、福田です。 分散処理環境、ミドルウェアの整備と運用、ELT/ETL、R&D、雑用を担当しています。 舞台裏から眺めるAstamuse.com Astamuse.comは、イノベーションを起こすあなたの為のサイトです。そこでは国内約1,100万件の特…

Copyright © astamuse company, ltd. all rights reserved.